Stephan Weibelzahl

• Software and interactive systems that adapt their behavior to the user are often referred to as Adaptive Systems. These systems infer the user's goals, knowledge or preferences by observing the user's actions. A synposis of 43 published studies demonstrated that only few of the existing systems are evaluated empirically. Most studies failed to show an advantage of the user model. A new framework is proposed that categorizes existing studies and defines an evaluation procedure which is able to uncover failures and maladaptations in the user model. It consists of four layers: evaluation of input data, evaluation of inference, evaluation of adaptation decision and evaluation of total interaction. Exemplary, the framework has been applied to the HTML-Tutor, an online-course that adapts to the learners' knowledge. Several empirical studies are described that test the accuracy of the user models, and explore the effects of adaptation to knowledge respectively prior knowledge. Generalization issues of the approach are discussed.
• Softwareprogramme und Systeme, die ihr Verhalten an den Benutzer anpassen, werden Adaptive Systeme genannt. Solche Systeme erschließen die Ziele, das Wissen oder bestimmte Präferenzen der einzelnen Benutzer, indem sie deren Verhalten beobachten. Eine Synopse von 43 Publikationen zeigte, dass nur wenige Adaptive Systeme empirisch evaluiert wurden, und dass die meisten Studien einen Vorteil der Benutzermodellierung nicht belegen können. Mit Hilfe eines neu erstelltes Rahmenmodells können existierende Studien kategorisiert und eine Vorgehensweise zur Evaluation definiert werden, die den Erfolg der Adaptivität überprüft. Dabei können Fehler und Fehlanpassungen im Benutzermodell aufgedeckt werden. Das Rahmenmodell besteht aus vier Schritten: evaluation of input data, evaluation of inference, evaluation of adaptation decision und evaluation of total interaction. Beispielhaft wurde das Rahmenmodell auf den HTML-Tutor (ein Online-Lernkurs, der sich an das Wissen der Lernenden anpasst) angewendet. In mehreren Studien wurde geprüft, wie präzise die Benutzermodelle der Lernenden sind und welche Auswirkungen die Anpassung an deren Wissen bzw. Vorwissen hat. Die Möglichkeit der Anwendung des Rahmenmodells auf andere Adaptive Systeme wird diskutiert.