Kooperationspartner

Das Projekt PANDA ist eine Kooperation zwischen Forschenden des Interfaculty Centre for Educational Research (ICER), der Fernfachhochschule Schweiz (FFHS) und der Pädagogischen Hochschule Bern (PHBern). Es wird von der Initiative BeLEARN finanziert und arbeitet mit den Projektteams DigiPrim und ÜGK zusammen. 

PANDA verwendet Prozessdaten aus den computergestützten Leistungstests im Rahmen des ÜGK-Pilotprojekts HarmoS 4 2024 (Überprüfung der Grundkompetenzen), um die Entwicklung und Durchführung zukünftiger Tests zu unterstützen. Die Daten werden verwendet, um Schülerinnen und Schüler in Gruppen mit unterschiedlichem Nutzungsverhalten zu clustern und um Erkenntnisse über verdächtige Testaufgaben zu gewinnen. 

Im Gegensatz zu traditionellen Tests werden bei computergestützten Leistungstests (DBAs, auch digitalbasierte Leistungstests genannt) Prozessdaten gesammelt, wie z. B. die Entscheidungen der Schülerinnen und Schüler und ihre Interaktionen mit der Testumgebung. Diese Prozessdaten geben Aufschluss über die Aktionen, die die Schülerinnen und Schüler beim Lösen der Testaufgaben ausführen. Das BeLEARN-Projekt PANDA untersucht Nutzungsmuster (z. B. Antwort- und Reaktionszeiten, Anzahl der Klicks, das Überspringen von Testaufgaben), die durch die Aktionen der Schülerinnen und Schüler während der computerbasierten Leistungstests entstehen. Die Nutzungsmuster der Schülerinnen und Schüler können genutzt werden, um die Prozesse der Testentwicklung und -verwaltung in Schulen, im Unterricht und beim Unterrichten besser zu verstehen. 

Unter Verwendung von Prozessdaten aus der Überprüfung der Grundkompetenzen (ÜGK) ist das Hauptziel des Projekts die Entdeckung von Nutzungsmustern beim Lösen von Aufgaben in verschiedenen Schulsprachen in den ÜGK-Pilotdaten, die im Jahr 2022 (HarmoS Stufe 4) erhoben wurden. Dieser Forschungsstrang wird zu einem besseren Verständnis dafür beitragen, wie die ÜGK und die Beurteilungen für 8-Jährige entwickelt und verwaltet werden sollten, und Testentwicklerinnen und -entwickler, Praktikerinnen und Praktiker, Forschende und politische Entscheidungsträgerinnen und -träger informieren. Die Erkenntnisse aus den Studiendaten können zum Beispiel in die Entwicklung künftiger Hauptstudien einfliessen.  

PANDA kodiert derzeit die in Protokolldateien bereitgestellten Informationen und führt eine retrospektive Analyse der Protokolldateien durch, um verdächtige Testaufgaben auf der Grundlage des Nutzungsverhaltens der Schülerinnen und Schüler zu finden. In einem nächsten Schritt werden die Daten verwendet, um die Schülerinnen und Schüler in Gruppen mit unterschiedlichem Nutzungsverhalten zu clustern. Wir glauben, dass diese Gruppen die Muster beschreiben und weitere Erkenntnisse über die verdächtigen Aufgaben liefern können. Im nächsten Schritt werden wir die Muster aus didaktischer Sicht untersuchen, um mögliche theoretische und didaktische Implikationen zu ermitteln. 

Projektteam: 

Dr. Andrea Erzinger, Dr. Jessica Herzing, Dr. Simon Seiler (ICER), Dr. Martin Hlosta, Dr. Sukanya Nath, Prof. Dr. Per Bergamin (FFHS), Dr. Florian Keller Zai (PHBern) 

Laufzeit: 

02/2023 - 06/2023 

Publikation:

Hlosta, Martin; Herzing, Jessica M. E.; Seiler, Simon; Nath, Sukanya; Zai, Florian Keller; Bergamin, Per; Erzinger, Andrea B. (2024): Analysis of Process Data to Advance Computer-Based Assessments in Multilingual Contexts. In: Muhittin Sahin und Dirk Ifenthaler (Hg.): Assessment Analytics in Education. Design, methods and solutions: Springer Cham, S. 207-233. https://doi.org/10.1007/978-3-031-56365-2_11.