Das Unterrichten von Mathematik und Naturwissenschaften erfordert viel mehr als nur die Vermittlung von Kernwissen und Ideen. Die Schüler müssen in Praktiken eintauchen, die es ihnen ermöglichen, fächerübergreifende Fähigkeiten wie Rechnen, Modellieren, Problemlösen und Argumentieren zu entwickeln, wenn sie in einer Welt, die zunehmend Wissenschaft und Technologie nutzt, erfolgreich sein wollen. In der Vergangenheit war es schwierig, die Fähigkeiten des 21. Jahrhunderts, wie Problemlösung und Zusammenarbeit, zu messen, da die traditionellen mathematischen und naturwissenschaftlichen Prüfungen Testaufgaben enthalten, die auf der Grundlage der endgültigen Antwort eines Schülers bewertet werden.
Obwohl Sie mit Hilfe von Bewertungsrubriken Punkte basierend auf dem Grad der Korrektheit der Antwort oder des Antwortteils vergeben können (vollständig, teilweise oder gar nicht), liefert diese Art der Bewertung nicht die reichhaltigen Daten, die es einem Pädagogen ermöglichen würden, zu bestimmen, wie seine Schüler zu ihren Antworten für bestimmte Probleme kommen. Da sich die Bewertung auf eine digitale Umgebung umstellt, sind die Arten von mathematischen und naturwissenschaftlichen Aufgaben, die heute üblicherweise verwendet werden, überwiegend Multiple-Choice-Aufgaben und Constructed-Response-Aufgaben: Aufgabentypen, die relativ einfach zu entwickeln sind und leicht in einer groß angelegten Umgebung durchgeführt werden können.
Die Lösung: Portable benutzerdefinierte Interaktionen
Durch den Einsatz digitaler Tests, die interaktive Items enthalten, die mit Portable Custom Interactions (PCIs) erstellt wurden, ist es möglich, das Fenster für kreativere und immersivere Testerfahrungen zu öffnen, um den Denkprozess eines Schülers während einer gesamten Problemlösungsaktivität zu sehen. Es ist noch nicht lange her, dass technologieerweiterte Aufgaben (Technology-Enhanced Items, TEIs) eine große Investition an Zeit, Geld und Programmierkenntnissen erforderten, um überhaupt als Bestandteil einer Lern- oder Bewertungsumgebung in Frage zu kommen. Das ist jedoch nicht mehr der Fall. Heute sind PCI-Items einfach technologieerweiterte Items, die nach dem "offenen PCI-Standard" aufgebaut sind.
Bewertungs- und Lernsoftware-Anwendungen, die den PCI-Standard einbeziehen, geben den Benutzern die Möglichkeit, Problemlösungsaufgaben zu erstellen und die Flexibilität, eine unbegrenzte Anzahl und Art von (auf dem QTI-Standard basierenden) Interaktionen, wie Hotspot, Drag & Drop, Texteingabe und Grafik, in die Aufgabe einzubinden. Die gleichen Standards stellen sicher, dass die Inhalte und Daten des Items innerhalb der digitalen Umgebung einer Institution interoperabel sind. In der Praxis ermöglichen Item-Authoring-Module, die mit dem QTI- und PCI-Standard konform sind - wie z. B. das Item-Creator-Modul von TAO - dem/den Item-Autor(en) unbegrenzte Kreativität bei der Konzeption von Problemlösungsaufgaben, die eine beliebige Anzahl von Interaktionsvorlagen aus dem gesamten Spektrum nutzen.
Diese reichhaltigen und scheinbar komplexen Items können verwendet werden, um zu messen, wie Schüler in einer bestimmten Situation interagieren, um ein Problem zu analysieren und zu lösen. Zum Beispiel hat die Direktion für Bewertung, Prognose und Leistung des französischen Bildungsministeriums (Direction de l'évaluation, de la prospective et de la performance [DEPP]) eine Reihe von interaktiven Musteritems veröffentlicht, die den PCI-Standard verwenden.
Eines dieser Items bewertet das Wissen und die Fähigkeiten in Bezug auf die Relativität der Bewegung und ermöglicht es dem Kursteilnehmer, mit den Figuren auf dem Bildschirm zu interagieren, um die Bewegung im Szenario aus der Perspektive jeder Figur zu sehen.
Die in den interaktiven Elementen enthaltenen Übungen und Fragen beschäftigen die Schüler auf mehreren Ebenen und erfassen nicht nur ihre Antworten, sondern auch ihren Denkprozess. Die umfangreichen Protokolldaten (Lernereignisse), die von diesen Elementen erfasst werden, wie z. B. die Zeit, zu der die Schüler ihre Arbeit beginnen und beenden, Mausbewegungen, die Verwendung verschiedener Bildschirmwerkzeuge, Leerlaufzeit und ein Screenshot der letzten Aktionen, ermöglichen es den Lehrkräften, einen tiefen Einblick in die Herangehensweise der Schüler an das Problem zu gewinnen und Bereiche zu identifizieren, die möglicherweise zusätzliche Aufmerksamkeit erfordern. Mit anderen Worten: PCIs ermöglichen es, viel mehr als nur die digitalen Antworten zu sammeln und Daten bereitzustellen, um die Feedbackschleife zwischen Lehren, Lernen und Bewerten zu erleichtern.
Ergebnisse der Lernwirkung
Vor diesem Hintergrund haben das DEPP, das luxemburgische Bildungsministerium und ihre Auftragnehmer Vretta und Wiquid zusammengearbeitet, um eine Reihe von mehrstufigen PCI-Items mit TAO zu erstellen. Vretta entwickelte die mathematischen PCI-Items und Wiquid entwickelte die naturwissenschaftlichen PCI-Items. Ziel war es, diese Items in den CEDRE (cycle des évaluations disciplinaires réalisées sur échantillons/Cycle of Sample-based Subject Specific Assessments) einzuführen. Dabei handelt es sich um jährliche Low-Stakes-Tests in Frankreich, die in einer Vielzahl von Fächern durchgeführt werden, darunter Geschichte, Geografie, Naturwissenschaften, Mathematik, Fremdsprachen und Französisch.
Die CEDRE-Prüfungen wurden erstmals 2003 als Papier- und Bleistiftprüfungen eingeführt, wurden 2016 auf ein digitales Format umgestellt und werden nun auf Desktop-Computern durchgeführt. Die Naturwissenschafts- und Mathematikprüfungen enthalten jeweils zwischen 50 und 60 Items aus einer 300-Items-Bank. Im Mai 2016 führte das DEPP zum ersten Mal drei mathematische und zwei naturwissenschaftliche PCIs in einem landesweiten standardisierten Test ein, der an 8.000 Schülern der neunten Klasse durchgeführt wurde. Das DEPP arbeitete mit Capgemini zusammen, um die resultierenden Protokolldaten der drei Mathe-PCIs zu analysieren. Diese Übung lieferte sehr reichhaltige und interessante Beobachtungen in Bezug auf die Strategien, die die Schüler zur Lösung der interaktiven Fragen verwendeten.
Eine Frage forderte die Schüler zum Beispiel auf, den Umfang eines Sees zu schätzen. Die gesammelten Protokolldaten zeigten, dass die Schüler oft "Umfang" mit "Fläche" verwechselten, wenn man die Schritte betrachtet, die sie zur Lösung der Aufgabe unternahmen. Nachfolgend finden Sie Beispiele für die gesammelten Protokolldaten von vier Schülerantworten.
Die für jede Antwort gesammelten Daten zeigen die Linien, die jeder Schüler bei seinem Versuch, das Problem zu lösen, nachgezogen hat, den Prozentsatz, der innerhalb der Grenze (oder des Umfangs) des Sees lag, und die Schätzung des Schülers für die Messung.
Im Frühjahr 2017, als das DEPP die Praxis einen Schritt weiter führte und den Umfang sowohl in Bezug auf die Anzahl der verabreichten PCIs als auch auf die Anzahl der studentischen Teilnehmer erhöhte. Dieses Mal wurden 12 naturwissenschaftliche PCIs an 10.000 Schülern und 25 mathematische PCIs an 11.000 Schülern durchgeführt.
Rentabilität der Investition
PCIs und ihre Protokolldaten können der Bildungsgemeinschaft - einschließlich Lehrern, Forschern und politischen Entscheidungsträgern - ein hervorragendes Feedback über den Grad des Engagements der Schüler, ihr Verständnis der Themenbereiche und ihre Herangehensweise an das Lösen von Problemen geben. Da TAO auf Open Source aufbaut, kann das DEPP zusätzliche Ressourcen nutzen, die von der Benutzergemeinschaft beigesteuert werden.
