Die wichtigsten Punkte aus den ATP-Leitlinien für technologiegestützte Bewertung

Frau an einem Computer im Computerlabor, der die Verwendung von Bewertungsinstrumenten für den Hochschulbereich im Klassenzimmer zeigt

Schulen und Bildungsbezirke auf der ganzen Welt haben sich zunehmend digitalisiert und bieten Schülern und Lehrern zahlreiche Online-Schulungsmöglichkeiten und digitale Lernplattformen an. Mit diesen neuen und innovativen Lernoptionen kommt die Notwendigkeit, sicherzustellen, dass technologiegestützte Beurteilungsmethoden fair und effektiv sind, um das Wachstum und die Leistung der Schüler zu messen. Die bewährten Verfahren für die Bewertung mit Papier und Bleistift im Klassenzimmer und die Online-Bewertung sind jedoch nicht identisch. 

Aus diesem Grund hat die Association of Test Publishers (ATP) einen ausführlichen Leitfaden entwickelt über die Implementierung und Nutzung von Online-Tests, einschließlich der Entwicklung, Durchführung und Auswertung digitaler Tests. Die ATP hat in diesem Leitfaden auch Richtlinien für die Sicherheit, Gültigkeit, Zuverlässigkeit und Fairness von Tests aufgestellt. Kurz gesagt, die Guidelines for Technology-Based Assessment bieten den perfekten Ausgangspunkt für Testadministratoren oder Schulbezirksbeamte bei der Entwicklung von Online-Tests.

Was ist inbegriffen?

Der Leitfaden ist umfassend und enthält Kapitel zu einer Vielzahl von Themen und Fragen im Zusammenhang mit digitalen Bewertungen. Zu den Kapiteln des Leitfadens gehören: 

  • Testentwicklung und -erstellung (einschließlich Gamification und technologiegestützter Aufgaben)
  • Testentwurf und -aufbau - linear oder adaptiv
  • Test von Bereitstellungsumgebungen (einschließlich Web, Mobile, Offline, gesperrte Browser, Unterbrechungen und Interoperabilität)
  • Automatisiertes und technologiegestütztes Scoring
  • Digital gestützte Ergebnisberichte
  • Datenverwaltung (Speicherung, Pflege, Integrität, Integration)
  • Psychometrische und technische Qualität
  • Sicherheit testen
  • Datenschutz in der technologiegestützten Bewertung
  • Fairness und Zugänglichkeit
  • Globale Testüberlegungen einschließlich Übersetzung

Jedes Kapitel wurde von einem Experten auf diesem Gebiet verfasst und von anderen Experten überprüft, um sicherzustellen, dass die Informationen im Leitfaden korrekt sind und branchenweit bewährte Verfahren widerspiegeln. Der Leitfaden ist für die Verwendung mit hochrangigen oder summativen Beurteilungen konzipiert, obwohl die Grundsätze, insbesondere zur Testgestaltung, auch auf folgende Bereiche angewendet werden können formative Beurteilungen angewendet werden können.

Wichtigste Erkenntnisse 

Obwohl der Leitfaden eine Fülle von Informationen enthält, stechen fünf wichtige Themenbereiche hervor. Dazu gehören Erkenntnisse über technologiegestützte Aufgaben und spielbasierte Prüfungen, Interoperabilität, Fairness und Zugänglichkeit, Bewertung und Sicherheit. Durch die Berücksichtigung jedes einzelnen Bereichs können Lehrkräfte oder Testentwickler sicherstellen, dass ihre technologiegestützte Bewertung das misst, was sie zu messen hoffen, und zwar auf gerechte Weise und unter Wahrung eines hohen Datenschutz- und Sicherheitsniveaus. 

Technologieerweiterte Items und spielbasierte Bewertung

Eine der besten Möglichkeiten, Technologie zur Verbesserung des Lernens einzusetzen, sind Portable Custom Interactions oder PCIs. PCIs geben den Schülern eine enorme Freiheit, das Gelernte im Kontext und mit mehreren Ergebnissen zu demonstrieren, indem sie den Schülern die Möglichkeit geben, mit spielähnlichen Simulationen innerhalb eines Tests zu interagieren.

Bei der Erstellung von Testaufgaben ist es wichtig, das Endziel vor Augen zu haben - was die Frage messen und den Schülern ermöglichen soll, dies zu demonstrieren. Das bedeutet, dass bei der Verwendung von technologiegestützten Aufgaben (TEIs) oder spielbasierten Prüfungen zunächst der zu messende Lernstandard berücksichtigt werden muss und die Aufgaben so gestaltet werden müssen, dass die Schüler das Verständnis dieser Fähigkeiten nachweisen können. Einige weitere wichtige Richtlinien, die zu beachten sind, sind:

  • Sicherstellen, dass TEIs auf den Geräten der Schülerinnen und Schüler funktionieren - die Schülerinnen und Schüler können die Prüfung auf einem Tablet, Laptop, Chromebook oder einem anderen Gerät ablegen; stellen Sie sicher, dass die Schülerinnen und Schüler das Element anzeigen können, ohne zu viel zu scrollen. 
  • Bieten Sie Tutorien an - die Schüler müssen wissen, wie man die Technologie bedient, bevor sie beginnen, damit sie sich nicht bei der Prüfung verzetteln und die Ergebnisse zeigen, was der Schüler weiß, und nicht, wie gut er die Technologie beherrscht. 
  • Verringerung der Varianz der Konstruktirrelevanz oder CIV - Testentwickler müssen so weit wie möglich sicherstellen, dass der Inhalt und die Fähigkeiten der Schüler im Vordergrund stehen. TEIs sollten leicht zugänglich sein und mit Blick auf die Testteilnehmer entwickelt werden. 

Interoperabilität

Es gibt eine Vielzahl von technologiebasierten Bewertungsinstrumenten und -plattformen, die Schulen beim Unterrichten und Bewerten von Schülern einsetzen. Bei der Entwicklung von Bewertungssoftware muss die Software in der Lage sein, auf Software von anderen Plattformen zuzugreifen und mit ihr zu kommunizieren, um einen reibungslosen und sicheren Informationstransfer von einem Ort zum anderen zu gewährleisten. 

Für die Lehrkräfte bedeutet dies, dass eine Bewertung auf einer Plattform durchgeführt werden kann und die Ergebnisse oder Daten der Schüler von anderen Plattformen oder Notenbüchern, die für diesen Zweck entwickelt wurden, analysiert werden können. Diese Interoperabilität gewährleistet, dass Lehrkräfte Daten effektiv nutzen können, Daten effektiv nutzen, ansprechendere Bewertungen entwickeln und die Entwicklung der Schüler positiv beeinflussen können.

Fairness und Zugänglichkeit

In vielerlei Hinsicht, Die technologiegestützte Bewertung gleicht das Spielfeld für die Schüler aus und schafft die Möglichkeit, die Bewertung fairer und gerechter zu bewerten. Es gibt jedoch einige wichtige Überlegungen zur Fairness und Zugänglichkeit, darunter:

  • Berücksichtigung von ELL: Bei den Prüfungen sollten die sprachlichen Bedürfnisse berücksichtigt werden, und es sollten entsprechende Anpassungen innerhalb der Plattform vorgenommen werden. Bei digitalen Tests kann dies bedeuten, dass Tutorials mit bildbasierten Anweisungen bereitgestellt werden oder dass verschiedene Übersetzungen für die Teilnahme an der Prüfung angeboten werden. 
  • Studierende mit psychischen Problemen - digitale Testplattformen müssen sicherstellen, dass die Lehrkräfte die Anpassungen leicht umsetzen können und dass die Studierenden sie während des Tests leicht nutzen können. 
  • Schülerinnen und Schüler ohne Erfahrung mit digitalen Plattformen - nicht alle Schülerinnen und Schüler haben Erfahrung mit Technologie und der Nutzung von Technologie für die Bewertung. Pädagogen und Testentwickler müssen sicherstellen, dass die Tests einfach und intuitiv gestaltet sind, damit sich die Schüler so authentisch wie möglich mit dem Material auseinandersetzen können. 

Scoring

Die Bewertung von technologiebasierten Tests kann in zwei Bereiche unterteilt werden: automatisierte und menschliche Bewertung. Bei automatisierten oder von KI bewerteten Prüfungen ist es entscheidend, dass die Testentwickler einen strengen und gründlichen Qualitätskontrollprozess sowohl für die Bewertung der Prüfungen als auch für die Mitteilung der Ergebnisse an Schüler und Familien anwenden. Das bedeutet, dass die Software korrekte und inkorrekte Aufgaben identifizieren sollte, um genaue Daten zu liefern. 

Allerdings können nicht alle Aufgaben automatisch bewertet werden, und bei von Menschen bewerteten Aufgaben sind einige Dinge zu beachten:

  • Diese Aufgaben sollten immer mit einer klar definierten Rubrik versehen sein, damit die Schüler wissen, was sie tun sollen. 
  • Die Bewerter müssen angemessen geschult sein, um Verzerrungen zu vermeiden und die Genauigkeit des Tests zu gewährleisten. 
  • Technologieplattformen für die Speicherung und Anzeige von Schülerantworten sollten benutzerfreundlich und intuitiv sein. 

Datenschutz und Sicherheit

Die Arbeit mit sensiblen Testdaten ist für Testentwickler ein wichtiges Anliegen. Da viele Tests online und über Cloud-basierte Interaktionen angeboten werden, ist das Potenzial für eine Datenverletzung hoch. Um die Integrität des Tests aufrechtzuerhalten, müssen Testentwickler handeln, um eine Verletzung zu verhindern, bevor sie geschieht, Abschreckungsstrategien vor und während des Tests anwenden und einen Reaktionsplan für Betrug oder Datenverletzungen entwickeln. 

Genauso wichtig ist es, die persönlichen Daten zu berücksichtigen, die der Test möglicherweise erfasst hat. Ein robustes Sicherheitssystem, das ein hohes Maß an Datenschutz gewährleistet, stellt sicher, dass die Daten der Schüler sicher bleiben. Dies ist nicht nur eine Frage der besten Praxis, sondern vielerorts auch gesetzlich vorgeschrieben, da sich die Regierungen um den Schutz personenbezogener Daten bemühen. 

Warum ist der Leitfaden wichtig? 

Die Umstellung auf technologiegestützte Online-Tests hat es Pädagogen ermöglicht, sich in kürzerer Zeit ein genaueres Bild davon zu machen, was ihre Schüler können und was nicht, verglichen mit herkömmlichen Testmethoden. Online-Tests sind jedoch relativ neu und bringen einige wichtige Nuancen und Unterschiede mit sich. Aus diesem Grund sind die ATP-Richtlinien ein wichtiger Ausgangspunkt für Testentwickler, da sie eine Grundlage für bewährte Verfahren bieten, die letztendlich zu einer effektiveren Bewertung, weniger Zeitverschwendung und genaueren Daten führen. 

Offene Bewertungstechnologien verfügt über Softwarelösungen, die bei der Entwicklung qualitativ hochwertiger Bewertungen für das Online-Lernen helfen können. Um mehr darüber zu erfahren, wie die Lösungen von OAT die Bewertungen für Ihre Schüler verbessern können, klicken Sie hier und setzen Sie sich mit einem Vertriebsmitarbeiter in Verbindung.