Eine Bewertung kann eine Mischung aus Aufgaben enthalten, die automatisch bewertet werden sollen, und Aufgaben, die ein menschliches Eingreifen erfordern (und sogar einzelne Interaktionen innerhalb einer Testaufgabe können gemischt sein). Einige Fragen können einfache Multiple-Choice-Fragen sein, die in TAO automatisch bewertet werden können, während andere offene Fragen sind, die einen menschlichen Bewerter benötigen, um sie zu bewerten. Im Zuge der zunehmenden Digitalisierung der Assessment-Branche benötigen Institutionen eine rationalisierte und sichere Methode zur Messung und Speicherung von Assessments aller Art, einschließlich solcher, die offene Antwortabschnitte enthalten.
TAO Grader, TAOs Software für die Bewertung offener Antworten, ermöglicht es Lehrern und anderen Fachexperten (KMUs), die in der TAO-Plattform eingerichteten Tests manuell zu bewerten und bietet so eine effizientere Lösung für die Bewertung offener Antworten und Aufsatzfragen. Mit dem TAO Grader fließen die schriftlichen Antworten in einem elektronischen Format in die TAO-Berichtswerkzeuge ein, anstatt als digitaler Scan. Dies macht es viel einfacher, Noten zu vergeben, Testantwortdateien zu verschieben und freizugeben, interne Bewerter zu benennen, die den ersten Bewertungsdurchgang durchführen, und Gutachter zuzuweisen, die diese Noten unterstützen oder negieren.
Während die automatisierte Auswertung bei vielen Arten von Bewertungsfragen, wie Multiple Choice oder Lückentext, die Benotungsarbeit eliminiert, kann es immer noch Testabschnitte geben, die schriftliche Antworten erfordern, die dann von einem Lehrer oder Fachexperten benotet werden müssen. Bei der manuellen Bewertung von Aufsätzen und anderen Arten von Fragen mit offener Antwort können viele Komplikationen auftreten, ohne dass eine manuelle Bewertungsfunktion zur Verfügung steht. Diese können von Schwierigkeiten beim Entziffern der Handschrift über Probleme beim Speichern der Ergebnisse bis hin zu Problemen beim Einscannen dieser schriftlichen Testabschnitte in eine Lösung für die Auswertung reichen.
Der TAO Grader löst diese Probleme, indem er Pädagogen einen rationalisierten, intuitiven Ansatz für den Zugriff auf und die Bewertung von offenen Antwortfragen online bietet. Dadurch entfällt die Notwendigkeit, große Mengen an papierbasierten Bewertungen von Hand zu drucken, zu bewerten und zu speichern.
Ein entscheidender Vorteil eines manuellen Bewertungssystems ist die Möglichkeit, Antworten in Teams zuzuordnen und zu bewerten. TAO ermöglicht eine asynchrone Team-Bewertung und reduziert so den operativen Aufwand, der beim Drucken, Organisieren und Bewerten von Prüfungen per Hand entsteht. Die teambasierte Bewertung erleichtert nicht nur die Arbeit der Bewerter und verkürzt die Zeit für die Rückmeldung der Ergebnisse, sondern ermöglicht auch die Teilnahme von Fachexperten an der Bewertung und eliminiert effektiv Verzerrungen zwischen Bewerter und Testteilnehmern.
Beispielsweise können Gruppen von Bewertern in TAO nach dem Zufallsprinzip Fragen zur Bewertung zugewiesen werden, entweder auf der Basis von Fachkategorien oder auf der Grundlage von benutzerdefinierten Testteilnehmergruppen. In beiden Fällen werden die Namen der Testteilnehmer für den Bewerter unkenntlich gemacht, um eine objektive, unvoreingenommene Bewertung zu ermöglichen.
Anspruchsvolle und groß angelegte Prüfungen, wie der ACT oder SAT in den Vereinigten Staaten und Matura- oder Abiturprüfungen in Europa, sind in Abschnitte nach bestimmten Fächern oder Lernergebnissen gegliedert. Die Bewertung von offenen Bewertungsfragen in verschiedenen Fächern oder Kompetenzen innerhalb eines Fachs erfordert oft, dass die Bewerter über Nischenkenntnisse in diesen Themen verfügen.
In diesem Fall können manuelle Bewertungssysteme wie der TAO Grader, die es ermöglichen, Bewertungsaufgaben zu kategorisieren und Bewerter nach Fachgebiet zuzuweisen, anstatt den gesamten Test zu bewerten, zu einer effektiveren, schnelleren und rationalisierten Bewertung führen. Diese Funktionalität kann auch dazu beitragen, Bewertungsworkflows zu vereinfachen und sicherzustellen, dass die richtigen Fachexperten die entsprechenden Testfragen bewerten.
Die Projektorganisation und Warteschlange des TAO Graders für die Bewertung offener Antworten ist sowohl für kleine, niedrigstufige als auch für nationale, hochstufige Bewertungsprogramme zugeschnitten. Als Out-of-the-Box-Lösung ist der TAO Grader für offene Antworten vollständig in die TAO-Plattform integriert und bietet optimierte, durchgängige Workflows für die Organisation, Speicherung und gemeinsame Nutzung von Ergebnissen und Schülerdaten. Es handelt sich um eine mehrsprachige Lösung, die leicht erweitert werden kann, um neue Sprachfunktionen zu unterstützen.
Rubriken sind effiziente Werkzeuge für die konsistente Bewertung offener Antworten und spielen eine wichtige Rolle bei der Online-Bewertung. Rubriken sind Bewertungsinstrumente, die dazu dienen, die Leistungsniveaus von Testteilnehmern anhand einer Reihe von Kriterien zu beschreiben oder zu klassifizieren. Durch die Festlegung spezifischer Kriterien in einer Rubrik können Pädagogen die Lernziele und den Grad der Beherrschung kommunizieren, nach denen sie ihre Testteilnehmer bewerten. Weitere Vorteile der rubrikenbasierten Bewertung offener Antworten bei Online-Assessments sind:
- Legen Sie einen unvoreingenommenen, einheitlichen Bewertungsmechanismus fest
- Erleichterung einer schnelleren Benotung für Lehrkräfte und Feedback für Testteilnehmer
- Verbesserung der Kommunikation mit den Testteilnehmern durch klare Definition der Benotungserwartungen
- Kritisches Denken anregen
Die Software für die manuelle Bewertung von TAO bietet eine integrierte Lösung zum Anhängen digitaler PDF-Rubriken, um die Bewertung schriftlicher Testantworten zu erleichtern. Die Schüler sind in der Lage, die Erwartungen des Tests zu verstehen und wie sie bewertet werden, während die Lehrer die eingehenden Antworten sofort nach der Übermittlung erhalten und einen konsistenten Satz von Richtlinien zur Benotung haben, um ein schnelleres Feedback zu unterstützen.
Mit TAO Grader werden die Benutzer, die Benotungs- und Bewertungsaufgaben durchführen, als Bewerter bzw. Prüfer bezeichnet. Nach der Zuordnung von Themenkategorien zu Bewertungsfragen können Sie Gruppen von designierten Scorern und Reviewern zu Testaufgaben oder Abschnitten zuweisen. Workflows ermöglichen es diesen Benutzern dann, ihre Bewertungsaufgaben auf eine rationalisierte und effiziente Weise zu visualisieren und durchzugehen.
Die Namen der einzelnen Testteilnehmer werden während der Bewertung verschleiert, um eine Voreingenommenheit der Bewerter auszuschließen. Zusätzlich kann ein Prüfer bestimmt werden, der die Bewertung des ursprünglichen Bewerters bestätigt oder in Frage stellt, um einen objektiven Ansatz zu gewährleisten, wenn eine doppelblinde Bewertung erforderlich ist.
Die TAO Open Response Grading Software beinhaltet eine Funktion, die es anderen Scoring-Projekt-Benutzern erlaubt, "den Bewerter zu bewerten", d.h. verschiedene Bewerter nach ihren Bewertungsfähigkeiten zu beurteilen. Sie haben z. B. einen Bewerter, der bei bestimmten Fragen oder Themenkategorien durchweg niedriger oder höher bewertet als ein Bewerter. In diesem Fall ist es sinnvoll, diesen Benutzer zu bewerten und seine Bewertungsprojekte zu ändern oder zu entfernen. Besonders bei einer Bewertung mit hohen Anforderungen ist es wichtig, dass die Bewerter überprüft werden und auf dem neuesten Stand sind, um den Fortschritt der Schüler nicht zu beeinträchtigen, indem sie niedrigere oder höhere Punktzahlen vergeben, als gerechtfertigt sind.
Eine moderne und einfach zu bedienende Lösung für technisch nicht versierte Benutzer kann den Bewertern helfen, Benotungsaufgaben aus der Ferne zu erledigen. Moderne Pädagogen suchen heute nach Flexibilität bei der Ausführung ihrer EdTech-Lösungen, indem sie mehrere Geräte und Browser nutzen. Die Möglichkeit, Beurteilungen auf einem Tablet oder Laptop zu bewerten, macht es möglich, Antworten aus der Ferne zu bewerten und den Schülern trotzdem schnelles Feedback zu geben.
Barrierefreiheit ist immer ein Hauptanliegen beim Online-Assessment, wird aber nur allzu oft übersehen. In Anlehnung an die WCAG 2.1 AA und die Section 508 Guidelines sind die Online Assessment Lösungen von TAO von Grund auf auf Barrierefreiheit ausgelegt, um den Zugang zu allen Aspekten des Testzyklus sicherzustellen. Die webbasierte Benutzeroberfläche von TAO Online Manual Scoring Professional ist von Haus aus barrierefrei und kann mit einem Screenreader für Benutzer mit Sehbehinderungen verwendet werden.
Erfahren Sie hier mehr über die Barrierefreiheit von TAO.
Manchmal müssen verschiedene Aspekte einer Antwort getrennt bewertet werden, d. h. es werden mehrere Bewertungen für ein Item benötigt. Dies wird als Multi-Trait-Scoring bezeichnet. In TAO bedeutet die Bezeichnung Multi-Trait-Scoring, dass ein Item mehr als ein Ergebnis hat, das manuell bewertet werden muss. Zum Beispiel könnte eine Aufsatzfrage Merkmale wie "grammatikalische Genauigkeit" und "Wortwahl" berücksichtigen, die für dieselben Fragen gelten, aber unterschiedliche Punktzahlen erfordern.
Ein robustes Online-Bewertungssystem muss offene Fragen in mehreren Sprachen unterstützen, um verschiedene Arten von Bewertungen zu ermöglichen, z. B. solche, die die Schreibfertigkeit testen. Die Software für die manuelle Online-Auswertung von TAO ist von Grund auf mehrsprachig und wurde so konzipiert, dass sie die Bewertung von offenen Fragen in verschiedenen Sprachen unterstützt.
