Der TAO Grader ist ein Zusatzmodul zur TAO-Produktsuite, das die manuelle Auswertung von offenen Fragen ermöglicht. Die Auswertung erfolgt im laufenden Betrieb: Wenn der Testteilnehmer einen Test beendet hat, werden die Antworten auf die Items, die manuell ausgewertet werden müssen, an den TAO Grader gesendet. Sobald die Bewertungen von den manuellen Bewertern für alle Antworten einer bestimmten Testsitzung (d. h. einer Testdurchführung) übermittelt wurden, werden sie an TAO zurückgegeben, wo sie auf der TAO-Ergebnisseite für diesen Test angezeigt werden.
Sobald ein Testteilnehmer einen Test abgegeben hat und die automatische Bewertung aller relevanten Aufgaben durchgeführt wurde, werden auf der Ergebnisseite für diese BAT-Lieferung die Punktzahlen für diese Aufgaben angezeigt. Die Bewertungsspalten der Aufgaben, bei denen eine manuelle Bewertung erforderlich ist, sind jedoch noch leer.
An diesem Punkt übergibt TAO die verbleibenden Items an den TAO Grader, um sie zu bewerten. Die beiden Plattformen sind vollständig integriert, so dass es nicht notwendig ist, die Antworten, die manuell bewertet werden müssen, aus der CSV-Datei der Ergebnisse einer TAO-Lieferung zu extrahieren: Dies geschieht alles automatisch.
Hinweis: TAO Grader ist nur für Ignite- und Enterprise-Kunden verfügbar.
Um sicherzustellen, dass die Antworten der Testteilnehmer korrekt verarbeitet werden, müssen die entsprechenden Testaufgaben für die manuelle Bewertung konfiguriert werden, wenn die Aufgabe erstellt wird. Führen Sie dazu die folgenden Schritte aus.
1. Kennzeichnen Sie die Aufgabe als eine, die manuell bewertet werden muss.
Klicken Sie auf Ergebniserklärungen im Bereich Antworteigenschaften rechts neben der Aufgabe. Die Ergebnisse für Ihre Aufgabe werden angezeigt, wie in der Abbildung unten. Wenn Sie auf das Bearbeitungssymbol rechts neben einem Ergebnis klicken, werden die damit verbundenen Werte angezeigt. Das erste Ergebnis, das für diese Aufgabe des Tests aufgelistet ist (d. h. der erste Aspekt der Antwort, der bewertet werden muss), ist WORDCHOICE.
Der erste Wert ist Interpretation - der Name des Ergebnisses. Dies ist der Name, der der Person, die die manuelle Bewertung vornimmt, angezeigt wird. Im nachstehenden Beispiel ist dies "Wortwahl".
Wählen Sieim Dropdown-Menü unter Extern bewertet die Option Mensch.
Dieser Wert gibt die Art der Bewertung an, die für dieses bestimmte Ergebnis erforderlich ist (in diesem Fall die Bewertung durch einen Menschen), so dass das Item zur manuellen Bewertung an den TAO Grader geschickt wird.
2. Fügen Sie eine Beschreibung der Bewertungskriterien hinzu.
Der manuelle Bewerter muss wissen, welches Bewertungssystem er für das betreffende Item (oder Ergebnis) verwenden soll. Dies wird in Form einer Rubrik angezeigt, die die von Ihnen gewünschten Bewertungskriterien enthält und über einen Link zu einer gehosteten PDF-Datei zugänglich ist.
Fügen Sie in das Feld " Lange Interpretation" einen Link zu der gehosteten PDF-Datei hinzu, die die Bewertungsrubrik enthält. Auf diese Datei kann der Bewerter später zugreifen.
3. Definieren Sie den Punktebereich.
Geben Sie den Bereich (z. B. 1-4) in das Feld mit der Bezeichnung Wert ein.
Es ist möglich, verschiedene Bereiche zu definieren, sofern die folgenden Regeln beachtet werden: Sowohl das Minimum als auch das Maximum sollten definiert werden, wobei nur ganze Zahlen verwendet werden dürfen. Das Maximum darf nicht negativ sein und muss größer als das Minimum sein.
Hinweis: Damit die Beantwortungen eines Items für die manuelle Bewertung "geeignet" sind, muss unter "Wert" ein gültiger Bewertungsbereich vorhanden sein und im Feld "externalScored" muss "human" ausgewählt sein.
Hinweis: Wenn ein Item mehr als ein Ergebnis hat (d. h. wenn verschiedene Aspekte einer Antwort getrennt bewertet werden, was bedeutet, dass für ein Item mehrere Bewertungen erforderlich sind), muss die Bewertungsmethode für jedes einzelne Ergebnis konfiguriert werden. Dies wird auf der Plattform für die manuelle Auswertung als "Multi-Trait-Scoring " bezeichnet. Im Beispiel auf dem Bild oben sind zwei weitere Aspekte dieser Testaufgabe sichtbar: Verstehen und Mechanik.
4. Definieren Sie die Themenkategorie Ihres Artikels.
Die Fachkategorie einer Aufgabe muss definiert werden. Damit soll sichergestellt werden, dass die Aufgabe einem geeigneten Bewerter zugewiesen wird, wenn die Bewerter auf der Grundlage der Fachkategorie der Aufgaben zugewiesen werden. (Die Zuweisung von Bewertern nach der Fachkategorie ist nur eine von zwei Möglichkeiten. Einzelheiten zu den verfügbaren Zuweisungsstrategien finden Sie im Kapitel Erstellen eines Bewertungsprojekts im Abschnitt über TAO Grader ).
Dies geschieht in den Eigenschaften des betreffenden Testabschnitts (es kann auch für einzelne Aufgaben definiert werden - d. h. jede Aufgabe kann unter Aufgabeneigenschaften anders klassifiziert werden). Das folgende Bild zeigt ein Beispiel.
Klicken Sie auf die Einstellungen für den Bereich des Tests, den Sie definieren möchten (die Zahnräder oben oder die Zahnräder neben dem Testteil, dem Abschnitt oder der Aufgabe). Klicken Sie in der rechten Eigenschaftsleiste auf Kategorien. Geben Sie die Fachkategorie ein, die Sie für den aktuellen Test, Abschnitt oder die Aufgabe benötigen. Jede Fachkategorie muss mit "x-tao-scoring" beginnen und mit dem Thema enden, das beliebig sein kann. Mögliche Kategorien sind zum Beispiel x-tao-scoring-english, x-tao-scoring-math oder x-tao-scoring-biology.
5. Zeigen Sie die manuell bewerteten Aufgaben in TAO an.
Nachdem die relevanten Positionen der Lieferung manuell in TAO Grader bewertet wurden und die Bewertungen an TAO gesendet wurden (in der Regel werden die Bewertungen an TAO gesendet, wenn alle Antworten für eine bestimmte Lieferausführung bewertet wurden), können Sie Ihre Ergebnisseite in TAO aktualisieren.
Die manuell vergebenen Punkte werden in der Aufgabentabelle angezeigt - sowohl die Gesamtpunktzahl für die Aufgabe als auch alle Punkte, die für bestimmte Aspekte (Ergebnisse) der Aufgabe vergeben wurden. Die Gesamtpunktzahl für den Test kann nun ebenfalls berechnet werden, und zwar mit der Bewertungsmethode, die in TAO für diesen Test konfiguriert wurde.
