Elemente manuell bewerten

Der TAO Grader ist ein Add-on zur TAO-Produktsuite, das die manuelle Auswertung von offenen Fragen ermöglicht. Sie erfolgt "on the fly": Wenn der Testteilnehmer einen Test beendet hat, werden die Itemantworten, die eine manuelle Bewertung benötigen, an den TAO Grader gesendet. Sobald die Bewertungen von den manuellen Bewertern für alle Antworten einer bestimmten Testsitzung (d.h. einer Testdurchführung) abgegeben wurden, werden sie an TAO zurückgegeben, wo sie auf der TAO-Ergebnisseite für diesen Test angezeigt werden. 

Sobald ein Testteilnehmer einen Test abgegeben hat und die automatische Bewertung aller relevanten Aufgaben durchgeführt wurde, werden auf der Ergebnisseite für diese BAT-Lieferung die Punktzahlen für diese Aufgaben angezeigt. Die Bewertungsspalten aller Aufgaben, die als manuell zu bewerten gekennzeichnet sind, sind jedoch weiterhin leer. 

An diesem Punkt übergibt TAO die verbleibenden Items an den TAO Grader, um sie zu bewerten. Die beiden Plattformen sind vollständig integriert, so dass es nicht notwendig ist, die Antworten, die manuell bewertet werden müssen, aus der CSV-Datei der Ergebnisse einer TAO-Lieferung zu extrahieren: Dies geschieht alles automatisch.

Hinweis: TAO Grader ist nur für Ignite- und Enterprise-Kunden verfügbar.

Um sicherzustellen, dass die Antworten der Testteilnehmer korrekt verarbeitet werden, müssen die entsprechenden Testaufgaben für die manuelle Bewertung konfiguriert werden, wenn die Aufgabe erstellt wird. Führen Sie dazu die folgenden Schritte aus.

1. Kennzeichnen Sie das Item als eines, das eine manuelle Bewertung erfordert.

Klicken Sie auf " Outcome Declarations" im Bereich "Response Properties" rechts neben dem Element. Die Ergebnisse für Ihr Element werden angezeigt, wie in der Abbildung unten. Wenn Sie auf das Bearbeitungssymbol rechts neben einem Ergebnis klicken, werden die damit verbundenen Werte geöffnet. Das erste Ergebnis, das für diese Aufgabe des Tests aufgelistet ist (d. h. der erste Aspekt der Antwort, der bewertet werden muss), ist WORDCHOICE.

Der erste Wert ist Deutung - der Name des Ergebnisses. Dies ist der Name, der der Person, die die manuelle Bewertung durchführt, angezeigt wird. Im folgenden Beispiel ist dies " Wortwahl".

Wählen Sie im Dropdown-Menü unter Extern Bewertet, s Menschwählen .

Dieser Wert gibt die Art der Bewertung an, die für dieses bestimmte Ergebnis erforderlich ist (in diesem Fall die Bewertung durch einen Menschen), also wird das Element zur manuellen Bewertung an den TAO Grader gesendet.

2. Fügen Sie eine Beschreibung der Bewertungskriterien hinzu.

Der manuelle Bewerter muss wissen, welches Bewertungssystem er für das betreffende Item (oder Ergebnis) verwenden soll. Dies wird in Form einer Rubrik angezeigt, die die zu verwendenden Bewertungskriterien enthält und über einen Link zu einer gehosteten PDF-Datei zugänglich ist.

In das Feld mit der Bezeichnung Lange Interpretation, fügen Sie einen Link zu der gehosteten PDF-Datei hinzu, die die Bewertungsrubrik enthält. Auf diese wird der Bewerter später zugreifen.

3. Definieren Sie den Wertebereich.

Geben Sie den Bereich (z. B. 1-4) in das Feld mit der Bezeichnung Wert ein.

Es ist möglich, verschiedene Bereiche zu definieren, solange die folgenden Regeln beachtet werden: sowohl das minimale als auch Maximum sollten definiert werden, wobei nur ganze Zahlen verwendet werden dürfen. Der Maximum darf nicht negativ sein und muss größer sein als das Minimum.

Hinweis: Damit die Beantwortungen eines Items für die manuelle Bewertung "geeignet" sind, muss unter "Wert" ein gültiger Bewertungsbereich vorhanden sein und im Feld "externalScored" muss "human" ausgewählt sein.

Hinweis: Wenn ein Item mehr als ein Ergebnis hat (d. h. wenn verschiedene Aspekte einer Antwort mit separaten Scores bewertet werden, was bedeutet, dass mehrere Scores für ein Item benötigt werden), muss die Scoring-Methode für jedes einzelne konfiguriert werden. Dies wird auf der Plattform für die manuelle Auswertung als "Multi-Trait-Scoring" bezeichnet. Im Beispiel auf dem Bild oben sind zwei weitere Aspekte dieser Testaufgabe sichtbar: Verstehen und Mechanik.

4. Definieren Sie die Betreff-Kategorie Ihres Artikels.

Die Fachkategorie eines Items muss definiert werden. Damit soll sichergestellt werden, dass es an einen geeigneten Bewerter geht, wenn Bewerter auf der Grundlage der Fachkategorie der Elemente zugewiesen werden. (Die Zuweisung von Bewertern anhand der Fachkategorie ist nur eine von zwei Möglichkeiten. Im Kapitel Erstellen eines Bewertungsprojekts im Abschnitt über TAO Grader finden Sie Details zu den verfügbaren Zuweisungsstrategien).

Dies geschieht in den Eigenschaften des jeweiligen Testabschnitts (es kann auch für einzelne Aufgaben definiert werden - d.h. jede Aufgabe kann anders klassifiziert werden, unter Aufgabeneigenschaften). Das folgende Bild zeigt ein Beispiel.

Klicken Sie auf die Einstellungen für den Bereich des Tests, den Sie definieren möchten (die Zahnräder oben oder die Zahnräder neben dem Testteil, der Sektion oder der Aufgabe, je nach Wunsch). Klicken Sie in der rechten Eigenschaftsleiste auf Kategorien. Geben Sie die Fachkategorie ein, die Sie für den aktuellen Test, Abschnitt oder die Aufgabe benötigen. Jede Themenkategorie muss mit "x-tao-scoring" beginnen und mit dem Thema enden, das beliebig sein kann. Mögliche Kategorien sind x-tao-scoring-englisch, x-tao-scoring-mathoder x-tao-scoring-biology, zum Beispiel.

5. Betrachten Sie die manuell bewerteten Items in TAO. 

Nachdem die relevanten Positionen in der Lieferung manuell im TAO Grader bewertet wurden und die Bewertungen an TAO gesendet wurden (in der Regel werden die Bewertungen an TAO gesendet, wenn alle Antworten für eine bestimmte Lieferausführung bewertet wurden)können Sie Ihre Ergebnisseite in TAO aktualisieren.

Die manuell vergebenen Punktzahlen werden in der Aufgabentabelle angezeigt - sowohl die Gesamtpunktzahl für die Aufgabe als auch alle Punktzahlen, die für bestimmte Aspekte (Ergebnisse) der Aufgabe vergeben wurden. Die Gesamtpunktzahl für den Test kann nun auch berechnet werden, indem die Bewertungsmethode verwendet wird, die in TAO für diesen Test konfiguriert wurde.