Konfigurieren von Items für die manuelle Bewertung im TAO-Portal

In der Standardeinstellung erhält ein Testteilnehmer einen Punkt pro vollständig korrekte Interaktion. Es gibt jedoch Fälle, in denen ein Testautor einzelne Aufgaben manuell für alternative Bewertungsmethoden konfigurieren muss (z. B. manuelle Bewertung durch einen Bewerter oder Vergabe von Teilpunkten).

Im TAO-Portal können die Bewerter auf der Überwachungsseite einer Sitzung sehen, welche Tests bewertet werden müssen. Sobald ein Testteilnehmer einen Test eingereicht hat und die automatische Bewertung aller relevanten Aufgaben durchgeführt wurde, wird der Prozess durch die Schaltfläche "Bewerten" für einen einzelnen Testteilnehmer ausgelöst. Weitere Informationen zur manuellen Bewertung finden Sie in der Dokumentation zu TAO Grader.

Um sicherzustellen, dass die Antworten der Testteilnehmerinnen und Testteilnehmer korrekt verarbeitet werden, müssen die entsprechenden Testaufgaben für die manuelle Bewertung konfiguriert werden, wenn die Aufgabe erstellt wird. Führen Sie dazu die folgenden Schritte aus.

1. 1. Kennzeichnen Sie die Aufgabe als eine, die manuell bewertet werden muss.
      Klicken Sie auf Erklärungen zu den Ergebnissen im Antwort Bedienfeld "Eigenschaften rechts neben dem Artikel. Das Ergebnis bzw. die Ergebnisse für Ihren Artikel werden angezeigt, wie in der folgenden Abbildung dargestellt. Die Ergebnisse werden vom Benutzer definiert. Standardmäßig werden SCORE und MAXSCORE automatisch hinzugefügt, da sie Teil des QTI-Standards sind. Wenn Sie auf das Bearbeitungssymbol rechts neben einem Ergebnis klicken, werden die damit verbundenen Werte angezeigt. Im folgenden Beispiel ist das erste benutzerdefinierte Ergebnis (das vom Benutzer erstellt wurde) für diese Testaufgabe (d. h. der erste Aspekt der Antwort, der bewertet werden muss) WORDCHOICE. Der erste Wert ist Auslegung - den Namen des Ergebnisses. Dies ist der Name, der der Person, die die manuelle Bewertung vornimmt, angezeigt wird. Im folgenden Beispiel ist dies Wortwahl.

      

      Wählen Sieim Dropdown-Menü unter Externe Bewertung die Option Menschlich.
      Dieser Wert gibt die Art der Bewertung an, die für dieses bestimmte Ergebnis erforderlich ist (in diesem Fall die Bewertung durch einen Menschen).
      

   2. Fügen Sie eine Beschreibung der Bewertungskriterien hinzu.

      Der manuelle Bewerter muss wissen, welches Bewertungssystem er für das betreffende Item (oder Ergebnis) verwenden soll. Dies wird in Form einer Rubrik angezeigt, die die von Ihnen gewünschten Bewertungskriterien enthält und über einen Link zu einer gehosteten PDF-Datei zugänglich ist.

      Fügen Sie in das Feld " Lange Interpretation" einen Link zu der gehosteten PDF-Datei hinzu, die die Bewertungsrubrik enthält. Auf diese Datei kann der Bewerter später zugreifen.

   3. Definieren Sie den Punktebereich.

      Geben Sie den Bereich (z. B. 1-4) in das Feld mit der Bezeichnung Wert ein.

      Es ist möglich, verschiedene Bereiche zu definieren, sofern die folgenden Regeln beachtet werden: Sowohl das Minimum als auch das Maximum sollten definiert werden, wobei nur ganze Zahlen verwendet werden dürfen. Das Maximum darf nicht negativ sein und muss größer als das Minimum sein.

      Hinweis:Damit die Antworten auf eine Aufgabe für die manuelle Bewertung markiert werden können, muss unter Wert ein gültiger Bewertungsbereich angegeben und im Feld externalScored ein Mensch ausgewählt sein.

      Hinweis:Wenn ein Item mehr als ein Ergebnis hat (d. h. wenn verschiedene Aspekte einer Antwort getrennt bewertet werden, was bedeutet, dass für ein Item mehrere Bewertungen erforderlich sind), muss die Bewertungsmethode für jedes einzelne Ergebnis konfiguriert werden. Dies wird auf der Plattform für die manuelle Auswertung als "Multi-Trait-Scoring " bezeichnet. In dem Beispiel auf dem Bild oben sind zwei weitere Aspekte dieser Testaufgabe sichtbar: Verstehen und Mechanik.

   4. Definieren Sie die Themenkategorie Ihres Artikels.

      Die Fachkategorie einer Aufgabe muss definiert werden. Damit soll sichergestellt werden, dass sie an einen geeigneten Bewerter geht, wenn die Bewerter auf der Grundlage der Fachkategorie der Aufgaben zugewiesen werden.

      Dies geschieht in den Eigenschaften des betreffenden Testabschnitts (es kann auch für einzelne Aufgaben definiert werden - d. h. jede Aufgabe kann unter Aufgabeneigenschaften anders klassifiziert werden). Das folgende Bild zeigt ein Beispiel.
      Klicken Sie auf das Symbol Eigenschaften für den Bereich des Tests, den Sie definieren möchten (die Kästchen oben oder die Kästchen neben dem Testteil, der Sektion oder der Aufgabe). Klicken Sie im Eigenschaftenbereich auf der rechten Seite auf Kategorien. Geben Sie die Fachkategorie ein, die Sie für den aktuellen Test, Abschnitt oder die Aufgabe benötigen. Jede Fachkategorie muss mit "x-tao-scoring" beginnen und mit dem Thema enden, das beliebig sein kann. Mögliche Kategorien sind zum Beispiel x-tao-scoring-english, x-tao-scoring-math oder x-tao-scoring-biology.

      Nur TAO Grader: Die Zuweisung von Bewertern nach Fachkategorie ist nur eine von zwei Möglichkeiten. Einzelheiten zu den verfügbaren Zuweisungsstrategien finden Sie im Kapitel Erstellen eines Bewertungsprojekts im Abschnitt über TAO Grader.

      

   5. Anzeigen und Bewerten von Aufgaben, die für die manuelle Bewertung konfiguriert sind. Sobald die Testteilnehmer eine Bewertung abgeschlossen haben, können die Bewerter die Aufgaben für die manuelle Bewertung auf der Sitzungsübersichtsseite anzeigen und bewerten. Weitere Informationen finden Sie in der Dokumentation zu TAO Grader.