Auswertung der Antworten der Testteilnehmer

Die Aufgaben werden vom Scoring Project Manager den Scorern zur Bewertung (oder Überprüfung) zugewiesen. Es kann sein, dass alle Aufgaben in einem bestimmten Test, für die eine manuelle Bewertung erforderlich ist, einem Bewerter zugewiesen werden, oder nur eine Teilmenge dieser Aufgaben - dies hängt von der Art des Tests und der Zuweisungsstrategie ab. Die Bewerter sehen nur die Aufgaben, die ihnen innerhalb eines bestimmten Tests zugewiesen sind.

Sobald Sie sich auf der Seite befinden, auf der Ihre Bewertungsaufgaben angezeigt werden (siehe das Kapitel Navigation für Bewerter für Informationen zur Navigation auf der Plattform als Bewerter), führen Sie die folgenden Schritte aus, um die Ihnen zugewiesenen Antworten zu bewerten.

1.Klicken Sie auf die START Schaltfläche, um die Auswertung zu starten.

Sie werden zur ersten Aufgabe des Tests geführt, die bewertet werden muss.

Der Hauptteil des Bildschirms zeigt die Frage so an, wie sie dem Testteilnehmer gestellt wurde, sowie die Antwort des Testteilnehmers. Ein Beispiel finden Sie in der folgenden Abbildung.

 

In der linken Leiste erscheinen oben der Name des Tests und die aktuelle Aufgabe, darunter ein oder mehrere Bewertungsfelder.

2. Geben Sie die entsprechenden Punktzahlen in das/die Feld(er) ein.

Wenn nur ein Kästchen vorhanden ist, wird eine allgemeine Bewertung für die Antwort erwartet. Wenn eine "Multi-Trait"-Bewertung verwendet wird (d. h. wenn verschiedene Aspekte einer Antwort mit separaten Punkten bewertet werden - in TAO: mehrere Ergebnisse), gibt es mehrere Kästchen im Bewertungsfeld. Dies ist der Fall bei der Testaufgabe in der Abbildung, die Aspekte wie Wortwahl und Verstehen, etc.

Die Wertungsbereiche wurden in TAO konfiguriert und können variieren. In der obigen Abbildung wurde ein Bereich von 1 bis 4 verwendet.

Wenn Sie auf "Kriterien anzeigen" neben einem dieser Punktefelder klicken, wird eine detaillierte Beschreibung der Punktevergabe für dieses bestimmte Feld geöffnet.

Ein Textmarker steht in drei verschiedenen Farben zur Verfügung, um den Bewertungsprozess zu erleichtern - Sie können z. B. bestimmte Fehlerarten, die in der Antwort gefunden wurden, hervorheben, um die Punktzahl(en) für dieses Item zu berechnen.

Abhängig von der Art der Interaktion, die in der Aufgabe verwendet wird, können einige Antworten sehr lang sein. In diesen Fällen ist eine Bildlaufleiste vorgesehen, so dass Sie in der Antwort des Testteilnehmers nach oben und unten blättern können.

3. Markieren Sie das Element, wenn es weitere Aufmerksamkeit benötigt.

Wenn Sie nicht sicher sind, wie Sie eine Antwort bewerten sollen, können Sie das Bewertungsfeld leer lassen und eine Notiz - ein Memo - in das Feld eintragen. (Das könnte z. B. so etwas sein wie "Das muss mit dem Projektmanager besprochen werden".) Die Aufgabe kann dann mit einem Lesezeichen versehen werden, indem Sie auf das Lesezeichensymbol klicken, das sich rechts neben den Testinformationen oben in diesem Fenster befindet.

4. Fahren Sie mit dem nächsten Punkt fort.

Am unteren Rand des Bedienfelds befindet sich eine Siehe Übersicht Schaltfläche, mit zwei Pfeilen. Um zum nächsten Element zu gelangen, das Ihnen innerhalb dieses Tests zugewiesen wurde, klicken Sie auf den rechten Pfeil und wiederholen Sie den Bewertungsvorgang.

In diesem Stadium - bis Sie Ihre endgültigen Ergebnisse einreichen - können Sie mit den Pfeilen am unteren Rand des Bedienfelds zwischen den Elementen hin- und hergehen und die Ergebnisse so oft wie gewünscht ändern.

5. Reichen Sie Ihre Noten ein.

Die Ergebnisse können für einen Test übermittelt werden, wenn die Auswertung für alle Elemente abgeschlossen ist (und alle mit Lesezeichen versehenen Probleme gelöst wurden). 

Um dies zu tun (oder einfach, um Ihren Fortschritt zu überprüfen), klicken Sie auf die Schaltfläche Übersicht sehen am unteren Rand des Fensters. Dadurch erhalten Sie Informationen zu jedem einzelnen Element, wie in der Abbildung gezeigt.

Das Panel links zeigt eine Liste der Items der Testabgabe, die eine manuelle Bewertung erfordern. Die erste davon wird auf dem Bildschirm angezeigt. Die ALLE Spalte zeigt die in den Bewertungsfeldern für diese Aufgabe vergebenen Punktzahlen an. Die INKOMPLETE zeigt an, ob alle Bewertungsfelder eine Bewertung enthalten, und unter BOOKMARKED werden sie markiert, wenn sie weiterer Aufmerksamkeit bedürfen. Diese Informationen werden für alle Testteilnehmer angezeigt, die an demselben Test teilnehmen, wenn Sie die einzelnen Aufgaben besuchen. So können Sie, wenn Sie möchten, eine Aufgabe für alle Testteilnehmer bewerten, bevor Sie mit der nächsten fortfahren, und auch alle Testteilnehmerergebnisse für eine bestimmte Aufgabe auf einen Blick vergleichen.

Wenn die Bewertung abgeschlossen ist und alle mit Lesezeichen versehenen Probleme gelöst sind, wird in der blauen Leiste am unteren Rand des Bildschirms angezeigt: "Alles erledigt, alles ist bewertet!". Wenn Sie mit den abgegebenen Bewertungen zufrieden sind, klicken Sie auf DIE BEWERTUNG ABSCHICKEN, neben dieser Meldung.

Hinweis: Noten können nicht mehr geändert werden, nachdem sie eingereicht wurden: Sie werden an TAO zur weiteren Verarbeitung gesendet. In der Regel werden Antworten an TAO gesendet, wenn alles für eine bestimmte Lieferausführung bewertet wurde (d. h. wenn für alle Antworten eines bestimmten Testteilnehmers für einen bestimmten Test Bewertungen übermittelt wurden).

Wenn Sie auf DIE BEWERTUNG ABSCHICKENklicken, gelangen Sie zurück zum Bildschirm " Scoring Projects" für dieses Projekt, der Ihnen nun mitteilt, dass das Projekt zu 100 % abgeschlossen ist.

Hinweis: Wenn der Bewertungsprozess aus irgendeinem Grund unterbrochen wird (z. B. bei einem Systemabsturz oder einer Zeitüberschreitung der Sitzung), wird die Sitzung beim erneuten Öffnen von TAO Grader an dem Punkt wiederhergestellt, an dem sie unterbrochen wurde. Mit anderen Worten: Es geht nichts verloren (solange Sie die Verbindung mit demselben Browser wiederherstellen).