Auswertung der Antworten der Testteilnehmer
Die Aufgaben werden vom Scoring Project Manager den Scorern zur Bewertung (oder Überprüfung) zugewiesen. Es kann sein, dass alle Aufgaben in einem bestimmten Test, für die eine manuelle Bewertung erforderlich ist, einem Bewerter zugewiesen werden, oder nur eine Teilmenge dieser Aufgaben - dies hängt von der Art des Tests und der Zuweisungsstrategie ab. Die Bewerter sehen nur die Aufgaben, die ihnen in einem bestimmten Test zugewiesen sind.
Sobald Sie sich auf der Seite befinden, auf der Ihre Bewertungsaufgaben angezeigt werden (siehe das Kapitel Navigation für Bewerter für Informationen zur Navigation auf der Plattform als Bewerter), führen Sie die folgenden Schritte aus, um die Ihnen zugewiesenen Antworten zu bewerten.
1.Klicken Sie auf die START Schaltfläche, um die Auswertung zu starten.
Sie werden zur ersten Aufgabe des Tests geführt, die bewertet werden muss.
Der Hauptteil des Bildschirms zeigt die Frage, wie sie dem Testteilnehmer gestellt wurde, sowie die Antwort des Testteilnehmers. Ein Beispiel ist in der folgenden Abbildung dargestellt.
In der linken Leiste erscheinen oben der Name des Tests und die aktuelle Aufgabe, darunter ein oder mehrere Bewertungsfelder.
2. Geben Sie die entsprechenden Punktzahlen in das/die Feld(er) ein.
Ist nur ein Kästchen vorhanden, wird eine allgemeine Punktzahl für die Antwort erwartet. Wird eine "Multi-Trait"-Bewertung verwendet (d. h. verschiedene Aspekte einer Antwort werden getrennt bewertet - in BAT: mehrere Ergebnisse), gibt es mehrere Kästchen im Bewertungsfeld. Dies ist bei der Testaufgabe in der Abbildung der Fall, die folgende Aspekte umfasst Wortwahl und Verstehenusw.
Die Wertungsbereiche wurden in TAO konfiguriert und können variieren. In der obigen Abbildung wurde ein Bereich von 1 bis 4 verwendet.
Wenn Sie auf "Kriterien anzeigen" neben einem dieser Punktefelder klicken, wird eine detaillierte Beschreibung der Punktevergabe für dieses bestimmte Feld geöffnet.
Ein Textmarker steht in drei verschiedenen Farben zur Verfügung, um den Bewertungsprozess zu erleichtern - Sie können z. B. bestimmte Fehlerarten, die in der Antwort gefunden wurden, hervorheben, um die Punktzahl(en) für dieses Item zu berechnen.
Je nach Art der Interaktion, die in der Aufgabe verwendet wird, können einige Antworten sehr lang sein. In diesen Fällen ist eine Bildlaufleiste vorhanden, mit der Sie in der Antwort des Testteilnehmers nach oben und unten blättern können.
3. Markieren Sie das Element, wenn es weitere Aufmerksamkeit benötigt.
Wenn Sie nicht sicher sind, wie Sie eine Antwort bewerten sollen, können Sie das Bewertungsfeld leer lassen und eine Notiz - ein Memo - in das Feld eintragen. (Das könnte z. B. so etwas sein wie "Das muss mit dem Projektmanager besprochen werden".) Die Aufgabe kann dann mit einem Lesezeichen versehen werden, indem Sie auf das Lesezeichensymbol klicken, das sich rechts neben den Testinformationen oben in diesem Fenster befindet.
4. Fahren Sie mit dem nächsten Punkt fort.
Am unteren Rand des Bedienfelds befindet sich eine Siehe Übersicht Schaltfläche, mit zwei Pfeilen. Um zum nächsten Element zu gelangen, das Ihnen innerhalb dieses Tests zugewiesen wurde, klicken Sie auf den rechten Pfeil und wiederholen Sie den Bewertungsvorgang.
In diesem Stadium - bis Sie Ihre endgültigen Ergebnisse einreichen - können Sie mit den Pfeilen am unteren Rand des Bedienfelds zwischen den Elementen hin- und hergehen und die Ergebnisse so oft wie gewünscht ändern.
5. Reichen Sie Ihre Noten ein.
Die Ergebnisse können für einen Test übermittelt werden, wenn die Auswertung für alle Elemente abgeschlossen ist (und alle mit Lesezeichen versehenen Probleme gelöst wurden).
Um dies zu tun (oder einfach, um Ihren Fortschritt zu überprüfen), klicken Sie auf die Schaltfläche Übersicht sehen am unteren Rand des Fensters. Dadurch erhalten Sie Informationen zu jedem einzelnen Element, wie in der Abbildung gezeigt.
Das Feld auf der linken Seite enthält eine Liste der Aufgaben der Testlieferung, die manuell bewertet werden müssen. Die erste davon wird auf dem Bildschirm angezeigt. Die ALLE Spalte zeigt die Punkte, die in den Bewertungsfeldern für diese Aufgabe vergeben wurden. Die Spalte INKOMPLETE zeigt an, ob alle Wertungsfelder eine Wertung enthalten, und unter BOOKMARKED werden sie gekennzeichnet, wenn sie weitere Aufmerksamkeit erfordern. Diese Informationen werden für alle Testteilnehmer angezeigt, die an demselben Test teilnehmen, wenn Sie die einzelnen Aufgaben besuchen. Wenn Sie möchten, können Sie also eine Aufgabe für alle Testteilnehmer bewerten, bevor Sie mit der nächsten Aufgabe fortfahren, und Sie können alle Testteilnehmerergebnisse für eine bestimmte Aufgabe auf einen Blick vergleichen.
Wenn die Bewertung abgeschlossen ist und alle mit Lesezeichen versehenen Probleme gelöst sind, wird in der blauen Leiste am unteren Rand des Bildschirms angezeigt: "Alles erledigt, alles ist bewertet!". Wenn Sie mit den abgegebenen Bewertungen zufrieden sind, klicken Sie auf DIE BEWERTUNG ABSCHICKEN, neben dieser Meldung.
Hinweis: Die Noten können nach ihrer Übermittlung nicht mehr geändert werden: Sie werden zur weiteren Verarbeitung an TAO gesendet. In der Regel werden die Antworten an das BAT gesendet, wenn alle Antworten für eine bestimmte Zustellungsausführung bewertet wurden (d. h. wenn die Bewertungen für alle Antworten eines bestimmten Testteilnehmers für einen bestimmten Test übermittelt wurden).
Wenn Sie auf DIE BEWERTUNG ABSCHICKENklicken, gelangen Sie zurück zum Bildschirm " Scoring Projects" für dieses Projekt, der Ihnen nun mitteilt, dass das Projekt zu 100 % abgeschlossen ist.
Hinweis: Wenn der Bewertungsprozess aus irgendeinem Grund unterbrochen wird (z. B. bei einem Systemabsturz oder einer Zeitüberschreitung der Sitzung), wird die Sitzung beim erneuten Öffnen von TAO Grader an dem Punkt wiederhergestellt, an dem sie unterbrochen wurde. Mit anderen Worten: Es geht nichts verloren (solange Sie die Verbindung mit demselben Browser wiederherstellen).
