Tests auswerten
Die Testergebnisse werden durch die Leistung eines Schülers in den verschiedenen Aufgaben eines Tests bestimmt. Die Ergebnisse der einzelnen Aufgaben können mit verschiedenen Methoden zusammengerechnet werden, um das endgültige Testergebnis zu erhalten. In diesem Kapitel wird gezeigt, wie Sie die Regeln für die Testbewertung konfigurieren und die Ergebniserklärungen berechnen (d. h. die Bewertungskriterien definieren).
Informationen zu den Bewertungsregeln, die für Elemente verwendet werden, finden Sie unter Elemente automatisch bewerten und Elemente manuell bewerten.
Die Bewertungsmethode, die für einen bestimmten Test verwendet werden soll, wird nach der Erstellung des Tests festgelegt, bevor er in einer Bewertung verwendet werden kann. Es gibt vier Optionen:
- eine Punktzahl berechnen, die auf dem Verhältnis von richtigen zu falschen Antworten basiert;
- ein PASS oder FAIL erzeugen;
- eine Methode anwenden, die extern definiert (und importiert) ist;
- überhaupt keinen Score berechnen
Führen Sie die folgenden Schritte aus, um die von Ihnen gewählte Bewertungsmethode einzurichten.
1. Nachdem Sie Ihren Test erstellt haben, indem Sie die Aufgaben ausgewählt haben, die darin enthalten sein sollen, fahren Sie mit dem Mauszeiger über die Zahnräder direkt unter der Aktionsleiste oben in der rechten Ecke des Canvas und Sie werden die Option Testeigenschaften verwalten sehen. Klicken Sie darauf und die allgemeinen Eigenschaften des Tests werden im rechten Bereich angezeigt, einschließlich der Eigenschaften für die Bewertung.
2. Klicken Sie auf die Schaltfläche Scoring.
Es gibt vier Methoden zur Bewertung eines Tests, oder "Ergebnisverarbeitung", wie dies in QTI genannt wird. Geben Sie Ihre Wahl aus den vier Optionen unten in Ergebnisverarbeitung ein:

- Keine: Wenn diese Option ausgewählt wird, werden alle bestehenden Bewertungsregeln entfernt. In diesem Fall wird keine Testbewertung erstellt. Die Punktzahlen für die einzelnen Aufgaben des Tests können durch Klicken auf Ergebnisseoder die QTI-Ergebnis-API. Verwenden Sie diese Option, wenn Sie keine aggregierten Testergebnisse benötigen oder eine benutzerdefinierte Ergebnisverarbeitung außerhalb von TAO durchführen möchten.
- Benutzerdefiniert: Diese Option ist nur anwendbar, wenn ein Test mit benutzerdefinierten Verarbeitungsregeln importiert wird - d.h. die Verarbeitungsregeln werden außerhalb von TAO definiert. Wenn Sie die Option "Benutzerdefiniert" wählen, wird der Bildschirm "Verarbeitungsregel bearbeiten" angezeigt. Wählen Sie hier Ihre (externe) Auswertungsregel aus, die angibt, wie die Antworten der Testteilnehmer auf die Aufgabe verarbeitet werden sollen. Ein Beispiel für eine Anwendung von benutzerdefinierten Verarbeitungsregeln wäre, wenn Sie mehrere Interaktionen (in derselben Aufgabe) berücksichtigen möchten. Sie können z. B. festlegen, dass der Testteilnehmer die halbe Punktzahl (die Hälfte des berechneten MAX_SCORE) erhält, wenn er entweder die Interaktion A oder die Interaktion B - aber nicht beide - korrekt abschließt. Sie können die Verarbeitungsregeln entsprechend anpassen.
- Gesamtpunktzahl. Wenn Sie dies als gewählte Methode auswählen, werden alle Punktzahlen aus allen Teilen des Tests addiert und Ergebnisvariablen für die Punktzahl des Testteilnehmers (SCORE_TOTAL), die maximale Punktzahl aller Items (SCORE_TOTAL_MAX) und das Verhältnis der richtigen Antworten (SCORE_RATIO) erzeugt.

- Cut Score: Wenn Sie diese Option wählen, wird ein Cut-Off-Punkt für das Bestehen des Tests festgelegt. Geben Sie im Feld Cut Score die Punktzahl ein, die als Cut-Off-Punkt verwendet werden soll. Dieser wird als Verhältnis zur Gesamtpunktzahl festgelegt. Es wird dann eine PASS-Variable generiert, die anzeigt, ob der Schüler den Test bestanden hat. Wenn "Category Score" aktiv ist (siehe unten), werden PASS-Variablen für alle Kategorien generiert, die alle denselben Cut-off-Punkt verwenden.

Wenn Sie eine der beiden letztgenannten Methoden(Gesamtpunktzahl oder Cut Score) wählen, sind möglicherweise einige zusätzliche Informationen erforderlich, je nachdem, wie Sie den Test konfigurieren möchten.
3. Definieren verschiedener Kategorien für Ihren Test.
Ein Kontrollkästchen für Category Score wird angezeigt. Wenn Ihr Test verschiedene Kategorien enthält, muss Category Score ausgewählt werden, damit die Scores für jede Kategorie separat berechnet werden können.
Um Ihre Artikel einzelnen Kategorien zuzuordnen, klicken Sie auf das Einstellungssymbol rechts neben einem Artikel. Geben Sie im rechten Eigenschaftsfenster im Feld Kategorie den Namen der Kategorie ein, der Sie diesen Artikel zuordnen möchten.
4. Definieren von Gewichten für die Elemente in Ihrem Test.
Den einzelnen Aufgaben des Tests können unterschiedliche Gewichtungen zugewiesen werden, je nachdem, wie viel sie zur endgültigen Testpunktzahl beitragen sollen. Um eine Gewichtung zuzuweisen, klicken Sie auf das Einstellungssymbol rechts neben der Aufgabe, für die Sie eine Gewichtung hinzufügen möchten. Auf der rechten Seite öffnet sich das Fenster mit den Aufgabeneigenschaften.
Wählen Sie unter Gewichtungen eine Kennung für die Gewichtung und einen Wert für dieses Element. Der Bezeichner bezieht sich auf das Gewichtungsschema, das Sie für den Test gewählt haben. Bei defauolt heißt dies 'WEIGHT', aber wenn Sie verschiedene Gewichtungsschemata in verschiedenen Testszenarien verwenden möchten, müssen Sie ein anderes definieren.
Der Wert bezieht sich auf die Gewichtung, die Sie dieser Aufgabe zuweisen möchten. Wenn beispielsweise eine Gewichtung von 2 eingegeben wird, wird die Punktzahl für diese Aufgabe bei der Berechnung der endgültigen Testpunktzahl mit 2 multipliziert. Wenn für eine Aufgabe des Tests keine derartige Gewichtung auf Aufgabenebene definiert ist, nimmt das Bewertungsmodul den Standardwert = 1 an.
Hinweis: Es ist möglich, verschiedene Gewichtungen für dieselbe Aufgabe zu definieren (in verschiedenen Gewichtungsschemata) und dann zwischen ihnen für verschiedene Testszenarien zu wählen. Dies kann nützlich sein, wenn z. B. ein Test verschiedene Themen abdeckt und in einem bestimmten Test ein bestimmtes Thema als wichtiger angesehen wird als die anderen. Klicken Sie dazu auf "Neue Gewichtung hinzufügen" unterhalb der ursprünglichen Gewichtung.
Wenn Metadaten zu einem Artikel eingefügt werden, werden sie automatisch in die Kategorien des Artikels übertragen. Kategorien können auch manuell verwaltet werden.
5. Klicken Sie auf die Schaltfläche Outcome Declarations.
Die Ergebnisdeklarationen stehen in direktem Zusammenhang mit den oben gewählten Bewertungsregeln; die Liste der generierten Ergebnisvariablen lautet wie folgt:
- Wenn Sie Keine als Ergebnisverarbeitungsmethode ausgewählt haben, werden alle Ergebnisvariablen entfernt
- Wenn Sie Gesamtscore als Ergebnisverarbeitungsmethode ausgewählt haben, werden Ergebnisvariablen zur Berechnung von Gesamtscores generiert
- Wenn Sie "Cut Score" als Ergebnisverarbeitungsmethode ausgewählt haben, werden Ergebnisvariablen generiert, um Gesamtscores und Variablen zu berechnen, die gegen den definierten Cut-Score geprüft werden (typischerweise bestanden/nicht bestanden)
- Wenn ein GEWICHT angewendet wurde, werden zusätzliche Ergebnisvariablen generiert, um gewichtete Scores zu berechnen
Hinweis: Die Ergebnisse werden automatisch generiert, aber in den wenigen Fällen, in denen dies nicht der Fall ist, können die Werte über die Schaltfläche "Neu generieren" erzeugt werden.
Die Konfiguration der Testbewertungsregeln ist nun abgeschlossen.