Tests auswerten

Die Testergebnisse werden durch die Leistung eines Schülers in den verschiedenen Aufgaben eines Tests bestimmt. Die Ergebnisse der einzelnen Aufgaben können mit verschiedenen Methoden zusammengerechnet werden, um das endgültige Testergebnis zu erhalten. In diesem Kapitel wird gezeigt, wie Sie die Testbewertungsregeln konfigurieren und die Ergebniserklärungen berechnen (d. h. die Bewertungskriterien definieren).

Informationen zu den Bewertungsregeln, die für Elemente verwendet werden, finden Sie unter Elemente automatisch bewerten und Elemente manuell bewerten.

Die Bewertungsmethode, die für einen bestimmten Test verwendet werden soll, wird festgelegt, nachdem der Test erstellt wurde, bevor er in einer Bewertung verwendet werden kann. Es gibt vier Optionen:

• eine Punktzahl berechnen, die auf dem Verhältnis von richtigen zu falschen Antworten basiert;
• ein PASS oder FAIL erzeugen;
• eine Methode anwenden, die extern definiert (und importiert) ist;
• überhaupt keinen Score berechnen

Führen Sie die folgenden Schritte aus, um die von Ihnen gewählte Bewertungsmethode einzurichten.

1. Nachdem Sie Ihren Test erstellt haben, indem Sie die Aufgaben ausgewählt haben, die darin enthalten sein sollen, fahren Sie mit dem Mauszeiger über die Zahnräder direkt unter der Aktionsleiste oben in der rechten Ecke des Canvas und Sie sehen die Option Testeigenschaften verwalten. Klicken Sie darauf und die allgemeinen Eigenschaften des Tests werden im rechten Bereich angezeigt, einschließlich der Eigenschaften für die Bewertung.

2. Klicken Sie auf die Schaltfläche Scoring.

Es gibt vier Methoden zur Bewertung eines Tests, oder "Ergebnisverarbeitung", wie dies in QTI genannt wird. Geben Sie Ihre Wahl aus den vier Optionen unten in Outcome Processing ein:

• Keine: Wenn diese Option ausgewählt ist, werden alle vorhandenen Bewertungsregeln entfernt. In diesem Fall wird keine Testbewertung erzeugt. Die Ergebnisse für die einzelnen Elemente des Tests können durch Klicken auf Ergebnisse oder die QTI-Ergebnis-API extrahiert werden. Verwenden Sie diese Option, wenn Sie keine aggregierten Testergebnisse benötigen oder eine benutzerdefinierte Ergebnisverarbeitung außerhalb von TAO durchführen möchten.
• Benutzerdefiniert: Diese Option ist nur anwendbar, wenn ein Test mit benutzerdefinierten Verarbeitungsregeln importiert wird - d.h. die Verarbeitungsregeln werden außerhalb von TAO definiert. Wenn Sie "Benutzerdefiniert" wählen, wird ein Bildschirm "Verarbeitungsregel bearbeiten" angezeigt. Wählen Sie hier Ihre (externe) Auswertungsregel aus, die angibt, wie die Antworten der Testteilnehmer auf die Aufgabe verarbeitet werden sollen. Ein Beispiel für eine Anwendung für benutzerdefinierte Verarbeitungsregeln wäre, wenn Sie mehrere Interaktionen (im selben Item) berücksichtigen möchten. Sie können z. B. festlegen, dass der Testteilnehmer, wenn er entweder Interaktion A oder Interaktion B richtig ausführt - aber nicht beide - die halbe Punktzahl erhält (die Hälfte des berechneten MAX_SCORE). Sie können die Verarbeitungsregeln entsprechend anpassen.
• Gesamtpunktzahl. Wenn Sie dies als gewählte Methode auswählen, werden alle Punktzahlen aus allen Teilen des Tests addiert und Ergebnisvariablen für die Punktzahl des Testteilnehmers (SCORE_TOTAL), die maximale Punktzahl aller Items (SCORE_TOTAL_MAX) und das Verhältnis der richtigen Antworten (SCORE_RATIO) erzeugt.

• Cut Score: Wenn Sie diese Option wählen, wird ein Cut-Off-Punkt für das Bestehen des Tests festgelegt. Geben Sie im Feld Cut Score die Punktzahl ein, die als Cut-Off-Punkt verwendet werden soll. Dieser wird als Verhältnis zur Gesamtpunktzahl festgelegt. Es wird dann eine PASS-Variable generiert, die anzeigt, ob der Schüler den Test bestanden hat. Wenn "Category Score" aktiv ist (siehe unten), werden PASS-Variablen für alle Kategorien generiert, die alle denselben Cut-off-Punkt verwenden.

Wenn Sie eine der beiden letztgenannten Methoden(Gesamtpunktzahl oder Cut Score) wählen, sind möglicherweise einige zusätzliche Informationen erforderlich, je nachdem, wie Sie den Test konfigurieren möchten.

3. Definieren verschiedener Kategorien für Ihren Test.

Ein Kontrollkästchen für Category Score wird angezeigt. Wenn Ihr Test verschiedene Kategorien enthält, muss Category Score ausgewählt werden, damit die Scores für jede Kategorie separat berechnet werden können.

Um Ihre Artikel einzelnen Kategorien zuzuordnen, klicken Sie auf das Einstellungssymbol rechts neben einem Artikel. Geben Sie im rechten Eigenschaftsfenster im Feld Kategorie den Namen der Kategorie ein, der Sie diesen Artikel zuordnen möchten.

4. Definieren von Gewichten für die Elemente in Ihrem Test.

Den einzelnen Aufgaben des Tests können unterschiedliche Gewichtungen zugewiesen werden, je nachdem, wie viel sie zum endgültigen Testergebnis beitragen sollen. Um eine Gewichtung zuzuweisen, klicken Sie auf das Einstellungssymbol rechts neben dem Element, dem Sie eine Gewichtung hinzufügen möchten. Auf der rechten Seite wird das Aufgaben-Eigenschaftenfenster geöffnet.

Wählen Sie unter Gewichtungen eine Kennung für die Gewichtung und einen Wert für dieses Element. Der Bezeichner bezieht sich auf das Gewichtungsschema, das Sie für den Test gewählt haben. Bei defauolt heißt dies 'WEIGHT', aber wenn Sie verschiedene Gewichtungsschemata in verschiedenen Testszenarien verwenden möchten, müssen Sie ein anderes definieren.

Der Wert bezieht sich auf die Gewichtung, die Sie diesem Element zuweisen möchten. Wenn zum Beispiel eine Gewichtung von 2 eingegeben wird, wird die Punktzahl für diese Aufgabe bei der Berechnung der endgültigen Testpunktzahl mit 2 multipliziert. Wenn für eine Aufgabe des Tests keine solche Gewichtungsdefinition auf Aufgabenebene vorhanden ist, nimmt das Bewertungsmodul den Standardwert = 1 an.

Hinweis: Es ist möglich, verschiedene Gewichtungen für dieselbe Aufgabe zu definieren (in verschiedenen Gewichtungsschemata) und dann zwischen ihnen für verschiedene Testszenarien zu wählen. Dies kann nützlich sein, wenn z. B. ein Test verschiedene Themen abdeckt und in einem bestimmten Test ein bestimmtes Thema als wichtiger angesehen wird als die anderen. Klicken Sie dazu auf "Neue Gewichtung hinzufügen" unterhalb der ursprünglichen Gewichtung. 

Wenn Artikel-Metadaten eingefügt werden, werden sie automatisch in die Kategorien des Artikels übernommen. Kategorien können auch manuell verwaltet werden.

5. Klicken Sie auf die Schaltfläche Outcome Declarations.

Die Ergebnisdeklarationen stehen in direktem Zusammenhang mit den oben gewählten Bewertungsregeln; die Liste der generierten Ergebnisvariablen lautet wie folgt:

• Wenn Sie Keine als Ergebnisverarbeitungsmethode ausgewählt haben, werden alle Ergebnisvariablen entfernt
• Wenn Sie Gesamtscore als Ergebnisverarbeitungsmethode ausgewählt haben, werden Ergebnisvariablen zur Berechnung von Gesamtscores generiert
• Wenn Sie "Cut Score" als Ergebnisverarbeitungsmethode ausgewählt haben, werden Ergebnisvariablen generiert, um Gesamtscores und Variablen zu berechnen, die gegen den definierten Cut-Score geprüft werden (typischerweise bestanden/nicht bestanden)
• Wenn ein GEWICHT angewendet wurde, werden zusätzliche Ergebnisvariablen generiert, um gewichtete Scores zu berechnen

Hinweis: Die Ergebnisse werden automatisch generiert, aber in den wenigen Fällen, in denen dies nicht der Fall ist, können die Werte über die Schaltfläche "Neu generieren" erzeugt werden.

Die Konfiguration der Testbewertungsregeln ist nun abgeschlossen.