Ob Sie nun Ausbilder oder Arbeitgeber sind, es ist von entscheidender Bedeutung, dass Sie die richtigen Fähigkeiten und Leistungen auf ethische, genaue und sinnvolle Weise messen und prüfen. Wenn Sie sicherstellen wollen, dass Ihre Schüler und Studenten über das nötige Wissen verfügen und gut vorbereitet sind, oder wenn Sie sich vergewissern wollen, dass ein potenzieller Mitarbeiter oder Angestellter in der Lage ist, bestimmte Aufgaben auszuführen, müssen Sie ihm die richtigen Prüfungs- oder Bewertungsinhalte zur Verfügung stellen.
Damit eine Prüfung oder eine Beurteilung ihren Zweck unvoreingenommen erfüllen kann, muss sie objektiv messen, was sie messen soll. Mit anderen Worten: Ihre Tests müssen gültig und zuverlässig sein.
Was ist Prüfungsgültigkeit?
Die Validität der Bewertung gibt Auskunft über die Genauigkeit und Zuverlässigkeit der Prüfungsergebnisse. Um die Ergebnisse vertrauensvoll und ethisch vertretbar nutzen zu können, müssen Sie sicherstellen, dass die Gültigkeit und Zuverlässigkeit der Prüfung sicherstellen.
Validität bedeutet, dass ein Test das misst, was er messen soll, und dass er keine Fragen enthält, die voreingenommen, unethisch oder irrelevant sind. Die Validität bezieht sich speziell auf den Inhalt des Tests und das, was er messen soll.
Bei der Zuverlässigkeit geht es jedoch darum, wie beständig ein Test stabile Ergebnisse liefert. Wenn zum Beispiel eine Gruppe von Schülern einen Test zur Messung der digitalen Kompetenz und die Ergebnisse zeigen, dass sie den Test beherrschen, aber sie wiederholen den Test und fallen durch, dann gibt es möglicherweise Unstimmigkeiten bei den Testfragen. Die Bewertung liefert unzuverlässige Ergebnisse. Mit anderen Worten: Ihre Testergebnisse sollten reproduzierbar und konsistent sein, d. h. Sie sollten in der Lage sein, eine Gruppe oder eine Person zweimal zu testen und dabei die gleichen oder annähernd die gleichen Ergebnisse zu erzielen.
Vier Wege zur Verbesserung der Validität und Zuverlässigkeit von Bewertungen
Glücklicherweise gibt es Möglichkeiten, Testinhalte so zu gestalten, dass sie genau, gültig und zuverlässig sind. Behalten Sie diese Kernkomponenten im Hinterkopf, wenn Sie zu den vier Schlüsselschritten übergehen:
- Inhaltliche Gültigkeit - Sie müssen wissen, was Sie messen wollen, und sicherstellen, dass der Test nicht davon abweicht;
- Kriterium Validität - beurteilen, wie gut Ihr Test den Inhalt misst;
- Konstruktvalidität - prüfen, ob der Test tatsächlich den richtigen Inhalt misst oder ob er etwas anderes misst;
- Verlässlichkeit - Stellen Sie sicher, dass der Test wiederholbar ist und konsistente Ergebnisse liefert, wenn dieselbe Gruppe oder Person den Test innerhalb eines kurzen Zeitraums wiederholt.
Die nachstehenden Tipps können Sie bei der Erstellung Ihrer Prüfungen oder Beurteilungen unterstützen, um sicherzustellen, dass sie einen gültigen und zuverlässigen Inhalt haben.
1. Identifizieren Sie den Testzweck durch Setzen von SMART-Zielen
Bevor Sie mit der Entwicklung von Fragen für Ihren Test beginnen, müssen Sie den Zweck und die Ziele der Prüfung oder Beurteilung klar definieren. Dies können Sie tun, indem Sie SMARTe Ziele festlegen. SMART steht für:
- Spezifisch;
- Messbar;
- Erreichbar;
- Einschlägig;
- Zeitgebunden.
Wie Sie sehen können, enthalten SMART-Ziele einige der Schlüsselkomponenten der Testvalidität: Messbarkeit und Relevanz. Wenn Sie SMARTe Testziele erstellen, die messbare und relevante Ergebnisse beinhalten, wird dies dazu beitragen, dass Ihre Testergebnisse reproduzierbar sind. Dies wird Sie bei der Erstellung der Testfragen leiten.
Dabei werden Sie vielleicht feststellen, dass die Fragen, die Sie sich ausgedacht haben, nicht gültig oder zuverlässig sind. Sie können diese Fragen differenzieren, indem Sie auf Ihre SMART-Ziele zurückgreifen. Dazu gehört, dass Sie die Besonderheiten des Tests und das, was Sie messen wollen, wie z. B. den Inhalt oder die Kriterien, festlegen.
Denken Sie daran, für wen der Test bestimmt ist und wie diese Personen bestimmte Sprachen wahrnehmen könnten. Legen Sie auch fest, wie viele Fragen Sie stellen wollen oder wie lang der Test sein soll, um möglichst genaue Ergebnisse zu erzielen, ohne die Befragten zu überfordern. Wenn Sie diese Dinge im Voraus festlegen und Ihre Ziele klar definieren, können Sie einen valideren Test erstellen.
2. Messen Sie die richtigen Fertigkeiten
Wenn Sie einen neuen Test entwerfen, ist es auch wichtig, dass Sie wissen, welche Fähigkeiten oder Fertigkeiten Sie je nach Situation testen müssen. Wenn Sie zum Beispiel einen Computerkurs unterrichten, müssen Sie sicherstellen, dass Ihre Prüfung die richtigen Fragen enthält, um festzustellen, ob Ihre Schüler die Fähigkeiten erlernt haben, die sie benötigen, um als "digital kompetent" zu gelten.
Wenn Sie jemanden für eine Führungsposition im IT-Bereich einstellen, müssen Sie sicherstellen, dass er die richtigen Hard- und Soft Skills für die Stelle hat. Ihr Assessment muss Fragen enthalten, die genau die Fähigkeiten abfragen, die über die Kernanforderungen der Stelle hinausgehen. Dazu gehören Fragen, die die Kommunikationsfähigkeit, das Einfühlungsvermögen und die Selbstdisziplin beurteilen. Wenn Sie als Ausbilder eine Prüfung abnehmen, sollten Sie sich genau überlegen, worum es in dem Kurs geht und welche Fähigkeiten die Teilnehmer erlernt haben sollten, um sicherzustellen, dass Ihre Prüfung genau diese Fähigkeiten abfragt.
3. Vorrang für Zugänglichkeit, Gerechtigkeit und Objektivität
Bei der Erstellung einer Bewertung ist es auch wichtig, dass der Testinhalt so unvoreingenommen wie möglich ist. Das bedeutet, dass er zugänglich und gerecht sein muss. Wenn Sie z. B. prüfen, ob jemand die richtigen Fähigkeiten hat, um Computerprogrammierer zu werden, aber Fragen zu seiner Rasse, seinem Wohnort oder einer körperlichen Behinderung einbeziehen, besteht die Möglichkeit, dass die Testergebnisse voreingenommen und diskriminierend sind. Dies könnte dazu führen, dass jemand aus den falschen - oder sogar illegalen - Gründen ausgeschlossen wird oder durchfällt. Wenn jemand beispielsweise eine farbige Person ist oder einen Rollstuhl benutzt, hat das nichts damit zu tun, ob er oder sie ein guter Computerprogrammierer ist oder nicht.
Es ist auch wichtig, auf den Inhalt des Tests zu achten, um sicherzustellen, dass er nicht ungewollt bestimmte Personengruppen ausschließt. Zum Beispiel kann eine wirklich objektive Bewertung in der Hochschulbildung einige Studierende berücksichtigen, die auf Hilfsmittel angewiesen sind oder unterschiedliche Lernstile haben. Es ist nicht fair, einen Test zu erstellen, ohne Studierende mit Behinderungen zu berücksichtigen, zumal nur etwa ein Drittel der Studierenden mit Behinderungen ihre Hochschule informieren. Gehen Sie nicht davon aus, dass die Teilnehmer Ihres Tests ohne Behinderungen leben, sondern bemühen Sie sich, jede Frage für alle zugänglich zu machen. Verwenden Sie eine integrative Sprache, gegebenenfalls Laienbegriffe, Vorkehrungen für Bildschirmleser und alles, was Ihnen einfällt, um allen den gleichen Zugang zu Ihrer Prüfung zu ermöglichen.
4. Durchführung einer Analyse und Überprüfung des Tests
Nachdem Sie Ihren Test erstellt haben, sollten Sie ihn überprüfen und analysieren, bevor Sie ihn an Ihre Schüler oder potenziellen Mitarbeiter verteilen. Zur Überprüfung können Sie Kollegen oder andere Experten bitten, einen Blick auf Ihren Test zu werfen. Die Überprüfung durch andere Personen kann Ihnen helfen, Probleme zu erkennen, die Sie selbst vielleicht nicht bemerkt haben.
Es gibt auch Programme, mit denen Sie den Test durchlaufen lassen können, um sicherzustellen, dass die Fragen gültig und zuverlässig sind. Wenn eine Frage nicht passt oder irrelevant ist, weist das Programm darauf hin, dass sie entfernt oder vielleicht umformuliert werden muss, damit sie relevanter ist.
- —
Die Entwicklung von Prüfungen und Beurteilungen, die valider und zuverlässiger sind, ist sowohl für die Entwicklung von Schülern und Studenten als auch von Arbeitnehmern unerlässlich. Wenn Sie nicht genau die richtigen Dinge testen, kann sich das negativ auf Ihr Unternehmen und Ihre Mitarbeiter auswirken oder die Entwicklung der Schüler behindern. Wichtig ist auch, dass Sie Ihre Tests regelmäßig überprüfen und aktualisieren, wenn sich die Anforderungen ändern, und dass Sie nach dem Test ein Feedback geben.
