Generative KI, ChatGPT und die Auswirkungen auf die Testerstellung

Eine Lehrerin steht in einem Klassenzimmer und lächelt die Schüler an, die an ihren Schreibtischen mit Laptops sitzen.

Chat GPT hat die Bildungswelt im Sturm erobert, da Pädagogen sich bemühen, die Bedenken über Betrug unter Verwendung generativer KI. Die Besorgnis darüber, dass Schüler das Programm nutzen, um menschenähnliche Aufsätze und kurze, konstruierte Antworten zu erstellen und in einigen Fällen analytisches Denken zu üben, hat dazu geführt, dass Lehrkräfte das Programm weitgehend verurteilt haben. Nachdem sich der Staub um die öffentliche Meinung zu Chat GPT gelegt hat, ist jedoch klar, dass es Vorteile hat und sich durchsetzen wird.

Werkzeuge wie generative KI haben das Zeug dazu, die Bildungslandschaft zu verändern, und könnten sich für Lehrkräfte und Schüler gleichermaßen als Vorteil erweisen. Der Einsatz generativer KI zur Erstellung von Lektüre mit Niveaustufen, zur Entwicklung von Schreibaufforderungen und sogar zur Generierung von Bewertungsfragen könnte das Leben der Lehrkräfte erleichtern und gleichzeitig die Lernergebnisse der Schüler verbessern. 

Wie können KI-Tools in der Bewertung eingesetzt werden?

KI-Tools wie Chat GPT können von Bewertungsautoren auf verschiedene Weise eingesetzt werden, je nach den spezifischen Anforderungen der Bewertung. Hier sind ein paar Beispiele:

Generierung von Testfragen: Chat GPT und andere generative KI-Software kann verwendet werden, um Testfragen für eine Vielzahl von Themen und Schwierigkeitsgraden zu erstellen. Bewertungsautoren können Aufforderungen oder Themen eingeben, und Chat GPT kann seine Sprachgenerierungsfähigkeiten nutzen, um Fragen zu erstellen, die das Verständnis und das Wissen der Schüler bewerten.

Benotung von Antworten: KI kann verwendet werden, um offene Antworten von Schülern zu bewerten. Indem die KI mit einer Reihe von Antworten trainiert wird, die bereits von menschlichen Bewertern bewertet wurden, kann sie lernen, neue Antworten auf der Grundlage ihrer Ähnlichkeit mit der Trainingsmenge zu bewerten.

Erstellen von adaptiven Bewertungsfragen: Chat GPT kann verwendet werden, um adaptive Bewertungserfahrungen zu erstellen, die den Schwierigkeitsgrad der Fragen auf der Grundlage der Antworten der Schüler anpassen. Durch die Analyse der Antworten der Schüler in Echtzeit kann Chat GPT Fragen erstellen, die für jeden Schüler eine angemessene Herausforderung darstellen.

Feedback geben: Chat GPT kann verwendet werden, um den Schülern schneller Feedback zu ihren Antworten zu geben. Durch die Analyse von Inhalt und Struktur der Schülerantworten kann Chat GPT spezifisches, informatives und umsetzbares Feedback geben.

Der Wert der generativen KI für die Erstellung von Bewertungsfragen

Die Entwicklung von Prüfungsfragen ist eine zeitaufwändige und mühsame Aufgabe für Lehrkräfte. Es kann eine Herausforderung sein, genügend Fragen zu erstellen, um die Schüler zu testen, und die Erstellung einer Datenbank mit Fragen, die für eine Prüfung verwendet werden sollen, nimmt Zeit von anderen Aufgaben wie der Planung, dem Kontakt mit den Schülern und der Entwicklung hochwertiger Inhalte weg. Der Einsatz von generativer KI zur Erstellung von Bewertungsfragen ist eine Option, die Lehrkräfte und Testentwickler nutzen können, um Zeit zu sparen und effizienter zu arbeiten. 

Generative KI kann bei der Erstellung von Bewertungsfragen auf verschiedene Weise nützlich sein: 

Erstellen Sie mühelos große Mengen von Inhalten 

Der vielleicht größte Vorteil der Verwendung von Chat GPT zur Erstellung von Bewertungsfragen ist die Geschwindigkeit, mit der es eine große Menge an Fragen erstellen kann. Als Pädagoge können Sie Chat GPT eine Kopie einer Arbeit geben, an der Sie gerade arbeiten, und es bitten, Fragen zu dem Thema über das Thema zu erstellen. Sie können auch angeben, wie viele Fragen Sie möchten und auf welchem Niveau. Auf diese Weise kann eine Lehrkraft oder ein Testentwickler innerhalb weniger Minuten Hunderte von Fragen erstellen - eine Aufgabe, die normalerweise viel Zeit, Mühe und Geld kosten würde, um sie in einem so großen Umfang zu erfüllen.

Generative KI ist nicht perfekt und einige Fragen entsprechen möglicherweise nicht den Vorstellungen des Testentwicklers. Bei der Verwendung von Chat GPT zur Erstellung von Bewertungsfragen ist es immer noch notwendig, dass ein Mensch die Fragen, die nicht passen, durchschaut und bearbeitet. Der Prozess der Bearbeitung von Fragen ist jedoch in der Regel schneller als die Erstellung von Fragen von Grund auf. 

Randomisierung von Testfragen

Unter Randomisierung von Testfragen versteht man die Verwendung einer oder mehrerer Fragebänke, aus denen bei der Erstellung eines Tests nach dem Zufallsprinzip ausgewählt wird. Früher wurde dieser Prozess manuell durchgeführt, d. h. eine Lehrkraft erstellte zwei oder drei Versionen eines Tests, indem sie Fragen umstellte. Dies war sehr zeitaufwändig, doch mit moderner Prüfungssoftware wie TAO testingkönnen Lehrkräfte Fragen nahtlos in die Plattform einfügen, und die Plattform kann die Reihenfolge der Fragen in einem Test zufällig festlegen. Zusätzlich zur Zufallsauswahl der Fragen können digitale Testplattformen auch die Auswahl der Antworten nach dem Zufallsprinzip vornehmen.

All dies dient dazu, die Gültigkeit und Zuverlässigkeit von Tests zu verbessern, Betrug zu verringern und die Integrität von Tests insgesamt zu verbessern. Chat GPT kann zwar verschiedene Formen eines Tests generieren, aber das Kopieren, Einfügen und Ausdrucken verschiedener Testversionen ist immer noch mit persönlichem Aufwand verbunden. Der Einsatz einer Testplattform wie TAO Testing beschleunigt dies und bündelt den gesamten Prozess, von der Testentwicklung bis zur Benotung, an einem einzigen Ort. 

Beispiele für Fragetypen

Chat GPT kann Fragen für eine Vielzahl von Beurteilungen oder Bedürfnissen entwickeln, darunter: 

  • Faktenbasierte Fragen: Fragen, die auf sachlichen Informationen beruhen. Zum Beispiel: "Welcher ist der größte Planet in unserem Sonnensystem?
  • Konzeptuelle Fragen: Fragen, die sich auf das Verständnis von Konzepten und Prinzipien beziehen. Zum Beispiel: "Was ist der Unterschied zwischen Wetter und Klima?
  • Analytische Fragen: Fragen, die der Analyse und Interpretation von Informationen dienen. Zum Beispiel: "Was sind mögliche Ursachen für die aktuelle Klimakrise?"
  • Fragen zum kritischen Denken: Fragen, um Informationen zu bewerten und Urteile zu fällen. Zum Beispiel: "Glauben Sie, dass soziale Medien einen positiven oder negativen Einfluss auf die Gesellschaft haben? Begründen Sie Ihre Antwort."
  • Kreative Fragen: Fragen, die einzigartige und innovative Ideen hervorbringen sollen. Zum Beispiel: "Was sind mögliche Lösungen, um den Plastikmüll in unseren Ozeanen zu reduzieren?"
  • Szenario-basierte Fragen: Dies sind Fragen, die ein hypothetisches Szenario darstellen und den Schüler auffordern, darauf zu antworten. Zum Beispiel: "Sie sind Geschäftsführer eines Unternehmens, dem unethische Praktiken vorgeworfen werden. Wie würden Sie mit der Situation umgehen?"

Psychometrische Betrachtung: Validität und Reliabilität mit Chat GPT

Psychometrik ist ein wesentlicher Aspekt bei der Erstellung effektiver Bewertungsfragen, da es darum geht, Fragen zu entwerfen, die für alle Testteilnehmer zuverlässig, gültig und fair sind. KI-generierte Fragen müssen immer noch anhand psychometrischer Grundsätze bewertet werden, um sicherzustellen, dass sie die erforderlichen Standards erfüllen.

Eine Möglichkeit, KI-generierte Inhalte mit der Psychometrie in Einklang zu bringen, besteht darin, eine menschliche Überprüfung und Qualitätskontrolle in den Bewertungsprozess einzubeziehen. Menschliche Experten für das jeweilige Fachgebiet und Psychometriker können die generierten Fragen auf Validität, Zuverlässigkeit und Fairness prüfen. Sie können auch sicherstellen, dass die Fragen mit den beabsichtigten Lernergebnissen übereinstimmen und für die vorgesehene Zielgruppe geeignet sind.

Eine weitere Möglichkeit, die Qualität von KI-generierten Inhalten zu gewährleisten, ist der Einsatz von Algorithmen für maschinelles Lernen, die speziell für die Optimierung psychometrischer Eigenschaften entwickelt wurden, wie z. B. Modelle der Item-Response-Theorie (IRT). Diese Modelle können dabei helfen, zu schwierige oder zu leichte Aufgaben zu identifizieren und die Schwierigkeit der Aufgaben auf der Grundlage der Antworten der Testteilnehmer anzupassen, um sicherzustellen, dass die Ergebnisse die Fähigkeiten der Testteilnehmer genau widerspiegeln.

Die Quintessenz

Chat GPT bietet ein immenses Potenzial für den Einsatz von KI bei der Erstellung von Testaufgaben und spart Testentwicklern Zeit, Geld und Mühe. Der Einsatz generativer KI zur Entwicklung von Tests im Unterricht ist eine Möglichkeit, Lehrkräften bei der Erstellung von Tests mit vielen verschiedenen Niveaus zu helfen, ohne stundenlang verschiedene Fragen überarbeiten zu müssen. 

In Verbindung mit einer Online-Testplattform wie TAO kann die Testentwicklung in hohem Maße an die Bedürfnisse der einzelnen Lernenden angepasst werden, während die Testintegrität durch die Randomisierung der Testfragen verbessert wird. All dies führt zu einer Testerfahrung, die den Kern dessen trifft, wofür die Bewertung gedacht ist: Pädagogen darüber zu informieren, wo ein Schüler steht, welche Schritte als nächstes zu unternehmen sind und wie die Lernergebnisse der Schüler verbessert werden können.