Wir haben uns mit unseren Psychometrikern - Hélène MAYER und Franck GISMONDI - für ein Interview über ihre Rolle innerhalb des TAO-Teams zusammengesetzt.
(Frage) Können Sie uns eine Definition von Psychometrie geben?
(Mayer & Gismondi) Die Psychometrie ist eine Disziplin, die sich mit der Entwicklung und Analyse von psychologischen und pädagogischen Messungen beschäftigt. Sie widmet sich der Konstruktion und dem Einsatz von Tests, Fragebögen, Persönlichkeitsbewertungen...
(Q) Was sind die Vorteile der Erstellung eines psychometrischen Tests?
(HM & FG)
- Psychometrische Tests sind zuverlässig in der Auswertung. Ihre wissenschaftliche Validität ist daher weltweit anerkannt.
- Ihre Bewertung ist objektiv und affektive Parameter stören nicht.
- Jeder Testteilnehmer legt seinen Test unter den gleichen Bedingungen ab.
- Die Psychometrie ermöglicht auch die Erstellung adaptiver Tests.
(Q) Welche Rolle spielen Sie bei der Konstruktion eines psychometrischen Tests?
(HM & FG) Wir können auf verschiedenen Ebenen arbeiten, d.h.:
- Ein Test wird je nach Zweck (Evaluierung, Diagnose, Zertifizierung, ...) auf unterschiedliche Weise aufgebaut. Unsere Aufgabe ist es, den Experten einer Domäne bei der Erstellung der Items zu begleiten
- Wir legen eine Methodik fest, um den Test für alle Testteilnehmer unter den gleichen Bedingungen durchführen zu lassen
- Gemäß der Psychometrie muss ein Test von einer Stichprobe von Testteilnehmern durchgeführt werden, bevor er eingesetzt wird. Dies ermöglicht es uns, die Items und den Test zu beurteilen. In der Tat können wir mit einigen statistischen Methoden sicherstellen, dass ein Item sein Ziel erreicht (z. B. indem es das gewählte Thema korrekt misst). Items mit schlechten Statistiken müssen umformuliert werden, ihre zeitliche Reihenfolge kann geändert werden und wenn nötig, können einige von ihnen entfernt werden, während andere als Ersatz vorgeschlagen werden.
- Die psychometrische Statistik validiert den Test selbst durch eine Untersuchung der Referenzstichprobe, der Kalibrierung, der Gültigkeit, der Konstanz und der Zuverlässigkeit des Tests.
(Q) Franck, Sie haben an der Realisierung des Aladdin-Tests mitgewirkt. [Screenshots des Aladdin-Tests finden Sie unten oder direkt auf der TAO-Plattform]. Können Sie uns etwas über Ihren Beitrag erzählen?
(FG) Ich konzentrierte mich auf die Logik der Geschichte und überprüfte, ob die Elemente wirklich mit der Zielgruppe der Stichprobe (d. h. Jugendlichen) in Verbindung standen.
Dieser Test besteht aus einem Rahmen mit verschiedenen Items, die einige Wissensgebiete wie Sport und Biologie messen. Ich habe geraten, dass jedes Item ein und dasselbe Feld repräsentieren sollte und dass jedes Item in seiner Darstellung variieren sollte (zum Beispiel wird in Aladdin jedes Item mit einem anderen QTI-Item durchgeführt).
Um weiter zu arbeiten, sollten wir die Validität dieses Tests mit einer Stichprobe von Testteilnehmern überprüfen und sicherstellen, dass die Items die beabsichtigten Wissensbereiche messen. Wenn das nicht der Fall ist, können sie neu formuliert und erneut getestet werden. Es müsste überprüft werden, ob die Items es ermöglichen, die Kompetenz aller Testteilnehmer zu differenzieren (d.h. den Schwierigkeitsgrad der Items zu messen). Wenn 2 Items zu ähnlichen Ergebnissen führen, bedeutet das, dass eines entfernt werden sollte. Es bringt nämlich keinen Mehrwert für den Test und differenziert nicht die verschiedenen Niveaus der verschiedenen Testteilnehmer."
Wir haben uns mit unseren Psychometrikern - Hélène MAYER und Franck GISMONDI - für ein Interview über ihre Rolle innerhalb des TAO-Teams zusammengesetzt.
(Frage) Können Sie uns eine Definition von Psychometrie geben?
(Mayer & Gismondi) Die Psychometrie ist eine Disziplin, die sich mit der Entwicklung und Analyse von psychologischen und pädagogischen Messungen beschäftigt. Sie widmet sich der Konstruktion und dem Einsatz von Tests, Fragebögen, Persönlichkeitsbewertungen...
(Q) Was sind die Vorteile der Erstellung eines psychometrischen Tests?
(HM & FG)
- Psychometrische Tests sind zuverlässig in der Auswertung. Ihre wissenschaftliche Validität ist daher weltweit anerkannt.
- Ihre Bewertung ist objektiv und affektive Parameter stören nicht.
- Jeder Testteilnehmer legt seinen Test unter den gleichen Bedingungen ab.
- Die Psychometrie ermöglicht auch die Erstellung adaptiver Tests.
(Q) Welche Rolle spielen Sie bei der Konstruktion eines psychometrischen Tests?
(HM & FG) Wir können auf verschiedenen Ebenen arbeiten, d.h.:
- Ein Test wird je nach Zweck (Evaluierung, Diagnose, Zertifizierung, ...) auf unterschiedliche Weise aufgebaut. Unsere Aufgabe ist es, den Experten einer Domäne bei der Erstellung der Items zu begleiten
- Wir legen eine Methodik fest, um den Test für alle Testteilnehmer unter den gleichen Bedingungen durchführen zu lassen
- Gemäß der Psychometrie muss ein Test von einer Stichprobe von Testteilnehmern durchgeführt werden, bevor er eingesetzt wird. Dies ermöglicht es uns, die Items und den Test zu beurteilen. In der Tat können wir mit einigen statistischen Methoden sicherstellen, dass ein Item sein Ziel erreicht (z. B. indem es das gewählte Thema korrekt misst). Items mit schlechten Statistiken müssen umformuliert werden, ihre zeitliche Reihenfolge kann geändert werden und wenn nötig, können einige von ihnen entfernt werden, während andere als Ersatz vorgeschlagen werden.
- Die psychometrische Statistik validiert den Test selbst durch eine Untersuchung der Referenzstichprobe, der Kalibrierung, der Gültigkeit, der Konstanz und der Zuverlässigkeit des Tests.
(Q) Franck, Sie haben an der Realisierung des Aladdin-Tests mitgewirkt. [Screenshots des Aladdin-Tests finden Sie unten oder direkt auf der TAO-Plattform]. Können Sie uns etwas über Ihren Beitrag erzählen?
(FG) Ich konzentrierte mich auf die Logik der Geschichte und überprüfte, ob die Elemente wirklich mit der Zielgruppe der Stichprobe (d. h. Jugendlichen) in Verbindung standen.
Dieser Test besteht aus einem Rahmen mit verschiedenen Items, die einige Wissensgebiete wie Sport und Biologie messen. Ich habe geraten, dass jedes Item ein und dasselbe Feld repräsentieren sollte und dass jedes Item in seiner Darstellung variieren sollte (zum Beispiel wird in Aladdin jedes Item mit einem anderen QTI-Item durchgeführt).
Um weiter zu arbeiten, sollten wir die Validität dieses Tests mit einer Stichprobe von Testteilnehmern überprüfen und sicherstellen, dass die Items die beabsichtigten Wissensbereiche messen. Wenn das nicht der Fall ist, können sie neu formuliert und erneut getestet werden. Es müsste überprüft werden, ob die Items es ermöglichen, die Kompetenz aller Testteilnehmer zu differenzieren (d.h. den Schwierigkeitsgrad der Items zu messen). Wenn 2 Items zu ähnlichen Ergebnissen führen, bedeutet das, dass eines entfernt werden sollte. Es bringt nämlich keinen Mehrwert für den Test und differenziert nicht die verschiedenen Niveaus der verschiedenen Testteilnehmer."
