Was ist PISA und warum ist es über die Ranglisten hinaus von Bedeutung?

Jeder PISA-Zyklus bringt dieselbe Berichterstattung mit sich. Innerhalb weniger Stunden nach der Veröffentlichung macht eine Rangliste die Runde, die Bildungssysteme einiger Länder werden als aufsteigend oder absteigend eingestuft, und die hinter den Zahlen stehende Auswertung bleibt weitgehend unhinterfragt. Die ersten Ergebnisse von PISA 2025 werden für den 8. September 2026 erwartet, und dieses Muster wird sich wahrscheinlich wiederholen.

Dennoch steckt hinter PISA weit mehr als nur das Ranking. Dahinter verbirgt sich ein Programm, das sicherstellen soll, dass eine einmal verfasste naturwissenschaftliche Aufgabe 15-Jährige in mehr als 90 Bildungssystemen, in 54 Sprachen und auf sehr unterschiedlicher Hardware erreicht und dabei dennoch Ergebnisse liefert, die dieselbe Aussagekraft haben. Nichts davon geschieht von selbst. Diese Vergleichbarkeit muss in jeder Phase gewährleistet sein – von der Stichprobenauswahl und der Fragengestaltung bis hin zur Übersetzung, Durchführung und Erfassung der Antworten.

Dieser Artikel blickt über die Ranglisten hinaus und erläutert, was PISA misst, wie seine Methodik internationale Vergleiche ermöglicht und was sich durch die digitale Durchführung geändert hat. Außerdem wird untersucht, welche Erkenntnisse PISA 2025 liefern kann – und wie die Ergebnisse interpretiert werden können, sobald sie veröffentlicht werden.

Was ist PISA?

Das Programm zur internationalen Schülerbewertung (PISA) wird von der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) durchgeführt. Es findet seit dem Jahr 2000 alle drei Jahre statt, und PISA 2025 ist dessen neunte Durchgang. 

PISA untersucht 15-Jährige; dieses Alter wurde gewählt, da es in den meisten teilnehmenden Bildungssystemen nahe am Ende der Schulpflicht liegt. Es handelt sich um eine Stichprobenerhebung und nicht um eine Vollerhebung, sodass jedes Land eine statistisch ausgewählte Stichprobe testet, die repräsentativ für die Gesamtbevölkerung der 15-Jährigen sein soll, anstatt die gesamte Kohorte zu untersuchen.

Die Durchführung wird nicht allein von der OECD übernommen. Ein Verwaltungsrat aus Vertretern der teilnehmenden Länder legt die Prioritäten fest, während ein internationales Konsortium aus Auftragnehmern die Bewertung nach detaillierten technischen Standards erstellt und verwaltet. Diese Aufgabenteilung ist später von Bedeutung, da die meisten Mechanismen zur Gewährleistung der Vergleichbarkeit beim Konsortium liegen.

Warum die OECD sie ins Leben gerufen hat

Ende der 1990er Jahre konnten Regierungen die Bildungsaufwendungen ohne große Schwierigkeiten miteinander vergleichen. Die Ausgaben pro Schüler, die Klassengrößen und die Unterrichtsstunden waren alle recht gut dokumentiert. Schwieriger zu vergleichen waren hingegen die Bildungsergebnisse.

Nationale Prüfungen messen, wie gut die Schüler den nationalen Lehrplan verinnerlicht haben, wodurch sie sich zwar gut für die Rechenschaftspflicht auf nationaler Ebene eignen, für internationale Vergleiche jedoch weniger aussagekräftig sind. Eine steigende Bestehensquote in einem Land sagt wenig darüber aus, wie die Schüler dieses Landes im Vergleich zu denen eines anderen Landes abschneiden. PISA wurde ins Leben gerufen, um diese Lücke zu schließen und Leistungsdaten zu liefern, die einen aussagekräftigen Vergleich zwischen den verschiedenen Bildungssystemen ermöglichen. 

Was PISA tatsächlich misst

PISA dient nicht dazu, zu prüfen, ob 15-Jährige einen bestimmten nationalen Lehrplan beherrschen. Stattdessen wird bewertet, ob sie Wissen und Fähigkeiten in ungewohnten, realen Kontexten anwenden können, anstatt lediglich das wiederzugeben, was ihnen beigebracht wurde. Aus diesem Grund wird das, was gemessen wird, im Rahmenkonzept als Kompetenz und nicht als Leistungsniveau.

Bei der naturwissenschaftlichen Grundkompetenz geht es beispielsweise nicht darum, Definitionen auswendig zu lernen. Vielmehr wird geprüft, ob ein Schüler Belege interpretieren, eine Behauptung bewerten und über eine Situation nachdenken kann, die er in einem Lehrbuch noch nicht kennengelernt hat. Indem sich PISA auf allgemein anwendbares Wissen und allgemein anwendbare Fähigkeiten statt auf einzelne nationale Lehrpläne konzentriert, bietet es eine gerechtere gemeinsame Grundlage für den Vergleich von Schülern verschiedener Bildungssysteme, da kein einzelner nationaler Lehrplan als geeigneter Maßstab für alle teilnehmenden Länder dienen könnte.

Jeder Zyklus umfasst die Bereiche Lesen, Mathematik und Naturwissenschaften, wobei jeweils ein Bereich vertieft behandelt wird. Bei PISA 2025 steht der Bereich Naturwissenschaften im Mittelpunkt, während Lesen und Mathematik als Nebenbereiche behandelt werden. Zwei Neuerungen zeichnen diesen Zyklus aus:

• Lernen in der digitalen Welt, der innovative Bereich, der sich mit selbstreguliertes Lernen sowie computergestützte und wissenschaftliche Forschungspraktiken in offenen digitalen Umgebungen untersucht, in denen die Lernenden Wissen aufbauen, bevor sie sich einer abschließenden Herausforderung stellen.
• Eine optionale Fremdsprachenprüfung, die erstmals angeboten wird und die Bereiche Lesen, Hörverstehen und Sprechen abdeckt.

Schüler, Schulleiter und – in einigen Bildungssystemen – auch Lehrer und Eltern füllen ebenfalls Fragebögen aus. Diese liefern Hintergrundinformationen über die Herkunft, die Einstellungen und das Lernumfeld der Schüler, wodurch die Ergebnisse besser interpretierbar werden und es Forschern und politischen Entscheidungsträgern ermöglicht wird, Unterschiede zwischen den Bildungssystemen eingehender zu untersuchen.

Wie Regierungen die Ergebnisse nutzen

Die Ministerien nehmen PISA ernst, da es Erkenntnisse liefert, die sie aus nationalen Erhebungen allein nicht gewinnen können. Es lohnt sich jedoch, genau zu prüfen, was diese Erkenntnisse tatsächlich belegen können. PISA gibt einer Regierung keine Vorgaben, welche politischen Maßnahmen sie ergreifen soll. Es handelt sich um eine Querschnittsstudie, die daher eher Zusammenhänge als Ursachen aufzeigt, und die Bildungssysteme unterscheiden sich in einer Weise, die kein Fragebogen vollständig erfassen kann.

Was PISA jedoch liefert, ist wirklich nützlich:

• International vergleichbare Daten zu den Lernergebnissen der Schüler, die in jedem teilnehmenden System auf die gleiche Weise gemessen werden
• Trenddaten über mehrere Zyklen hinweg, die oft aussagekräftiger sind als eine einzelne Rangplatzierung
• Hintergrundinformationen zu Chancengleichheit, Wohlbefinden der Schüler, Einstellungen und Schulbedingungen
• Hinweise darauf, wo ein System anhand seiner eigenen nationalen Daten genauer hinschauen könnte

Die sinnvollste Verwendung von PISA besteht daher darin, als Anstoß für weitere Untersuchungen zu dienen, und nicht darin, als Diagnose an sich zu gelten. Ein Rückgang in einem Bereich oder eine sich vergrößernde Kluft zwischen begünstigten und benachteiligten Schülern kann politische Entscheidungsträger dazu veranlassen, nationale Daten zu untersuchen, um herauszufinden, welche Faktoren zu diesem Trend beitragen könnten. 

Warum die Methodik wichtiger ist als die Rangliste

Eine Rangliste ist nur dann aussagekräftig, wenn die ihr zugrunde liegenden Ergebnisse tatsächlich vergleichbar sind. Wenn die Stichproben in zwei Ländern unterschiedlich gezogen werden oder wenn sich eine übersetzte Aufgabe als schwieriger erweist als die Originalaufgabe, könnte der Abstand zwischen diesen Ländern eher darauf zurückzuführen sein, wie die Prüfung durchgeführt wurde, als auf die Leistung der Schüler. 

Aus diesem Grund sorgt PISA in jeder Phase der Untersuchung – von der Konzeption über die Durchführung bis hin zur Auswertung – für Vergleichbarkeit in seiner Methodik. 

Stichprobe: Wer nimmt tatsächlich an der Prüfung teil?

PISA definiert seine Zielgruppe sehr genau. Teilnahmeberechtigt sind Schüler im Alter zwischen 15 Jahren und 3 Monaten und 16 Jahren und 2 Monaten alt zu Beginn der Tests und besuchen die 7. Klasse oder eine höhere Klassenstufe an öffentlichen oder privaten Schulen. Die Länder reichen einen Stichprobenrahmen ein, den der internationale Stichprobenbeauftragte validiert, bevor Schüler ausgewählt werden.

Die Auswahl erfolgt dann in zwei Stufen. Die Schulen werden mit einer Wahrscheinlichkeit ausgelost, die proportional zur Anzahl ihrer teilnahmeberechtigten Schüler ist, und innerhalb jeder teilnehmenden Schule wird eine festgelegte Anzahl von Schülern ausgewählt. Die Teilnahmeschwellen sind klar definiert: Mindestens 85 % der zunächst ausgewählten Schulen müssen der Teilnahme zustimmen, und es muss eine Mindestteilnahmequote der Schüler erreicht werden. Ersatzschulen dürfen erst dann herangezogen werden, wenn eine untere Teilnahmeschwelle erreicht wurde. 

Diese Standards sind verbindlich und nicht nur als Zielvorgaben zu verstehen. Länder, die diese Standards nicht erfüllen, werden in den veröffentlichten Ergebnissen namentlich genannt und ihre Daten entsprechend gekennzeichnet. Es empfiehlt sich, dies zu überprüfen, bevor man zwei Systeme miteinander vergleicht. 

Sprache: Eine Prüfung, viele nationale Varianten

Die Erstellung einer finnischen oder koreanischen Version einer Aufgabe ist keine Übersetzung im herkömmlichen Sinne. Das Konsortium entwickelt parallele Quellversionen in Englisch und Französisch, und die Übersetzungsrichtlinien sehen zwei unabhängige Übersetzungen vor – jeweils eine aus jeder Quellversion –, die anschließend von einem externen Abgleicher zu einer einzigen nationalen Version zusammengeführt werden.

Unabhängige Prüfer vergleichen diese Version anschließend mit den Quellversionen, während anhand von Feldversuchsdaten beurteilt wird, ob tatsächlich sprachliche Äquivalenz erreicht wurde. Eine Anpassung ist auch dann erforderlich, wenn keine Übersetzung nötig ist, da eine Aufgabe in einem ungewohnten kulturellen Kontext aus Gründen, die nichts mit Wissenschaft oder Mathematik zu tun haben, schwieriger sein kann.

Validität und Konsistenz in der Praxis

Validität hat hier eine ganz bestimmte Bedeutung: dass die aus den Testergebnissen gezogenen Schlussfolgerungen für den jeweiligen Verwendungszweck gerechtfertigt sind. Bei internationalen Vergleichen hängt dies zum Teil davon ab, ob die Untersuchung in allen Ländern einheitlich funktioniert. Wenn eine Aufgabe bei Schülern mit gleichen Fähigkeiten in zwei Ländern unterschiedlich ausfällt, ist jeder Vergleich zwischen diesen Ländern fragwürdig. PISA führt daher nach der Feldstudie eine Analyse auf Aufgabenebene durch, um Aufgaben zu identifizieren, die sich unterschiedlich verhalten, und diese gegebenenfalls aus der Skalierung zu entfernen.

Die Konsistenz bezieht sich darauf, wie die Untersuchung durchgeführt und ausgewertet wird. Die Tests finden innerhalb eines festgelegten Zeitraums statt, und die Durchführung erfolgt nach einem einheitlichen Ablaufplan. Auch die Auswertung offener Antworten unterliegt gemeinsamen Regeln, wobei Zuverlässigkeitsprüfungen zwischen den Auswertenden durchgeführt werden. Die technischen Standards von PISA 2025 legen diese Anforderungen in den Bereichen Stichprobenauswahl, Übersetzung, Sicherheit, Plattformtests und Datenübermittlung fest. 

Was sich durch den digitalen Vertrieb verändert hat

PISA stellte 2015 auf computergestützte Testdurchführung um, und diese Umstellung bedeutete mehr als nur den Verzicht auf Papier. Die digitale Testdurchführung hat den Umfang der messbaren Aspekte erweitert und gleichzeitig eine Reihe neuer Faktoren mit sich gebracht, die kontrolliert werden müssen.

Adaptives Design und interaktive Aufgaben

PISA 2025 erweitert die mehrstufigen adaptiven Tests auf alle drei Kernkompetenzen. Anstatt jedem Schüler einen identischen Fragebogen zu geben, werden die Schüler je nach ihrer bisherigen Leistung durch verschiedene Aufgabenblöcke geführt. Auf diese Weise kann PISA die Fähigkeiten über das gesamte Leistungsspektrum hinweg präziser messen, insbesondere am oberen und unteren Ende, ohne dass jeder Schüler denselben Fragenkatalog bearbeiten muss.

Interaktive Aufgaben erweitern den Umfang der Messmöglichkeiten noch weiter. In den Lerneinheiten zum Thema „Lernen in der digitalen Welt“ arbeiten die Schüler in einer simulierten Umgebung, wodurch die Plattform sowohl Aspekte ihrer Herangehensweise an ein Problem als auch die Frage erfassen kann, ob sie die richtige Lösung finden. Diese Art von Prozessnachweisen ließe sich durch eine herkömmliche papierbasierte Leistungsüberprüfung nicht erfassen. 

Barrierefreiheit als Vergleichskriterium

Barrierefreiheit wird oft unter dem Begriff „Einhaltung von Vorschriften“ eingeordnet. Bei einer internationalen Bewertung ist sie zudem ein Problem der Leistungsmessung: Wenn ein Schüler die Benutzeroberfläche nicht effektiv nutzen kann, spiegelt sein Ergebnis möglicherweise eher die Barriere wider, auf die er gestoßen ist, als seine tatsächliche Kompetenz. Jedes solche Ergebnis schwächt den Vergleich, den das Programm eigentlich unterstützen soll. 

Zu den praktischen Anforderungen an die Barrierefreiheit gehören die Kompatibilität mit assistiver Technologie, die Navigation per Tastatur, ausreichender Farbkontrast, die Möglichkeit zur Textvergrößerung sowie eine zuverlässige Audiowiedergabe für die 2025 eingeführten Hör- und Sprechkomponenten. Auch Regeln zur Einbeziehung und zum Ausschluss spielen eine Rolle, da die Frage, wer in eine Stichprobe einbezogen oder aus ihr ausgeschlossen wird, Einfluss darauf hat, was der daraus resultierende Durchschnittswert beschreibt. Plattformen, die so konzipiert sind, dass sie anerkannten Barrierefreiheitsstandardsentwickelt wurden, wie beispielsweise TAO, erleichtern die einheitliche Anwendung dieser Entscheidungen in sehr unterschiedlichen schulischen Umgebungen. 

Technische Konsistenz

Eine digitale Bereitstellung ist nur dann vergleichbar, wenn sich die technische Umgebung überall gleich verhält. In der Praxis umfasst dies vier Aspekte:

• Einheitliche Bereitstellung, sodass eine Aufgabe unabhängig davon, wo oder wie sie bereitgestellt wird, identisch aussieht und sich identisch verhält
• Vorhersehbares Plattformverhalten über die gesamte Bandbreite an Geräten, Browsern und Betriebssystemen hinweg, über die Schulen tatsächlich verfügen
• Kontrollierter Umgang mit Daten, sodass Antworten, Zeitangaben und Interaktionsprotokolle unverändert und dem richtigen Schüler sowie der richtigen Sitzung zugeordnet zurückgegeben werden
• Interoperabilität durch offene Standards wie die „Question and Test Interoperability“ (QTI) , der dafür sorgt, dass Prüfungsinhalte portabel bleiben und nicht an das Format eines bestimmten Anbieters gebunden sind

Was PISA 2025 über internationale Leistungsmessungen aussagt

PISA 2025 wurde über eine einzige, zentral verwaltete digitale Plattform durchgeführt, die sowohl Online- als auch Offline-Sitzungen unterstützte – eine Premiere für das Programm. Das Konsortium unter der Leitung des Australian Council for Educational Research (ACER) nutzte die TAO-Plattform von Open Assessment Technologies und umfasste 91 Länder und Volkswirtschaften sowie 54 Sprachen bei mehr als 900.000 Testdurchgängen. Etwa 100.000 davon fanden offline statt.

Der Umfang der Offline-Bereitstellung ist beträchtlich. Indem die zeitweise unterbrochene Internetverbindung als beabsichtigter Bereitstellungsweg und nicht als Notfallausweichlösung betrachtet wurde, konnten auch Schulen mit begrenzter Infrastruktur am selben Bewertungsprogramm teilnehmen. In diesem Sinne ist die Offline-Fähigkeit nicht nur ein technisches Merkmal, sondern trägt dazu bei, dass PISA eine breite und einheitliche Teilnahme gewährleistet. Das TAO hat einen ausführlicheren Bericht darüber veröffentlicht, was die Bereitstellung in diesem Umfang mit sich brachte.

Die Richtung ist jedoch klar. PISA 2029 wird den Schwerpunkt auf das Lesen legen und Medien- sowie KI-Kompetenz als innovativen Bereich hinzufügen, was höhere Anforderungen an die Bewertungsplattform stellen wird – nicht geringere. 

Die nächsten Ergebnisse lesen

Wenn die Zahlen für 2025 vorliegen, wird die Rangliste der einfachste Teil der Berichterstattung und der am wenigsten aussagekräftige Teil für den Leser sein. Der Trend über mehrere Zyklen hinweg, die Spanne zwischen den besten und den schwächsten Schülern eines Systems, die Kontextdaten hinter dem Durchschnittswert sowie die Teilnahmekriterien, die ein Land erfüllt oder nicht erfüllt hat, liefern allesamt mehr Informationen als eine Platzierung in einer Tabelle.

Ohne die zugrunde liegende Methodik gäbe es keine dieser Erkenntnisse. Die Vergleichbarkeit über 91 Systeme und 54 Sprachen hinweg ist kein Nebeneffekt davon, dass überall derselbe Test durchgeführt wird – sie ist das Ergebnis von Stichprobenregeln, Übersetzungsverfahren, technischen Standards und einer Bereitstellungsinfrastruktur, die alle wie vorgesehen funktionieren.

Entdecken Sie PISA 2025 – jenseits der Ranglisten

Verfolgen Sie die PISA-2025-Webinarreihe von TAO und erhalten Sie Expertenanalysen zu den Ergebnissen, regionale Perspektiven sowie praktische Implikationen für die Bildungssysteme. Informieren Sie sich über die kommenden Webinare und sichern Sie sich Ihren Platz.