Wenn man Bewertungssoftware evaluiert, dreht sich das Gespräch meist nur um die Funktionen: Welche Fragetypen werden unterstützt? Ist adaptives Testen möglich? Wie sieht das Berichts-Dashboard aus? Diese Fragen sind ein guter Ausgangspunkt, reichen aber nicht ganz aus.
Was dabei oft übersehen wird, ist die Art und Weise, wie die Plattform mit den ihr anvertrauten Inhalten umgeht. Können beispielsweise Prüfungsaufgaben in einem Standardformat exportiert werden? Werden sie eine Migration in ein anderes System in fünf Jahren überstehen? Wie sieht es mit der Anbindung an das breitere EdTech-Ökosystem aus?
Eine gut durchdachte Ausschreibung (RFP) dient nicht nur dem Vergleich von Funktionen. Sie fungiert als strategischer Kontrollpunkt bei der Bewertung und bietet Ihnen die Möglichkeit, Funktionen, Standards, Strukturen und Datenpraktiken festzulegen, die Ihre langfristige Flexibilität sichern. In diesem Artikel zeigen wir Ihnen, wie Sie Ihre Ausschreibung für die Bewertung strukturieren sollten, um eine langfristige Anbieterabhängigkeit zu vermeiden.
Wichtigste Erkenntnisse
- Viele Ausschreibungen für Bewertungsleistungen scheitern daran, dass sie den Begriff der Interoperabilität in den Beschaffungsanforderungen nicht klar definieren.
- Beschaffungsentscheidungen wirken sich unmittelbar auf die langfristige Flexibilität des Systems aus, insbesondere im Hinblick auf die Übertragbarkeit und Integration von Inhalten.
- Bewertungsinhalte sollten als langfristiges institutionelles Kapital betrachtet werden, wobei die Beschaffungsanforderungen Aspekte wie Dateneigentum, Exportformat und die Aufbewahrung von Metadaten umfassen sollten.
- 1EdTech-Zertifizierungs- und Registrierungsnummern bieten eine nachprüfbare Möglichkeit, Anbieter für ihre Angaben zur Interoperabilität zur Rechenschaft zu ziehen.
Warum viele Ausschreibungen für Bewertungsaufträge hinter den Erwartungen zurückbleiben
Ausschreibungen für Assessment-Lösungen sind vielleicht nie perfekt formulierte, ausgefeilte Dokumente, können aber dennoch gut durchdacht und strategisch fundiert sein. Das bedeutet, dass sie über die derzeitigen Funktionen wie Fragetypen, Bewertung und Analysen hinausgehen müssen, um strukturelle Fragen anzugehen, die die Flexibilität der Assessment-Software in fünf oder zehn Jahren bestimmen werden.
Von allen Bereichen, die am häufigsten übersehen werden, ist die Interoperabilität sicherlich der wichtigste. In den meisten Ausschreibungen wird sie entweder gänzlich ausgelassen oder nur vage erwähnt, etwa mit Formulierungen wie „muss Industriestandards unterstützen“.
Das Problem dabei ist, dass dies den Anbietern den Spielraum lässt, die Einhaltung der Vorschriften so auszulegen, wie es ihnen passt – und nicht unbedingt so, wie es dem Schulsystem entspricht. Ein Anbieter könnte beispielsweise behaupten, sein System sei interoperabel, weil seine Plattform CSV-Dateien importieren kann, obwohl es kein vollständig strukturiertes Bewertungspaket exportieren kann, das man problemlos auf einer anderen Plattform verwenden könnte.
Infolgedessen stellen viele Einrichtungen fest, dass sie an einen Vertrag gebunden sind erst dann, wenn sie versuchen, zu migrieren. So stellen sie beispielsweise fest, dass Prüfungsaufgaben, Metadaten, Bewertungsregeln und Konfigurationen zur Barrierefreiheit in ihrem Altsystem festgeschrieben sind. Die Nachbildung dieser Strukturen an anderer Stelle kann Monate dauern und kostet oft mehr als erwartet.
Wie Beschaffungsentscheidungen die langfristige Flexibilität beeinflussen
Der richtige Zeitpunkt, um diese Fragen zu klären, ist während des Ausschreibungsverfahrens. Beschaffungsteams, die Interoperabilität als strategische Anforderung und nicht als technisches Detail betrachten, ebnen ihren Institutionen den Weg für langfristigen Erfolg.
Die von Ihnen gewählte Plattform dient als Sammelstelle für eine stetig wachsende Menge an Bewertungsinhalten, als Schnittstelle für andere Software wie Lernmanagementsysteme (LMS), Schülerinformationssysteme (SIS) und Analysetools sowie als Mechanismus, mit dem Sie die Anforderungen an die Barrierefreiheit erfüllen.
Wenn Sie sich für eine Plattform ohne klare Anforderungen an die Interoperabilität entscheiden, verliert Ihre Einrichtung nach und nach die Kontrolle. Wenn Sie sich auf die proprietäre Implementierung eines Anbieters verlassen, anstatt auf offene, standardisierte Formate, die ohne Datenverlust zwischen Systemen übertragen werden können, steigen Ihre Kosten für einen Plattformwechsel mit jedem Jahr weiter an.
Um Flexibilität zu gewährleisten, müssen Sie nicht die Zukunft vorhersagen. Stattdessen sollten Sie auf offenen Standards, klar definierten Exportfunktionen und vertraglichen Verpflichtungen zur Portabilität bestehen. All dies kann bereits im Ausschreibungstext festgelegt werden, wenn Ihr institutioneller Einfluss am größten ist.
So erstellen Sie eine Ausschreibung für interoperable Bewertungslösungen
Zu sagen, „die Plattform muss interoperabel sein“, ist in etwa so, als würde man sagen: „Das Gebäude muss sicher sein.“ Ohne konkrete Angaben gibt es nichts, was man durchsetzen könnte. Damit Interoperabilität zu einer echten Anforderung wird, muss man genau und konkret auf die herangezogenen Standards, deren Versionen und die Art und Weise, wie die Einhaltung überprüft wird, eingehen.
Der QTI-Standard
Die Standard für die Interoperabilität von Fragen und Tests (QTI)-Standard, gepflegt vom EdTech-Konsortium 1EdTechverwaltet wird, ist der am weitesten verbreitete Standard für die Verpackung und den plattformübergreifenden Austausch von Bewertungsinhalten. Er definiert, wie Aufgaben, Tests, Bewertungsregeln und Metadaten in einem portablen XML-Format strukturiert sind, sodass in einem System erstellte Inhalte in einem anderen bereitgestellt werden können.
Der QTI-Standard hat sich über mehrere Hauptversionen hinweg weiterentwickelt, darunter QTI 2.1, 2.2 und 3.0. Jede dieser Versionen unterstützt unterschiedliche Funktionen. Die neueste Version, QTI 3.0, bietet native HTML5-Unterstützung, computeradaptive Tests und portable benutzerdefinierte Interaktionen. Außerdem verbessert sie die Konsistenz der Darstellung auf verschiedenen Plattformen.
Versionsnummern sind wichtig – so kann es beispielsweise sein, dass ein für QTI 2.1 zertifizierter Anbieter keine QTI 3.0-Inhalte verarbeiten kann und umgekehrt. Da 1EdTech die QTI 2.1-Zertifizierung Ende 2024 eingestellt hat, sollten heute verfasste Ausschreibungen auf QTI 3.0 verweisen, es sei denn, es gibt einen konkreten Grund, dies nicht zu tun, beispielsweise wenn Ihre Geräte dies nicht unterstützen.
APIP und Barrierefreiheit
APIP (Accessible Portable Item Protocol) war ursprünglich ein eigenständiger 1EdTech-Standard, der sicherstellte, dass Prüfungsinhalte Barrierefreiheitsinformationen wie Hinweise zur Text-zu-Sprache-Funktion, Verweise auf Gebärdensprache, Braille-Unterstützung oder Alternativtext in einem portablen Format enthalten konnten.
Mit QTI 3.0 wurden diese Funktionen in den QTI-Standard aufgenommen. Für die Beschaffung bedeutet dies, dass in der Ausschreibung auf den Standard verwiesen werden kann, anstatt sich auf herstellerspezifische Regeln zu stützen. Falls Ihre Einrichtung besondere Anforderungen an die Barrierefreiheit hat, sollten Sie beachten, dass die QTI 3.0-Zertifizierung von 1EdTech ein Profil für „erweiterte Barrierefreiheit“ umfasst, das Sprachunterstützung, ausführliche Beschreibungen und taktile Hinweise abdeckt.
Zertifizierung > Konformität
Jeder Anbieter kann behaupten, QTI-konform zu sein, doch eine Zertifizierung bedeutet, dass das Produkt tatsächlich anhand festgelegter Konformitätsstandards geprüft wurde und eine Registrierungsnummer erhalten hat, die Sie im 1EdTech TrustEd Apps Directoryüberprüfen können.
In den eigenen Ausschreibungsrichtlinien von 1EdTech wird empfohlen, die erforderliche Zertifizierungsversion und das erforderliche Profil anzugeben sowie die Anbieter aufzufordern, ihre Registrierungsnummer in ihren Angeboten anzugeben. Wenn Anbieter die Zertifizierung noch nicht erworben haben, kann in der Ausschreibung eine Frist für den Erwerb festgelegt werden, wobei bei Nichteinhaltung der Frist vertragliche Konsequenzen drohen.
Metadaten und strukturierte Inhalte
Denken Sie daran, dass es bei der Interoperabilität nicht nur darum geht, ob Inhalte zwischen Systemen übertragen werden können. Es geht auch darum, ob sie bei der Ankunft noch aussagekräftig sind.
Wenn Fragen beispielsweise als reiner Text exportiert werden, gehen ihre Bewertungslogik, die Zuordnung zum Lehrplan, die Einstufung des Schwierigkeitsgrades und die Markups zur Barrierefreiheit verloren. Der QTI-Standard umfasst Metadaten zu Lernobjekten (LOM) und ermöglicht die Anwendung von Metadaten zu Lehrplanstandards auf Paket-, Ressourcen- und Item-Ebene.
Wenn Sie eine Ausschreibung verfassen, sollten Sie festlegen, welche Metadaten in den exportierten Bewertungspaketen enthalten sein müssen, beispielsweise die Zuordnung zu Lehrplanstandards (unter Verwendung von CASE [Competencies and Academic Standards Exchange]), Schwierigkeits- und Diskriminanzindizes der Aufgaben, Tags für Inhaltsbereiche, Sprachinformationen und Beschreibungen zur Barrierefreiheit. Auf diese Weise gehen die Informationen, die eine Aufgabenbank durchsuchbar, analysierbar und wiederverwendbar machen, beim Export und bei der Migration nicht verloren.
Mit Blick auf die Zukunft
Der QTI-Standard hat sich im Laufe mehrerer Versionen weiterentwickelt, und die Anforderungen an die Barrierefreiheit werden im Einklang mit den Aktualisierungen der Web Content Accessibility Guidelines (WCAG) immer strenger. Darüber hinaus haben sich Analyse-Standards wie Caliper weiterentwickeln. Um Ihre Ausschreibung zukunftssicher zu gestalten, müssen Sie Änderungen an diesen Standards berücksichtigen.
1EdTech stellt eine „Absichtserklärung zur zeitnahen Übernahme der 1EdTech-Standards“ zur Aufnahme in Ausschreibungsunterlagen und fordert Anbieter auf, sich zur Unterstützung aktualisierter Spezifikationen innerhalb eines angemessenen Zeitraums zu verpflichten. Eine Ausschreibung kann zudem regelmäßige Interoperabilitätsprüfungen als Kontrollpunkte vorsehen, um Anbieter anhand der aktuellen Standards neu zu bewerten. Dies schafft einen kontinuierlichen Anreiz, die Unterstützung aufrechtzuerhalten, anstatt die Zertifizierung als einmalige Pflichtübung zu betrachten.
Bewertungsinhalte sind ein langfristiger institutioneller Vermögenswert
Eine gut konzipierte Prüfungsaufgabe – die im Unterricht erprobt, validiert, an Lehrplanstandards angepasst, mit Metadaten versehen und barrierefrei gestaltet wurde – ist eine bedeutende Investition. Mit der Zeit entwickelt sich eine Aufgabenbank zu einer wertvollen und einzigartigen Bildungsressource. Dennoch wird dies in Beschaffungsprozessen selten berücksichtigt, da der Fokus eher auf der Plattform als auf den Inhalten liegt.
Eine Ausschreibung, die Bewertungsinhalte als institutionelles Gut betrachtet, sollte Fragen der Eigentumsrechte (von oder für die Institution erstellte Inhalte gehören der Institution), der Exportierbarkeit und der Integrität der Metadaten behandeln. Ohne eine klare Festlegung, dass Plattformen alle Inhalte in einem QTI-konformen Paket exportieren müssen, das deren vollständige Integrität gewährleistet, fehlt Ihnen später die vertragliche Grundlage, um darauf zu bestehen.
Gleichzeitig erfordert die Aufnahme der Interoperabilität in die Kriterien keine vollständige Überarbeitung Ihrer Ausschreibung. Es geht vielmehr nur darum, einige gezielte Ergänzungen vorzunehmen. Verfügt der Anbieter über eine aktuelle 1EdTech-QTI-Zertifizierung, und wenn ja, auf welcher Stufe? Kann er einen tatsächlichen Export von Inhalten im QTI-Format nachweisen oder auf Inhaltsmigrationen verweisen, die er bereits für andere Einrichtungen durchgeführt hat?
Diese Fragen dienen dazu, zu prüfen, ob das Geschäftsmodell eines Anbieters mit dem Bedarf der Einrichtung an Flexibilität vereinbar ist. Anbieter, die in die Zertifizierung nach Standards investiert haben, werden diese Fragen begrüßen, während diejenigen, die dies nicht getan haben, ausweichen oder vage Zusicherungen geben werden. Ihr Bewertungsprozess sollte so gestaltet sein, dass er zwischen diesen beiden Gruppen unterscheiden kann.
Die Beschaffung als strategischen Dreh- und Angelpunkt etablieren
Im Beschaffungsprozess wird die langfristige Strategie für die Leistungsbewertung festgelegt. Jede Anforderung in einer Ausschreibung – von den von Ihnen festgelegten Standards bis hin zur Regelung der Eigentumsrechte an den Inhalten – wird die Fähigkeit Ihrer Einrichtung prägen, sich anzupassen, umzustellen und die Kontrolle über Ihr Bewertungsökosystem über Jahre hinweg zu behalten.
Um diese langfristige Perspektive einzubeziehen, sollten Sie Fragen zu QTI-Versionen und -Zertifizierung, zum Dateneigentum und zu Exportformaten sowie zur Barrierefreiheit und Portabilität einbeziehen. Diese Fragen können Sie ohne Weiteres stellen und sie können Ihnen später viel Zeit und Mühe ersparen.
Wenn in Ihrer Einrichtung bald ein Beschaffungszyklus für Bewertungsinstrumente ansteht, überprüfen Sie Ihre aktuelle Ausschreibungsvorlage und prüfen Sie, ob darin der Begriff der Interoperabilität in rechtlich bindender Form definiert ist. Sollte Ihre Vorlage Ihre Inhalte nicht als institutionelles Gut schützen, ist es an der Zeit, einige Änderungen vorzunehmen.