Im Rahmen institutioneller Bewertungen wird Vertrauen regelmäßig als Grund für die Wahl oder Ablehnung einer Plattform angeführt. Oft wird diesem Begriff jedoch eine Bedeutung beigemessen, die niemand hinterfragt. „Vertrauen Sie uns“ ist keine Position der Unternehmensführung, und das auf dem Ruf basierende Vertrauen reicht nicht aus, um eine behördliche Prüfung oder eine rechtliche Anfechtung zu überstehen.
Wenn die Ergebnisse von Bewertungen rechtliche, berufliche oder finanzielle Konsequenzen haben, darf man sich nicht auf die Zusicherungen von Anbietern oder Marketingversprechen verlassen. Sie müssen nachweisbar und überprüfbar sein und mit den Governance-Verpflichtungen der Einrichtung im Einklang stehen. Systeme, die allein aufgrund der Marke ausgewählt werden, werden oft zu einer Belastung, wenn sich Richtlinien ändern, Anbieter Aktualisierungen vornehmen oder die Datenpraktiken in Frage gestellt werden.
Dieser Artikel erläutert, wie operatives Vertrauen in der Praxis aussieht, was es greifbar macht und warum die Herkunft eines Systems – also wie es aufgebaut ist, wie es verwaltet wird und wie es zur Überprüfung bereitgestellt wird – ebenso wichtig ist wie sein Funktionsumfang.
Wichtigste Erkenntnisse
- Das Vertrauen in Bewertungssysteme muss nachweisbar sein und darf nicht als selbstverständlich vorausgesetzt werden
- Transparenz und Nachvollziehbarkeit sind entscheidend für das Vertrauen in Institutionen
- Open-Source-Systeme ermöglichen einen besseren Überblick und eine bessere Kontrolle über die Funktionsweise der Systeme
- Governance und Rechenschaftspflicht sind ebenso wichtig wie fachliche Kompetenz
- Vertrauen entsteht durch die Systemgestaltung, nicht nur durch die Versprechen der Anbieter
Vertrauen in Bewertungssysteme
In den meisten Diskussionen über Vertrauen in Software geht es in erster Linie um den Ruf. Doch während das Vertrauen, das durch ein bekanntes Logo und eine lange Kundenliste vermittelt wird, in Direktvertriebsumgebungen vielleicht ausreicht, sieht es bei behördlichen Bewertungen anders aus.
In einem regulierten Umfeld muss man von vermeintlichem Vertrauen zu überprüfbaren Praktiken übergehen. Hier basiert Vertrauen auf Eigenschaften, die eine Institution überprüfen, kontrollieren und gegenüber Aufsichtsbehörden, Wirtschaftsprüfern und anderen Interessengruppen nachweisen kann. Es beantwortet konkrete Fragen wie: „Können wir überprüfen, wie das System Ergebnisse bewertet und meldet? Können wir auf Anfrage nachweisen, was in einer bestimmten Testsitzung geschehen ist?“
Indem Sie Fragen stellen, die sich auf die kritische Prüfung beziehen, der Ihr Bewertungssystem eines Tages wahrscheinlich ausgesetzt sein wird, können Sie das gefühlte Vertrauen vom tatsächlichen Vertrauen unterscheiden. Eine Plattform mit hohem Markenbekanntheitsgrad kann in technischer Hinsicht dennoch eine Black Box sein, während eine relativ unbekannte Plattform vollkommen transparent sein und von einer öffentlichen Normungsorganisation reguliert werden könnte.
Bei einer Beschaffungsüberprüfung (oder, was noch schmerzhafter ist, einer Nachbetrachtung nach einem Vorfall) zählt letztlich nur das operative Vertrauen.
Vertrauen greifbar machen
Wenn Sie Systeme entwickeln möchten, die betriebliches Vertrauen schaffen, sind drei Eigenschaften entscheidend: Transparenz, Nachvollziehbarkeit und Governance.
Transparenz
In Bewertungssystemen bedeutet Transparenz, dass man Einblick in das tatsächliche Verhalten des Systems erhält und nicht nur in das, was laut Datenblatt angegeben ist. Dazu gehören die auf die Aufgaben angewandte Bewertungslogik, die während einer Testsitzung erfassten Datenfelder, die Art und Weise, wie Ergebnisse aggregiert und übertragen werden, sowie der Weg, den personenbezogene Daten (PII) durch den Systemstapel nehmen.
Bei proprietären Systemen sind Institutionen darauf angewiesen, sich auf die Dokumentation und Zusicherungen der Anbieter zu verlassen. Offene Systeme hingegen ermöglichen es Institutionen, den Quellcode direkt zu prüfen, Überprüfungen durch Dritte in Auftrag zu geben und das Verhalten anhand der Implementierung zu verifizieren. Wenn man der Quelle vertrauen kann, ist man nicht mehr auf ein Versprechen angewiesen.
Nachprüfbarkeit
Nachvollziehbarkeit bedeutet, dass das System Belege liefert, mit denen Bewertungen und Entscheidungen begründet werden können. Dies kann in Form von Protokollen, Versionshistorien, Zugriffsaufzeichnungen und Entscheidungswegen geschehen, die nachträglich rekonstruiert und überprüft werden können.
Bei Bewertungen mit hohem Einsatz ist dies ein absolutes Muss. Wenn ein Kandidat ein Ergebnis anficht, eine Aufsichtsbehörde eine Überprüfung verlangt oder ein Vorfall eine Ursachenanalyse erfordert, entscheidet die Nachvollziehbarkeit darüber, ob die Einrichtung selbstbewusst antworten kann oder sich auf den Anbieter verlassen muss.
Offene Architekturen und standardbasierte Datenformate wie QTI oder Caliper machen Prüfungsunterlagen portabel und dauerhaft, anstatt sie in einem proprietären Schema einzuschließen. In der Praxis bedeutet dies, dass Sie die Prüfungssitzung eines einzelnen Kandidaten originalgetreu rekonstruieren können – Sie sehen, welche Aufgaben gestellt wurden und in welcher Reihenfolge, welche Anpassungen vorgenommen wurden, wie die Antworten erfasst und bewertet wurden, welche Regeln zu diesem Zeitpunkt galten und wer anschließend auf die Unterlagen zugegriffen hat.
Mit einer derartigen Aufschlüsselung können Sie Ihre Ergebnisse gegenüber Bewerbern und Aufsichtsbehörden verteidigen.
Governance
Governance ist zwar nicht besonders glamourös, aber für das Vertrauen absolut unerlässlich. Tools allein schaffen kein Vertrauen – sie tun dies erst in Verbindung mit den sie umgebenden Richtlinien, Entscheidungsbefugnissen und Strukturen der Rechenschaftspflicht. Wer kann eine Bewertungsregel ändern? Wo werden die Daten gespeichert, und unter wessen Zuständigkeit? Diese Fragen sind ebenso institutioneller wie technischer Natur.
Verantwortungsketten lassen sich leichter definieren und rechtfertigen, wenn das System selbst transparent ist. Wenn sich jede Bewertungsentscheidung auf eine dokumentierte Regel in einem offenen Quellcode zurückverfolgen lässt, kann man die Ursache jedes auftretenden Problems genau lokalisieren. Ohne diese Rückverfolgbarkeit muss man jedoch ein Support-Ticket beim Anbieter einreichen und auf eine zeitnahe Antwort hoffen.
Keine Plattform kann ein schwaches Governance-Modell retten, doch eine starke Governance ist nur möglich, wenn das System genügend Zugriffsmöglichkeiten bietet, um es tatsächlich zu steuern. Gemeinsam machen Transparenz, Überprüfbarkeit und Governance Vertrauen von einem Marketingversprechen zu einer technisch umgesetzten, überprüfbaren Systemeigenschaft.
Wie Open Source Vertrauen fördert
Open Source führt nicht automatisch zu vertrauenswürdigen Systemen. Ein nicht gepflegtes, schlecht verwaltetes Open-Source-Projekt ist nicht vertrauenswürdiger als ein gut geführtes proprietäres Projekt. Was Open Source jedoch bietet, sind strukturelle Voraussetzungen, die es ermöglichen, betriebliches Vertrauen auf institutioneller Ebene zu erreichen, wie zum Beispiel vollständig transparente Codebasen , die es Prüfungsanbietern oder Zertifizierungsstellen erleichtern, Ergebnisse zu überprüfen. Diese Bedingungen lassen sich in geschlossenen Systemen nur schwer nachbilden.
Sichtbarkeit
Durch den Zugriff auf den Quellcode können Institutionen selbst überprüfen, wie das System funktioniert, anstatt sich auf die Angaben des Anbieters zu verlassen. Dies ist immer dann von Bedeutung, wenn Algorithmen die Bewertung beeinflussen, Barrierefreiheitsfunktionen gesetzliche Anforderungen erfüllen müssen oder Datenflüsse im Hinblick auf Datenschutzgesetze überprüft werden müssen.
Steuerung
Eine offene Lizenzierung bedeutet, dass die Einrichtung nicht von der Strategie, der Preisgestaltung oder dem Fortbestand eines einzelnen Anbieters abhängig ist. Sollte der Anbieter seine Ausrichtung ändern, übernommen werden oder scheitern, behält die Einrichtung sowohl das Recht als auch die technischen Mittel, den Betrieb fortzusetzen, das System anzupassen oder einen anderen Anbieter zu beauftragen. Für nationale Programme mit einem Zeithorizont von mehreren Jahren oder sogar Jahrzehnten ist diese Widerstandsfähigkeit an sich schon eine Form des Vertrauens.
Anpassung an Standards
Ausgereifte Open-Source-Bewertungsplattformen orientieren sich in der Regel an offenen Standards wie QTI, Caliper und LTI , da die Communities, die diese pflegen, Interoperabilität erfordern. Standardbasierte Systeme machen Daten übertragbar, Integrationen vorhersehbar und Audits praktikabel und überschaubar. Dies ist einer der Gründe, warum Behörden und Schulen zunehmend auf Open-Source-Bewertungssoftware , um ihre dringenden Probleme zu lösen. Tatsächlich Open-Source-Bewertungstools haben sich bei der Beschaffung im öffentlichen Sektor von einer Nische zum Mainstream entwickelt.
Ein weiterer damit verbundener Vorteil ist die Interoperabilität auf Item-Ebene: standardbasierte Inhalte, einschließlich kostenlose QTI-konforme Aufgabenbanken, können ohne Nachbearbeitung zwischen Systemen ausgetauscht werden, was die institutionelle Kontrolle stärkt.
Die Sharing Economy
Die letzte strukturelle Voraussetzung ist ein Modell der Kostenteilung und Aufsicht. Öffentliche Einrichtungen erkennen zunehmend den Wert der Sharing Economy im Bildungsbereich: Gemeinsam aufgebaute und verbesserte Infrastruktur verhindert die Bindung an einen einzigen Anbieter und Doppelarbeit, unterstützt aber dennoch kommerzielle Dienste für die Umsetzung und den Support. Dieses Modell verteilt die Kontrolle auf viele Interessengruppen, was das System an sich widerstandsfähiger macht.
Für Entscheidungsträger bedeutet dies in der Praxis, dass Vertrauen als Systemanforderung festgelegt und neben den funktionalen Anforderungen in die Beschaffungskriterien aufgenommen werden sollte, anstatt es als immateriellen Faktor zu betrachten, der nach der technischen Prüfung intuitiv gelöst werden muss.
Mit TAO Vertrauen in die Beschaffung schaffen
Damit Vertrauen als Systemanforderung greifen kann, muss es in den Ausschreibungsunterlagen als messbares Kriterium und nicht als bloße Absichtserklärung aufgeführt werden. Das bedeutet, dass von den Anbietern verlangt werden muss, nachzuweisen, dass ihr Quellcode unter einer anerkannten Open-Source-Lizenz verfügbar ist, dass sie bestimmte offene Standards einhalten, wie vollständig ihre Prüfprotokolle sind und wie diese gespeichert werden, wo und wie Daten verarbeitet werden und welche Rechte und technischen Zugriffsmöglichkeiten Ihre Einrichtung behält, falls die Geschäftsbeziehung mit dem Anbieter endet.
Dies bedeutet auch, die Leitungsstruktur des Projekts selbst zu bewerten – ob es von einer Stiftung, einer Normungsorganisation oder einem einzelnen kommerziellen Unternehmen geleitet wird – und zu prüfen, welche Auswirkungen dies auf die langfristige Kontinuität hat. Diese Kriterien begünstigen Open Source nicht automatisch, doch in der Praxis werden sie von Plattformen, die auf offenen Grundlagen basieren, in der Regel umfassender und besser nachprüfbar erfüllt.
Für Einrichtungen, die Bewertungssysteme evaluieren, ist die TAO Community Edition die Open-Source-Bewertungsplattform, die weltweit von Regierungen, Zertifizierungsstellen und Bildungsministerien genutzt wird. Sie ist vollständig überprüfbar, standardbasiert und auf institutionelle Governance ausgelegt – ein System, das Sie verifizieren können, statt ihm nur zu vertrauen.
FAQs
Wie lässt sich die Vertrauenswürdigkeit eines Open-Source-Bewertungssystems überprüfen?
Prüfen Sie den Quellcode oder lassen Sie eine unabhängige Überprüfung durchführen, vergewissern Sie sich der Einhaltung offener Standards wie QTI und Caliper, untersuchen Sie die Prüfprotokolle und Datenflüsse und bewerten Sie das Governance-Modell des Projekts. Vertrauen entsteht durch Belege, nicht durch die Behauptungen des Anbieters.
Was macht ein Bewertungssystem überprüfbar?
Ein überprüfbares System erstellt lückenlose, manipulationssichere Aufzeichnungen über Testsitzungen, Bewertungsentscheidungen, Benutzerzugriffe und Konfigurationsänderungen. Diese müssen in offenen Formaten gespeichert werden, die auch lange nach dem Ereignis unabhängig und ohne Abhängigkeit vom ursprünglichen Anbieter überprüft werden können.
Ist Open-Source-Bewertungssoftware sicher genug für den Einsatz in Behörden?
Ja, bei ordnungsgemäßer Verwaltung werden Open-Source-Plattformen bereits von nationalen Prüfungsausschüssen und Zertifizierungsstellen genutzt. Sie erfüllen Sicherheitsstandards, die denen proprietärer Systeme entsprechen, und ihre Transparenz trägt oft zur Erhöhung der Sicherheit bei, da sie eine kontinuierliche, unabhängige Überprüfung ermöglicht.