Entwicklung digitaler Bewertungsverfahren für mehr Transparenz bei der Überwachung

Heutzutage kommen digitale Prüfungen überall zum Einsatz – von Schulen über berufliche Zertifizierungen bis hin zu Prüfungen im öffentlichen Dienst. Mit zunehmender Verbreitung setzen viele Systeme immer stärker auf Überwachungsmaßnahmen, um Betrug zu verhindern.

Eine intensive Überwachung – etwa durch Webcams und Verhaltensanalysen – kann jedoch als Eingriff in die Privatsphäre und undurchsichtig empfunden werden, was Fragen zur Ethik der Online-Prüfungsaufsicht aufwirft. Die Prüfungsteilnehmer verstehen möglicherweise nicht, wie Entscheidungen getroffen werden, und die Einrichtungen haben unter Umständen Schwierigkeiten, diese Entscheidungen zu rechtfertigen. Wenn Prüfungssysteme nicht transparent sind, bricht das Vertrauen zusammen. Und ohne Vertrauen können selbst korrekte Ergebnisse angezweifelt werden. 

Dieser Artikel befasst sich mit der Rolle von Transparenz, Überprüfbarkeit und einer soliden Governance in der modernen Leistungsbewertung. Außerdem zeigen wir Ihnen, wie Bildungseinrichtungen digitale Prüfungen gestalten können gestalten können, die fair, vertretbar und vertrauenswürdig sind, ohne auf Überwachung zurückzugreifen. 

Warum digitale Leistungsbewertung nach wie vor auf Überwachungsmodellen basiert

Trotz des anhaltenden technologischen Wandels basieren viele digitale Bewertungssysteme nach wie vor auf traditionellen Vorstellungen von Kontrolle.

In der Vergangenheit beruhte die Integrität von Prüfungen auf physischer Aufsicht, wobei Prüfungsaufsichtspersonen die Studierenden in kontrollierten, standardisierten Umgebungen beaufsichtigten. Als Prüfungen ins Internet verlagert wurden, versuchten die Bildungseinrichtungen, dieses Modell mithilfe digitaler Tools nachzubilden. Dies hat zur weit verbreiteten Einführung von Überwachungsansätzen geführt, wie zum Beispiel:

• Kontinuierliche Video- und Audioüberwachung 
• Bildschirmaufzeichnung
• Browser-Sperren

Diese Maßnahmen sind oft durch berechtigte Bedenken motiviert, da Prüfungen mit hohen Einsätzen – wie beispielsweise standardisierte Abschlussprüfungen am Jahresende – Risiken für den Ruf, finanzielle Risiken und regulatorische Risiken mit sich bringen. Im großen Maßstabkönnen selbst kleine Fälle von Fehlverhalten erhebliche Konsequenzen haben.

Das bedeutet, dass die Überwachung für Bildungseinrichtungen als sichere Option erscheinen kann, da sie ein Gefühl der Kontrolle über die Prüfungsumgebung aus der Ferne vermittelt. Wenn Studierende Prüfungen zu Hause ablegen, wo die Bedingungen schwerer zu überprüfen sind, fehlt es den Bildungseinrichtungen möglicherweise an Vertrauen in diese Umgebung. Daher können Tools wie Bildschirmaufzeichnungen ein Gefühl der Sicherheit vermitteln.

Ebenso hat KI hat es ermöglicht, Augenbewegungen zu verfolgen, Verhaltensweisen zu kennzeichnen und Muster in großem Maßstab zu analysieren. Als diese Tools verfügbar wurden, begannen viele Anbieter, akademische Integrität als etwas darzustellen, das durch Überwachung gelöst werden könne – und verstärkten damit die Vorstellung, dass „mehr Überwachung gleichbedeutend mit besserer Integrität“ sei.

Für Bildungseinrichtungen ist es zudem weitaus einfacher, ein Tool zur Prüfungsüberwachung anzuschaffen, als Prüfungen komplett neu zu gestalten oder die Prüfungsteilnehmer manuell zu beaufsichtigen, was dazu führt, dass die Überwachung als schnelle Abhilfe – aber nicht als langfristige Lösung – angesehen wird.

Die Grenzen der Überwachung in digitalen Bewertungssystemen

Die Umwandlung physischer Aufsicht in digitale Überwachung bringt neue Herausforderungen mit sich, darunter auch Fragen zur Ethik der Online-Prüfungsaufsicht. Auch wenn überwachungsintensive Ansätze auf den ersten Blick die Integrität zu stärken scheinen, untergraben sie oft die übergeordneten Ziele von Fairness, Transparenz und Vertrauen. 

Risiken im Bereich Datenschutz und Datensicherheit

Moderne Prüfungsüberwachungssysteme erfassen häufig umfangreiche personenbezogene Daten, wie beispielsweise biometrische und verhaltensbezogene Informationen. Dies wirft Bedenken hinsichtlich folgender Punkte auf:

• Datenminimierung und Verhältnismäßigkeit – Systeme sollten nur Daten erheben, die tatsächlich benötigt werden
• Speicherung, Aufbewahrung und Sicherheit – Institutionen müssen genau wissen, wo Daten gespeichert werden, wie lange sie aufbewahrt werden und wie sie geschützt werden 
• Einhaltung sich weiterentwickelnder Vorschriften – Systeme müssen den geltenden Gesetzen entsprechen und sich an geänderte Vorschriften anpassen (insbesondere in Bezug auf Datenschutz, Datennutzung und KI)

Undurchsichtige Entscheidungsprozesse

Automatisierte Systeme können zwar Muster erkennen, liefern jedoch nicht immer eine klare Begründung. So kann es beispielsweise vorkommen, dass ein Bewerber wegen verdächtiger Aktivitäten markiert wird, ohne zu verstehen, was den Alarm ausgelöst hat. 

Dies kann zu Schwierigkeiten führen, wenn:

• Kandidaten legen gegen Entscheidungen Berufung ein
• Institutionen müssen Fairness unter Beweis stellen
• Die Aufsichtsbehörden verlangen eine Begründung

Ohne Transparenz können selbst korrekte Ergebnisse willkürlich oder ungerechtfertigt wirken.

Vertrauensverlust und die Erfahrungen der Studierenden

Online-Umgebungen sind oft wesentlich komplexer, da die Prüfungsteilnehmer in den unterschiedlichsten Umgebungen, mit verschiedenen Geräten und unter unterschiedlichen Verbindungsbedingungen arbeiten. Infolgedessen können Bemühungen, durch verstärkte Überwachung Kontrolle auszuüben, schnell übertrieben wirken.

Dies kann bei den Studierenden das Gefühl hervorrufen, übermäßig überwacht zu werden, was oft zu erhöhter Nervosität, vermindertem Selbstvertrauen und einer Beeinträchtigung ihrer Gesamtleistung führt. 

Der Weg zur Transparenz: Wie man digitale Bewertungen gestaltet, die langfristiges Vertrauen schaffen

Im Zuge der Weiterentwicklung digitaler Bewertungssysteme überdenken Bildungseinrichtungen, wie Integrität von Grund auf in die Systeme integriert werden kann. Hier erfahren Sie, wie Sie von Anfang an Bewertungssysteme aufbauen können, die auf Transparenz, Nachvollziehbarkeit und Governance basieren.

Beginnen Sie mit klaren Erwartungen

Wenn bereits bei der Erstellung Transparenz gewährleistet ist, wissen Prüfungsteilnehmer und Lehrkräfte genau, was bewertet wird. So könnte eine Zertifizierungsstelle beispielsweise Bewertungsschemata zusammen mit kommentierten Musterantworten veröffentlichen. Dies trägt dazu bei, Einsprüche von Prüfungsteilnehmern zu reduzieren, da die Erwartungen und Ergebnisse klarer und leichter zu begründen sind. 

Vor diesem Hintergrund sollten Bewertungen:

• Verwenden Sie strukturierte Bewertungsraster mit klar definierten Kriterien
• Definieren Sie klar und deutlich, wie Erfolg aussieht
• Geben Sie den Bewerbern Beispiele oder Musterantworten
• Erläutern Sie, wie die Ergebnisse berechnet werden  

Wenn Bewertungen leicht verständlich sind und Entscheidungen klar erläutert werden, stärkt dies das Vertrauen in das System.

Formate überdenken, um die Abhängigkeit von Überwachung zu verringern

Viele Herausforderungen ergeben sich daraus, dass man versucht, traditionelle Prüfungsformate in digitale Umgebungen zu zwängen. Ein effektiverer Ansatz besteht jedoch darin, Prüfungen so zu gestalten, dass Möglichkeiten für Fehlverhalten von vornherein eingeschränkt werden. 

So können Bildungseinrichtungen beispielsweise Online-Prüfungen ohne Hilfsmittel durch fallbasierte Aufgaben ersetzen, bei denen die Studierenden Konzepte auf reale Szenarien anwenden müssen. Da die Antworten originell und auf einen bestimmten Kontext zugeschnitten sein müssen, lassen sie sich schwerer kopieren, weitergeben oder automatisch generieren. Dadurch sinkt der Bedarf an intensiver Überwachung erheblich. 

Zu den umsetzbaren Ansätzen gehören:

• Einsatz von „Open-Book“-Formaten, bei denen die Anwendung im Vordergrund steht und nicht das Auswendiglernen
• Entwicklung projektbasierter Aufgaben, die individuelle, kontextbezogene Lösungen erfordern, unter Verwendung standardkonformer Plattformen wie TAO
• Randomisierung der Aufgabenbanken, um sicherzustellen, dass jeder Kandidat einen anderen Testverlauf erhält 

Schaffung sicherer Systeme durch Nachvollziehbarkeit

Nachvollziehbarkeit stellt sicher, dass jede Entscheidung durch Belege untermauert werden kann. Systeme müssen nicht alles; sie müssen lediglich die richtigen Dinge aufzeichnen. Anstelle einer Überwachung per Webcam können einige Softwaresysteme Antworten, Zeitstempel und Muster der Eingaben protokollieren, sodass Prüfer die Sitzungen rekonstruieren können, ohne auf aufdringliches Bildmaterial zurückgreifen zu müssen. 

Institutionen sollten Systemen Vorrang einräumen, die:

• Erfassen Sie wichtige Ereignisse während der Prüfung – beispielsweise wann ein Kandidat beginnt, eine Pause einlegt und seine Arbeit einreicht –, damit ein klarer Überblick über den Ablauf entsteht.
• Entwurfsbewertungen unter Verwendung standardisierter Formate, wie beispielsweise den QTI-Standard, damit alles klar definiert und systemübergreifend leicht zu überprüfen ist.
• Verfolgen Sie die Aktionen der Kandidaten, die sich direkt auf die Bewertung der Antworten auswirken – wie beispielsweise Antwortzeiten oder Änderungen an den Antworten –, um zu sehen, wie die endgültigen Antworten zustande kommen.   
• Führen Sie strukturierte Aufzeichnungen über die Aktivitäten der Kandidaten, die bei Audits, Überprüfungen oder Einsprüchen eingesehen werden können.
• Verwenden Sie einheitliche Bewertungsregeln, die bei einer erneuten Anwendung zu demselben Ergebnis führen, sodass sich die Ergebnisse leicht überprüfen und die Berechnung der Bewertungen leicht erklären lässt. 

Wenn ein Studierender gegen ein Ergebnis Einspruch einlegt, können die Hochschulen dank des überprüfbaren Systems darlegen, was genau passiert ist und warum, ohne sich auf Vermutungen oder undurchsichtige Instrumente verlassen zu müssen. Dadurch lassen sich Bewertungen leichter erklären und begründen.

Governance in die täglichen Arbeitsabläufe integrieren

Governance sorgt für die Regeln und die Aufsicht, die erforderlich sind, um die Fairness und Konsistenz der Systeme auf Dauer zu gewährleisten. Der Aufbau langfristigen Vertrauens hängt von einer klaren Rechenschaftspflicht ab, die durch Maßnahmen wie jährliche Prüfungen der Bewertungsverfahren gestützt wird, um sicherzustellen, dass diese weiterhin den regulatorischen Erwartungen entsprechen.

Institutionen sollten:

• Legen Sie klare Richtlinien für die Nutzung, Aufbewahrung und den Zugriff auf Daten fest
• Zuweisung von Zuständigkeiten und Verantwortlichkeiten für Bewertungsentscheidungen und -prozesse
• Systeme regelmäßig auf Fairness, Voreingenommenheit und Einhaltung der Vorschriften überprüfen
• Überprüfen Sie alle Bewertungsprozesse regelmäßig – von der Testgestaltung bis zur Benotung

Die Rückverfolgbarkeit unterstützt dies, indem sie sicherstellt, dass jeder Schritt dokumentiert und nachvollziehbar ist. In Verbindung mit einer soliden Unternehmensführung führt dies dazu, dass Bewertungen sich von tool- und kontrollbasierten Modellen wegbewegen hin zu modernen Systemen, in denen Vertrauen durch Transparenz statt durch Überwachung aufgebaut werden kann. 

Entwicklung im Hinblick auf die langfristige Weiterentwicklung

Transparente Systeme lassen sich leichter anpassen, da ihre Logik sichtbar und dokumentiert ist. Dadurch sind sie widerstandsfähiger gegenüber Veränderungen bei Vorschriften, Technologien und Erwartungen. 

So kann beispielsweise eine Zertifizierungsstelle, die klar definierte Bewertungsraster und strukturierte Bewertungskriterien verwendet, problemlos von Hunderten auf Tausende von Kandidaten skalieren, ohne die Art und Weise zu ändern, wie Bewertungsentscheidungen getroffen werden. Dies ermöglicht zudem eine schnelle Einarbeitung neuer Prüfer, da die Erwartungen dokumentiert und einheitlich sind.

Im Vergleich dazu lassen sich überwachungsintensive Systeme mit der Zeit oft immer schwerer verwalten. Durch das Hinzufügen weiterer Überwachungsebenen steigt die Komplexität, ohne dass dadurch zwangsläufig die Verteidigungsfähigkeit verbessert wird. Und wenn etwas in Frage gestellt wird, ist es schwieriger zu erklären, wie all diese Signale zu einem Ergebnis geführt haben.

Institutionen sollten Systeme einrichten, die:

• Skalieren ohne die Lesbarkeit zu beeinträchtigen: Halten Sie die Bewertungsregeln klar und die Formate einheitlich, unabhängig von der Anzahl der Studierenden.
• Sich anpassen, ohne die Rechenschaftspflicht zu vernachlässigen: Systeme sollten flexibel genug sein, um sich weiterzuentwickeln, und gleichzeitig klare Aufzeichnungen, Bewertungstransparenz und Aufsicht gewährleisten. 
• Vertrauen durch Klarheit schaffen, nicht durch Kontrolle: Vertrauen sollte dadurch entstehen, dass die Bewerber verstehen, wie das System funktioniert – und nicht dadurch, dass sie streng überwacht werden.

Wenn digitale Bewertungen auf diese Weise gestaltet werden, verlagert sich der Schwerpunkt von der Durchsetzung hin zu den Belegen, wodurch Fairness klar, messbar und nachweisbar wird.

Mit TAO über die überwachungsorientierte Bewertung hinausgehen

Digitale Prüfungen erfordern keine invasiven Überwachungsmaßnahmen, um die Integrität der Prüfungen zu gewährleisten. Klare, transparente Steuerungsrahmen bieten vielmehr eine wesentlich nachhaltigere Alternative. 

Überwachungsintensive Ansätze können neue Risiken mit sich bringen, beispielsweise indem sie das Vertrauen untergraben, die Einhaltung von Vorschriften erschweren und die Absicherung von Systemen erschweren. Indem sie jedoch Prozesse transparent machen, Entscheidungen nachvollziehbar gestalten und Systeme rechenschaftspflichtig machen, können Institutionen Bewertungssysteme entwickeln, die sowohl streng als auch vertrauenswürdig sind. 

Da digitale Bewertungsverfahren immer weiter verbreitet sind, müssen die Systeme so konzipiert sein, dass sie einer genauen Prüfung standhalten. Das bedeutet, dass Klarheit Vorrang vor Kontrolle, Fakten vor Verdacht und Vertrauen vor Überwachung haben müssen. 

Wenn Sie Ihren Ansatz für digitale Leistungsbewertung überdenken, bieten Plattformen wie TAO vereinen die Erstellung, Durchführung und Auswertung von Tests in einem standardbasierten Umgebung zusammen – und helfen so Bildungseinrichtungen dabei, Bewertungen zu erstellen, die klar, nachvollziehbar und auf die sich wandelnden regulatorischen Anforderungen abgestimmt sind. Gehen Sie über überwachungsorientierte Modelle hinaus und vereinbaren Sie noch heute eine Demo mit TAO.