So prüfen Sie, ob Sie für digitale Prüfungen bereit sind

Digitale Prüfungen bieten eine enorme Chance, die Durchführung von Prüfungen zu modernisieren und auszuweiten. Nachdem Sie Zeit und Mühe in die Auswahl der richtigen Plattform für Ihre Prüfungsanforderungen investiert haben, ist der nächste Schritt die Umsetzung. Der Erfolg digitaler Prüfungen hängt jedoch von weit mehr als nur der Plattform selbst ab. 

Nicht nur die anfängliche Einführung muss reibungslos verlaufen, sondern auch das gesamte technische Umfeld muss weiterhin eine zuverlässige Bereitstellung gewährleisten, während Ihr Bewertungsprogramm wächst und sich weiterentwickelt. Deshalb ist es wichtig, Ihre Bereitschaft für digitale Tests zu prüfen, bevor die Durchführung der Bewertungen beginnt. 

In diesem Leitfaden gehen wir auf die wichtigsten Aspekte der Vorbereitung ein und zeigen Ihnen, wie Sie beurteilen können, ob Ihr System für den Start und die Zeit danach gerüstet ist.

Die technischen Grundlagen für eine erfolgreiche Durchführung digitaler Prüfungen

Eine digitale Bewertungsplattform funktioniert nicht isoliert. Jede Bewertung stützt sich auf ein umfassendes Ökosystem, das aus verschiedenen, miteinander verknüpften technischen Funktionen besteht. Das Verständnis dieser Funktionen ist für die Planung einer erfolgreichen und zuverlässigen Umsetzung von grundlegender Bedeutung. 

Geräte 

Die Schüler absolvieren ihre Tests auf einem Endgerät wie beispielsweise einem Desktop-Computer, einem Laptop, einem Tablet oder einem Mobiltelefon. Über die Benutzeroberfläche des Geräts rufen die Schüler die Prüfung auf, bearbeiten die Fragen und übermitteln ihre Antworten. Die Funktionen des Geräts beeinflussen, wie die Schüler mit dem Test interagieren können und welche Fragetypen möglich sind. 

Betriebssysteme

Jedes Gerät verfügt über ein Betriebssystem, beispielsweise Windows, macOS, Chrome, iOS oder Android. Als Schnittstelle zwischen der Testsoftware und der Hardware (dem Gerät), über die auf diese zugegriffen wird, verwaltet das Betriebssystem wichtige Funktionen wie Speicher, Sicherheit, Barrierefreiheit und Anzeige. 

Browser 

Die meisten digitalen Tests werden in einem Webbrowser ausgeführt – einem Programm, das eine Online-Oberfläche und die Internetverbindung verwaltet. 

Netzwerke

Netzwerke ermöglichen die Übertragung von Prüfungsinhalten, Schülerantworten und Benutzerauthentifizierungsdaten von Endgeräten an Softwareplattformen. Bei groß angelegten Prüfungen kann das Netzwerk Tausende von Prüfungsteilnehmern mit der Prüfungsplattform verbinden.

Server und Cloud-Dienste

Inhalte, Daten und Bewertungsinformationen werden in der Regel „in der Cloud“, d. h. auf Remote-Servern, gehostet. Diese Systeme sind für die Speicherung und Verarbeitung aller Daten im Backend von entscheidender Bedeutung. 

Unterstützende Dienstleistungen

Möglicherweise müssen Sie neben Ihrer Prüfungsplattform auch verschiedene andere Softwarelösungen in Ihr Ökosystem integrieren. Dazu können Identitätsmanagementsysteme, Lernmanagementsysteme, Analysesoftware, Programme zur Barrierefreiheit oder Online-Prüfungsüberwachungsdienste gehören.

Häufige Lücken in der digitalen Infrastruktur

Wenn die Komponenten des Ökosystems vor der Einführung nicht getestet oder validiert werden, können kleine Probleme zu großen Schwierigkeiten führen, sobald die Auswertungen in großem Maßstab bereitgestellt werden. Häufige Beispiele hierfür sind:

• Geräteinkonsistenz: Ein System, das es Schülern ermöglicht, ein Gerät ihrer Wahl für den Zugriff auf eine Prüfung zu nutzen, kann sehr komplex werden. Doch selbst wenn eine Organisation sich auf einen einzigen Gerätetyp standardisiert, wird die Konfiguration oft übersehen. So könnte beispielsweise ein Schulbezirk davon ausgehen, dass alle Laptops identisch konfiguriert sind, während in Wirklichkeit unterschiedliche Modelle oder Einstellungen dazu führen, dass manche Geräte bestimmte Fragetypen nicht korrekt anzeigen können.

• Unklare Softwareanforderungen: Wie bei Geräten können auch bei Software (z. B. Browsern, Betriebssystemversionen oder Sicherheitssystemen) Unstimmigkeiten dazu führen, dass bei Tests Probleme wie Darstellungsfehler, schlechte Konnektivität oder mangelnde Barrierefreiheit auftreten. 

• Übersehene Integrationen: Es reicht nicht aus, nur die Prüfungsplattform selbst zu testen, wenn diese für ihren Betrieb auf andere Systeme angewiesen ist. Beispielsweise kann ein Fehler in einem Lösung zur digitalen Prüfungsüberwachung bedeuten, dass einige Studierende nicht überwacht werden oder aufgezeichnete Daten nicht ordnungsgemäß übertragen werden. 

• Unklare Support-Abläufe: Für Schüler und Verwaltungsmitarbeiter sollten klare Abläufe festgelegt sein. Sollte am Prüfungstag etwas schiefgehen, muss jeder wissen, an wen er sich wenden kann und wie Probleme eskaliert werden. Wenn sich beispielsweise Kandidaten nicht einloggen können oder eine Prüfung einfriert, kann es zu Verzögerungen kommen, wenn die Aufsichtspersonen unsicher sind, ob sie das IT-Team der Schule, den Prüfungsanbieter oder den Plattformanbieter kontaktieren sollen. 

• Lücken bei der Barrierefreiheit: Bewertungen müssen für alle zugänglich sein, einschließlich Schüler mit sonderpädagogischem Förderbedarf oder Behinderungen (SEND). Probleme mit Bildschirm- oder Audiosystemen können beispielsweise dazu führen, dass manche Schüler benachteiligt werden. 

Warum proaktive Tests zur digitalen Bereitschaft unerlässlich sind

Angesichts der Vielzahl möglicher technischer Probleme ist es wichtig, die Betriebsbereitschaft Ihres Systems bereits lange vor Ihrer ersten Prüfung zu überprüfen. Ein proaktiver Ansatz hilft dabei, Probleme zu erkennen und zu beheben, bevor sie den Testbetrieb stören, und reduziert so unerwartete Kosten und Stress sowohl für die Administratoren als auch für die Studierenden.

Die Bereitschaft umfasst zwei zentrale Prozesse: 

Diagnostische Untersuchungen

Unter Diagnosetests versteht man die Identifizierung spezifischer Probleme, die möglicherweise behoben werden müssen. Einige Plattformen bieten möglicherweise integrierte Diagnosetools an; zum Beispiel das Diagnosetool von TAO prüft auf häufige Probleme wie Browserkompatibilität, Netzwerkleistung, Verbindungsfähigkeit, Erreichbarkeit der Endpunkte und Audiobereitschaft. 

Validierung

Die Validierung stellt sicher, dass die Plattform und die Bewertung den Anforderungen der Studierenden, der Mitarbeiter und Ihres Führungsteams entsprechen, indem der gesamte Arbeitsablauf – und nicht nur einzelne Komponenten – getestet wird, um zu gewährleisten, dass die Systeme reibungslos funktionieren und die verschiedenen Beteiligten mit dem Test und dessen Ergebnissen interagieren können.

Das bedeutet, dass realitätsnahe Simulationen des gesamten Ablaufs für die Testteilnehmer durchgeführt werden, von der Anmeldung und Authentifizierung über die Zuweisung der Tests, deren Absolvierung, die Bewertung, die Datenübertragung bis hin zur abschließenden Berichterstellung. Auch das Testen der Support-Abläufe und potenzieller Fehler kann ein wichtiger Bestandteil der Validierung sein. 

Ein gutes Beispiel dafür, wie wichtig es ist, Bewertungssysteme unter realistischen Bedingungen zu validieren, stammt aus Schweden, wo groß angelegte Testprüfungen noch vor der landesweiten Einführung Probleme mit der Anmeldung und der Netzwerkleistung aufdeckten. Infolgedessen stellte die nationale Behörde vorübergehend auf Papierprüfungen um, bis die Probleme behoben waren. Auch wenn dies mit Beeinträchtigungen verbunden war, verhinderte die Erkennung dieser Probleme während der Pilotphase noch größere Turbulenzen bei den eigentlichen Prüfungen.

Aufbau einer Framework für die digitale Testbereitschaft Rahmenwerk

Auch wenn die konkreten Punkte, die Sie testen möchten, von der genauen Konfiguration Ihres Bewertungssystems abhängen können, sollten Sie möglicherweise folgende Aspekte berücksichtigen:

Gerätebereitschaft: 

• Stellen Sie sicher, dass alle zugelassenen Geräte die Hardware- und Betriebssystemanforderungen für die Bewertung erfüllen.
• Vergewissern Sie sich, dass alle Geräte einwandfrei funktionieren und über die erforderlichen Komponenten wie Webcams, Kopfhörer oder Mikrofone verfügen.
• Stellen Sie sicher, dass auf allen Geräten die Bewertung gestartet und ausgeführt werden kann.

Browserkompatibilität: 

• Stellen Sie sicher, dass die installierten Browser die Inhalte der Prüfungen korrekt anzeigen können, alle Fragetypen unterstützen und die richtigen Einstellungen aktiviert sind. 

Netzwerkleistung: 

• Stellen Sie sicher, dass das Netzwerk die erwartete Anzahl an Bewerbern ohne Leistungseinbußen bewältigen kann. 
• Testen Sie die Bandbreite, die Latenz und die Netzwerkstabilität unter realistischen Spitzenauslastungen.

Endgerätezugriff und Konnektivität: 

• Stellen Sie sicher, dass alle Teilnehmer ohne Einschränkungen durch Firewalls, Proxy-Server oder Inhaltsfilter auf die Prüfung zugreifen können.
• Stellen Sie sicher, dass die Teilnehmer die Prüfung ohne Verzögerungen oder Unterbrechungen absolvieren können. 

Arbeitsabläufe bei der Durchführung von Leistungsbeurteilungen: 

• Testen Sie den gesamten Ablauf, um sicherzustellen, dass die Schüler die richtige Prüfung erhalten, die Antworten durchgehend gespeichert werden und die Einsendungen fehlerfrei übermittelt werden.
• Stellen Sie sicher, dass Sie die Barrierefreiheits-Workflows für Bewerber mit unterschiedlichen Bedürfnissen testen. Prüfen Sie beispielsweise, ob Text-Overlays korrekt angezeigt werden oder ob die Text-to-Speech-Funktion einwandfrei funktioniert.

Bewertung und Berichterstattung:

• Stellen Sie sicher, dass die Punktzahlen und Noten korrekt zugeordnet wurden. 
• Überprüfen Sie, ob die Ergebnisse in den Datenblättern und in der Auswertungssoftware korrekt angezeigt werden.

Support-Workflows:

• Nutzen Sie Echtzeit-Probedurchläufe, um sicherzustellen, dass Aufsichtspersonal, Verwaltungsmitarbeiter und Mitarbeiter des technischen Supports etwaige Probleme schnell beheben können. 
• Stellen Sie sicher, dass der Support-Workflow auch für die Bewerber klar und hilfreich ist.

Operative Validierung: 

• Führen Sie einen abschließenden Testlauf durch oder ziehen Sie eine Pilotbewertung in Betracht, die die realen Bedingungen nachbildet, damit Sie eventuelle Probleme noch vor dem Start erkennen und beheben können.

Bereit bleiben: Kontinuierliche Einsatzfähigkeit

Im Zuge der Erweiterung und Weiterentwicklung von Bewertungsprogrammen können Geräte aktualisiert, Betriebssysteme ausgetauscht oder Netzwerke neu konfiguriert werden. Möglicherweise werden Ihrem Ökosystem neue Integrationen oder Sicherheitsfunktionen hinzugefügt. Auch Änderungen im Lehrplan können neue Fragetypen oder Bewertungsformen erforderlich machen, was technische Anpassungen notwendig macht. 

Anstatt die Bereitschaft als einmalige Aufgabe zu betrachten, integrieren ausgereifte Organisationen sie daher in ihre routinemäßigen Bewertungsabläufe. Diagnosetests und Validierungen werden Teil jedes Bewertungszyklus, und Änderungen an der Infrastruktur werden vor Beginn der Testfenster überprüft. Supportprozesse werden dokumentiert, regelmäßig getestet und aktualisiert. Regelmäßige Testläufe tragen zudem dazu bei, dass die Durchführung der Bewertungen zuverlässig bleibt, während Sicherheitsaudits und die Auswertung von Vorfällen dazu beitragen, eine sichere Testumgebung aufrechtzuerhalten. 

Die Bereitschaft muss auch in die Governance integriert werden, wobei die Zuständigkeiten unternehmensweit klar festgelegt sein müssen. IT-Teams, Prüfungsleiter, Administratoren und Support-Mitarbeiter sollten ihre jeweiligen Rollen verstehen, um sicherzustellen, dass die technische Umgebung für jedes Prüfungsfenster einsatzbereit bleibt. Im Zuge der Ausweitung der Programme helfen Pilotprüfungen dabei, sicherzustellen, dass die Netzwerke größere Datenmengen bewältigen können und dass operative Arbeitsabläufe – wie die Prüfungsaufsicht und die Datenübertragung – wie vorgesehen funktionieren. Pilotprojekte bieten zudem die Möglichkeit, Notfallpläne vor der vollständigen Einführung zu erstellen. Dies trägt dazu bei, langfristig ein flexibles und zuverlässiges Prüfungssystem aufrechtzuerhalten.

Von der technischen Vorbereitung bis zur operativen Sicherheit

Die Überprüfung der Bereitschaft Ihres Systems für digitale Prüfungen ist sowohl vor als auch nach der Einführung von entscheidender Bedeutung. Durch Diagnosetests und Systemvalidierung können Sie mehr Sicherheit gewinnen, dass Sie eine stringentes und zuverlässiges Bewertungsprogramm anbieten können, das den Fortschritt der Schüler genau erfasst und Ihnen als Führungskraft die Daten liefert, die Sie benötigen, um Verbesserungen voranzutreiben, die das Leben der Schüler verändern.  

Die Zusammenarbeit mit TAO bietet Ihnen die notwendigen Werkzeuge, um digitale Tests in großem Umfang zu entwerfen, zu testen und bereitzustellen – mit fachkundiger Unterstützung, damit alles reibungslos abläuft. Um mehr über die Zusammenarbeit mit TAO zu erfahren, vereinbaren Sie eine Demo mit dem Team.