Wenn Sie in einem Lernmanagementsystem (LMS) der öffentlichen Verwaltung für die Entwicklung von Prüfungen zuständig sind, wissen Sie, wie schwierig es sein kann, neue Aufgaben zu veröffentlichen. Die Fachexperten sind ohnehin schon überlastet, und es scheint, als seien endlose Feedback-Runden nötig, bevor etwas online gestellt werden kann. Bis man alle Hürden überwunden hat, haben sich die zugrunde liegenden Richtlinien oft schon wieder geändert.
Dennoch lässt der Druck, mehr Inhalte schneller zu produzieren, nicht nach. In diesem Artikel erfahren Sie, wie Sie mithilfe von KI Inhalte in einem LMS für Behörden erstellen können, und wir zeigen Ihnen gleichzeitig die Risiken auf, die mit einer zu starken Abhängigkeit von dieser Technologie verbunden sind. Außerdem erläutern wir, wie die Integration von KI in Ihr LMS zum Schutz Ihrer Systeme beitragen kann.
Warum die Entwicklung von LMS-Lerninhalten ins Stocken gerät
Die Erstellung von Aufgaben in LMS-Systemen der öffentlichen Verwaltung stellt eine besondere Herausforderung dar. Anders als im kommerziellen oder akademischen Umfeld muss jede Prüfungsaufgabe ausdrücklich mit einer bestimmten Vorschrift, einem Kompetenzstandard oder einer behördlichen Vorgabe verknüpft sein. Anschließend müssen die Fachexperten Zeit finden, diese Aufgaben zu prüfen, während sie gleichzeitig ihre operativen Aufgaben wahrnehmen. Schließlich werden die Aufgaben von den Rechts- und Compliance-Teams genauestens geprüft, bevor sie den Lernenden zur Verfügung gestellt werden.
Da mehrere Teams beteiligt sind, durchlaufen die Dokumente vor ihrer Veröffentlichung oft mehrere Abteilungen, was zu einer Kettenreaktion von Überarbeitungsanfragen führt, deren Bearbeitung Wochen dauern kann. Und wenn die zugrunde liegenden Vorschriften aktualisiert werden, muss jedes damit verbundene Dokument ebenfalls überarbeitet werden, was häufig zeitaufwändige manuelle Querverweise erforderlich macht. Anforderungen hinsichtlich Mehrsprachigkeit und Barrierefreiheit verkomplizieren den Prozess zusätzlich.
Wie KI sinnvoll helfen kann
Angesichts der Komplexität der Erstellung und Überarbeitung von Prüfungsaufgaben könnten Beamte durchaus Unterstützung gebrauchen. Und tatsächlich gibt es mehrere Möglichkeiten, wie KI den Prozess der Erstellung, Bearbeitung und Überarbeitung sinnvoll ergänzen kann. Doch es gibt einen Haken: Um effektiv zu sein, muss KI innerhalb eines klar definierten Arbeitsablaufs eingesetzt werden, der mit den Vorschriften und Standards Ihrer Behörde im Einklang steht. Hier sind einige praktische Möglichkeiten, wie KI die Erstellung von Prüfungsaufgaben unterstützen kann, ohne dass dabei Qualität und Compliance zu kurz kommen.
Strukturierte Entwurfserstellung
Dies ist vielleicht die naheliegendste Art, KI in LMS-Systemen der öffentlichen Verwaltung einzusetzen. Es ist jedoch zu beachten, dass KI nicht besonders gut darin ist, frei formulierte Texte zu generieren. Vielmehr benötigt sie eine definierte Aufgabenvorlage, die eine Aufgabenstellung (die dem Lernenden vorgelegte Hauptfrage oder das Hauptszenario), Ablenkungsantworten (plausible falsche Antwortmöglichkeiten), die richtige Antwort, eine Begründung für die richtige Antwort sowie Metadaten-Tags enthält. Eine ordnungsgemäß konfigurierte KI kann dann eine Vorschrift in Aufgaben übersetzen, die dem erforderlichen Format entsprechen.
Natürlich ist der Beitrag der Fachexperten nach wie vor erforderlich. Anstatt jedoch Aufgaben von Grund auf neu zu entwerfen, fungieren die Fachexperten als Aufgabenredakteure und überprüfen, ob Schwierigkeitsgrad und technische Vorgaben angemessen sind. Selbst mit dieser notwendigen Überprüfung ist die Zeitersparnis für vielbeschäftigte Fachleute beträchtlich.
Erstellen alternativer Artikelversionen zum Schutz der Datenintegrität
Neben der Erstellung neuer Aufgaben kann die KI auch alternative Versionen bestehender Aufgaben generieren, indem sie den Kontext des Szenarios variiert oder die Ablenkungsoptionen neu anordnet. Dies ist für die Sicherheit der Prüfung von entscheidender Bedeutung, die von der Tiefe des Aufgabenpools abhängt.
Auch hier ist menschlicher Input erforderlich, um die verschiedenen Varianten zu prüfen und zu verfeinern. Wenn ein Prüfer jedoch in der Zeit, die er für das manuelle Verfassen einer einzigen Variante benötigt, fünf von der KI generierte Varianten bearbeiten kann, wird sich dies erheblich auf Ihren gesamten Entwicklungszeitplan auswirken.
Abstimmung der Maßnahmen auf politische Rahmenbedingungen oder Kompetenzen
Die Zuordnung von Rechtsrahmen zu einzelnen Punkten kann mühsam und zeitaufwendig sein, ist jedoch bei jeder Aktualisierung der Rahmenbedingungen erforderlich. Glücklicherweise ist KI äußerst effektiv darin, Zusammenhänge zwischen Texten zu erkennen, was sie ideal macht, um den Inhalt einzelner Punkte anhand der Vorgaben zu analysieren und Abweichungen zu kennzeichnen.
Wenn Sie beispielsweise ein Kompetenzmodell aktualisieren, kann die KI Ihre Aufgabenbank durchsuchen und Aufgaben markieren, die überarbeitet werden müssen. Dies kann wiederum Ihren Fachexperten dabei helfen, Prioritäten bei der Überarbeitung zu setzen.
Unterstützung mehrsprachiger oder barrierefreier Anpassungen
Behörden betreuen häufig mehrsprachige Bevölkerungsgruppen und unterliegen strengen Vorgaben, Ressourcen in mehreren Sprachen bereitzustellen. Mithilfe von KI-gestützter Übersetzung lassen sich Texte nahezu augenblicklich in die Zielsprachen übersetzen, was es zweisprachigen Fachkräften erleichtert, diese auf ihre Richtigkeit zu überprüfen.
Dies ist nicht nur schneller als eine Übersetzung von Grund auf, sondern entlastet auch die menschlichen Prüfer kognitiv, sodass sie ihre Energie für komplexere Denkprozesse sparen können.
Im Hinblick auf die Barrierefreiheit kann KI Elemente mit übermäßig komplexen Sätzen oder unzureichenden visuellen Hinweisen identifizieren, die für Nutzer von assistiver Technologie möglicherweise schwer verständlich sind. Außerdem kann sie Alternativen vorschlagen, die den inhaltlichen Kern jedes Elements bewahren und es gleichzeitig besser lesbar machen.
Dies sorgt nicht nur für ein einheitliches Erlebnis auf allen Geräten, macht Tests fairer , da so sichergestellt wird, dass die Teilnehmer anhand ihrer relevanten Kenntnisse und Fähigkeiten bewertet werden und nicht danach, wie gut sie sich in einem verwirrenden Test zurechtfinden.
So minimieren Sie die Risiken der KI bei der Artikelerstellung
Wenn Sie zögern, KI zur Erstellung oder Überarbeitung von Inhalten einzusetzen, liegt das wahrscheinlich daran, dass Sie sich einiger Risiken bereits bewusst sind. Das wohl gravierendste davon ist das Phänomen der „Halluzination“, bei dem die KI plausibel klingende, aber vollständig erfundene Texte generiert. Dies ist im behördlichen Kontext besonders gravierend, da der Verweis auf nicht existierende Vorschriften die Glaubwürdigkeit der Behörde untergraben könnte.
Weitere Risiken sind verfahrenstechnischer Natur. Wenn KI-Agenten beispielsweise korrekte Änderungen an Objekten vornehmen, tun sie dies möglicherweise ohne ordnungsgemäße Dokumentation, wodurch der Prüfpfad ausgelöscht wird.
Diesen Risiken kann man zwar entgegenwirken, jedoch nur, wenn die richtigen Sicherheitsvorkehrungen getroffen werden. Angesichts der Komplexität der Vorschriften, an die sich Behörden halten müssen, sollten KI-Tools innerhalb sicherer LMS-Plattformen betrieben werden, anstatt nachträglich von außen hinzugefügt zu werden.
Wenn Sie KI-gestützte Lösungen zur Artikelerstellung, achten Sie auf folgende Funktionen:
- Rollenbasierte Berechtigungen: Um die Integrität der Tests zu gewährleisten, müssen Sie den Zugriff auf diejenigen beschränken, die Aufgaben erstellen, prüfen und genehmigen. Je kleiner der Kreis der Vertrauenspersonen ist, desto sicherer ist die Bewertung.
- Versionskontrolle: Um die Nachvollziehbarkeit zu gewährleisten, benötigen Sie einen klaren Prüfpfad. Das bedeutet, dass jeder von der KI generierte Entwurf (und jede Bearbeitung) als eigenständige Version nachverfolgt werden muss, wobei sowohl die ursprüngliche KI-Ausgabe als auch alle Überarbeitungen erhalten bleiben. Ohne Versionskontrolle lässt sich schlichtweg nicht nachvollziehen, warum Inhalte genau so entstanden sind, wie sie entstanden sind.
- Prüfprotokolle: Diese protokollieren, wann KI eingesetzt wurde, welche Eingaben in das System eingegeben wurden, welche Ergebnisse generiert wurden und wer diese Ergebnisse anschließend überprüft und überarbeitet hat. Auf diese Weise kann die Behörde jederzeit nachweisen, wie ein Element erstellt wurde, und so die Rechenschaftspflicht gewährleisten.
- Prüfpunkte: Von KI generierte Inhalte sollten nicht als besondere Kategorie von Inhalten behandelt werden. Vielmehr müssen sie denselben Überprüfungsprozess durchlaufen wie von Menschen verfasste Inhalte.
Verantwortungsbewusste Integration von KI in LMS-Plattformen der öffentlichen Verwaltung
Um KI effektiv in den Prozess der Aufgabenerstellung zu integrieren, müssen Agenturen genau definieren, was KI leisten kann und was nicht. Diese Definitionen sind für die Mitarbeiter ebenso wichtig (wenn nicht sogar wichtiger) wie für die KI-Tools selbst. Wenn Mitarbeiter lediglich die vage Anweisung erhalten, „KI zur Verbesserung der Bewertungen einzusetzen“, lässt sich einfach nicht vorhersagen, wie sie damit umgehen werden.
Auch wenn man dazu neigt, Leitplanken als Einschränkungen zu betrachten, geben sie KMU doch das nötige Selbstvertrauen, um frei innovativ zu sein. Indem Sie klar festlegen, wie KI eingesetzt werden darf, geben Sie ihnen die Erlaubnis, Probleme zu lösen. Ohne solche Leitplanken könnten sie aus Angst vor Fehlern so sehr an dem festhalten, was sich sicher anfühlt.
So stellen Sie sicher, dass KI Ihr Vertrauen gewinnt
KI kann die Erstellung von Aufgaben innerhalb von LMS-Plattformen der öffentlichen Verwaltung erheblich verbessern, indem sie die Geschwindigkeit erhöht, mit der Aufgaben entworfen, übersetzt, überarbeitet und aktualisiert werden. Dies funktioniert jedoch nur, wenn die richtigen Leitlinien und Prozesse vorhanden sind, um Qualität, Genauigkeit, Fairness und Nachvollziehbarkeit zu gewährleisten.
Wenn Ihre Einrichtung darüber nachdenkt, wie KI in die Entwicklung von Prüfungen integriert werden kann, sollten Sie zunächst Ihre organisatorischen Anforderungen klären und nicht gleich bei der Technologie ansetzen. Sobald Sie Ihre Aufgaben und Anforderungen definiert haben, können Sie eine LMS-Plattform auswählen, die Ihren Vorgaben entspricht.
Weitere Informationen zu staatlichen Bewertungen finden Sie in den folgenden Quellen:
- Warum Schulen und Behörden auf Open-Source-Bewertungssoftware setzen
- Digitale Souveränität bei risikoreichen Bewertungen: Warum europäische Institutionen die Kontrolle zurückgewinnen
- Warum Zertifizierungsstellen Prüfungsdaten als kritische Infrastruktur behandeln müssen
FAQs
Wie wird KI in Lernmanagementsystemen eingesetzt?
In LMS-Plattformen automatisiert KI die Erstellung von Lerninhalten und verknüpft diese mit gesetzlichen Vorgaben. Außerdem übersetzt sie Materialien und weist auf Probleme bei der Barrierefreiheit hin.
Kann KI Fachexperten in den Lernmanagementsystemen der Behörden ersetzen?
Nein. KI kann zwar Entwürfe erstellen und Probleme zur Überprüfung kennzeichnen, aber sie kann die Richtigkeit ihrer Ergebnisse nicht überprüfen. Außerdem kann sie sich selbst nicht wirksam vor „Halluzinationen“ schützen, was sie als Prüfer unzuverlässig macht. Das bedeutet, dass sie zwar die menschliche Intelligenz ergänzen, aber Fachexperten im Prozess der Prüfungsentwicklung nicht ersetzen kann.
Welche Sicherheitsvorkehrungen begrenzen die Risiken der KI?
Um die Integrität, Nachvollziehbarkeit und Genauigkeit der Tests zu gewährleisten, benötigen Sie Sicherheitsvorkehrungen wie rollenbasierte Berechtigungen, Versionskontrolle, Prüfprotokolle und Überprüfungsmeilensteine. Diese funktionieren am besten, wenn Sie vor der Einführung der KI in Ihrer Behörde klar definieren, welche Aufgaben die KI übernehmen kann und welche nicht.