Wie kann Künstliche Intelligenz bei Prüfungen unterstützen?

Künstliche Intelligenz wird niemals alle Aufgaben eines Prüfungsausschusses übernehmen können. Das steht schon vor dem Interview fest, zu dem wir Dr. Christoph Junggeburth und Johanna Mölls gebeten haben. Leando wollte etwas genauer wissen, wie Prüferinnen und Prüfer künftig von den Möglichkeiten profitieren können, die KI ihnen bietet. Bei welchen Aufgaben kann KI künftig unterstützen, um das Prüfungsehrenamt zu entlasten? Und welche Anwendungen von KI-Systemen sind verboten oder mit Einschränkungen nutzbar?

„Unser Ziel ist es, dass KI als Chance begriffen wird und zugleich dafür zu sensibilisieren, dass beim Einsatz von KI in der Berufsbildung bestimmte Anforderungen erfüllt werden müssen“, erklärt Junggeburth zunächst. Er ist der Justiziar des BIBB. „Es geht nicht darum, den Einsatz von KI zu verbieten.“ Auch Mölls, Leiterin der Zentralabteilung des BIBB, die sich schon früh für KI als Arbeitsmittel eingesetzt hat, unterstützt den Gedanken, sich dem Thema zu öffnen: „Dort, wo die Sinnhaftigkeit des Einsatzes von KI erkennbar ist, wollen wir dazu ermutigen. Dabei ist genau zu prüfen, wie das rechtmäßig umgesetzt werden kann.“

Bestimmte KI-Systeme der allgemeinen und beruflichen Bildung zählen zum Hochrisiko-Bereich

Einige wichtige Hinweise können die beiden Experten Prüfenden dennoch bereits mit auf den Weg geben. „Zunächst einmal bewegen wir uns bei bestimmten KI-Systemen im Bereich allgemeiner und beruflicher Bildung im sogenannten Hochrisikobereich“, geht Junggeburth auf die Regelungen des AI Acts ein. Der AI Act teile „KI-Systeme“ in vier Kategorien ein – von verbotenen Praktiken über Hochrisiko-Systeme bis hin zu solchen mit geringem oder minimalem Risiko.

„Die grundsätzliche Klassifizierung bestimmter KI-Systeme im Bildungsbereich als hochriskant hat nicht per se zur Folge, dass diese nicht eingesetzt werden dürfen“, betont Junggeburth. Beim Einsatz eines Hochrisiko-KI-Systems müssten entsprechend hohe Anforderungen erfüllt sein – an Transparenz, Sicherheit, Risikomanagement und Dokumentation. „Wichtig ist hierbei auch die Unterscheidung, ob ich die KI nur betreibe, sie anbiete oder etwa als Hersteller auftrete. Mit der Möglichkeit der Einflussnahme steigt die Verantwortung."

Artikel 6 der KI-Verordnung der EU bestimmt konkreter, was grundsätzlich als Hochrisiko-KI-System gilt (Siehe EU-Gesetz über künstliche Intelligenz, Artikel 6). In Anhang III wird auch der Bildungsbereich genannt. Demnach fallen folgende KI-Systeme im Bereich allgemeiner und beruflicher Bildung in den Hochrisiko-Bereich, die bestimmungsgemäß für folgende Zwecke verwendet werden sollen: 

• Zugang, Zulassung oder Zuweisung von Personen zu Bildungseinrichtungen
• Bewertung von Lernergebnissen
• Bewertung des Bildungsniveaus
• Überwachung während Prüfungen

„Wenn jemand ein KI-System nutzt, das in eine dieser Fallgruppen fällt, gilt dieses rechtlich als hochriskant“, sagt Mölls und ergänzt: „Keine Regel ohne Ausnahme“. Denn wenn das KI-System nach der Auffassung des Anbieters kein erhebliches Risiko für die Gesundheit, Sicherheit oder Grundrechte von natürlichen Personen darstellt, auch nicht dadurch, dass es das Ergebnis der Entscheidungsfindung wesentlich beeinflusst, gilt das als Ausnahme und das KI-System ist (doch) nicht als hochriskant zu klassifizieren. Der Anbieter hat seine Bewertung zu dokumentieren, diese auf Verlangen vorzulegen und sich in einer EU-Datenbank zu registrieren. 

Es geht also immer um diese Frage, ob eine KI oder ein Mensch die Entscheidung über unmittelbare Auswirkungen auf den Bildungsweg von Individuen trifft. Dabei ist zu berücksichtigen, dass auch KI-Systeme als hochriskant eingestuft werden können, wenn sie Entscheidungsprozesse wesentlich beeinflussen. Für solche Systeme gelten besondere Anforderungen an die menschliche Aufsicht. (Siehe Art. 14 KI-VO - Menschliche Aufsicht - KI-Verordnung) 

Bei diesen Ausnahmen fällt die Nutzung eines KI-Systems nicht in den Hochrisikobereich, wenn gleichzeitig kein Fall von Profiling vorliegt:

• KI führt eine klar definierte, eng gefasste Verfahrensaufgabe aus.
• KI verbessert die Ergebnisse einer abgeschlossenen menschlichen Tätigkeit, verändert die ursprüngliche menschliche Entscheidung nicht.
• KI erkennt Muster oder Abweichungen von früheren Entscheidungsmustern, beeinflusst oder ersetzt die ursprüngliche menschliche Entscheidung nicht, ohne eine weitere angemessene menschliche Überprüfung.
• KI führt vorbereitende Aufgaben durch, die für die nachfolgende menschliche Bewertung relevant sind.

Um zu schauen, wie diese Regelungen und Ausnahmen anwendbar sind, werfen wir einen Blick in die Prüfungspraxis:

Bei welchen Aufgaben könnte KI Prüfer und Prüferinnen sinnvoll unterstützen?

Die Erstellung von Prüfungsaufgaben ist ein Feld, in dem der Einsatz von Künstlicher Intelligenz sinnvoll erscheint. Ebenso kann KI bei der Prüfungsvorbereitung allgemein unterstützen. Da Prüfungen so nah wie möglich an der beruflichen Realität bleiben sollen, wäre in der Zukunft auch der Einsatz eines Chatbots als Gesprächspartner des Prüflings zum Beispiel bei einer Gesprächssimulation denkbar. Und Prüfende könnten sich Hilfe bei der Auswertung der Prüfung holen – vielleicht auch bei der Überwachung. Leando geht die Fragen mit Mölls und Junggeburth einmal durch:

Kann ich eine KI für die Aufgabenerstellung und Prüfungsvorbereitung nutzen?

„Nach unserem Verständnis würde der Einsatz von KI zur unterstützenden Vorbereitung von Prüfungsunterlagen nicht in den Hochrisiko-Bereich fallen“, sagt Junggeburth. Dennoch müsse man natürlich immer den Einzelfall prüfen. „Alles, was im Vorfeld genutzt wird, ist im Zweifel weniger kritisch als das, was dann in der Prüfungssituation oder bei der Auswertung der Ergebnisse zum Einsatz kommt“, fasst Junggeburth zusammen. Es geht um die Rechte der Prüflinge und um die Frage, ob und ggf. in welchem Maße menschliche Entscheidungen durch KI beeinflusst werden. 

Wie sieht es mit der Datensicherheit aus, wenn ich zur Prüfungsvorbereitung die KI füttere?

„Dass bei der Vorbereitung der Prüfung mit KI keine personenbezogenen Daten genutzt werden sollten, sollte klar sein“, ist sich das Juristenteam einig. Und wenn etwa bei der Erstellung einer Prüfungsaufgabe KI genutzt werde, verlasse sie natürlich die Sphäre, die sie vorher hatte. „Ein Tipp, den man den Aufgabenerstellenden in diesem Zusammenhang geben könnte, ist, dass sie in einem geschlossenen KI-System arbeiten und sich bei dem Thema mit ihrer zuständigen Stelle abstimmen.“

Inwieweit kann ein KI-System den Bewertungsprozess in Prüfungen unterstützen?

„Bei der Bewertung sind wir grundsätzlich im Hochrisiko-Bereich und müssen besondere Anforderungen berücksichtigen“, betont Mölls. Hier komme es ganz klar auf den Einzelfall an, der gegebenenfalls Rechtsberatung erfordere.1  „Der AI Act ist wie andere gesetzliche Regelungen so abstrakt gefasst, dass eine größere Anzahl von Einzelfällen hierunter fallen können oder eben nicht“, erklärt die Volljuristin die Herausforderung. Der Einsatz von KI bei der Bewertung von Lernergebnissen sei nicht per se verboten, aber die genauen Rahmenbedingungen müssten jeweils geprüft werden. Um das KI-System rechtskonform zu nutzen, seien entweder bestimmte Transparenz- und Mitteilungspflichten u.a. zu erfüllen und/oder der KI-Einsatz auf bestimmte Punkte einzuschränken (siehe „Ausnahmen“ weiter oben).

Sich bei der Bewertung von Prüfungsergebnissen KI-Unterstützung zu holen, davon rät Mölls eher ab. „Es gilt ja nicht nur den AI-Act zu beachten, sondern vor allem das Berufsbildungsgesetz (BBiG), das die Prüfungen regelt. Hier ist sehr klar formuliert, dass für die abschließende Bewertung der Prüfungsausschuss verantwortlich ist.“ 

Für die abschließende Bewertung von Prüfungen ist laut BBiG der Prüfungsausschuss verantwortlich

Johanna Mölls

Vorstellbar sei dagegen, anonymisierte Prüfungen und deren Ergebnisse mit Hilfe von KI evaluieren zu lassen, um die Prüfungen insgesamt zukünftig noch besser zu machen, sagt Mölls.

Könnte eine KI perspektivisch eine Rolle bei einer Prüfung mit Gesprächssimulation einnehmen?

„Die Situation, dass der Prüfling mit einem Chatbot spricht und der Prüfungsausschuss zuschaut und bewertet, würde ich spontan weniger kritisch sehen, als dass die KI in die Bewertung einbezogen wird. Jedenfalls solange, wie die Hoheit über die Prüfungsdurchführung jederzeit beim Prüfungsausschuss liegt und eine gewisse Vergleichbarkeit gewährleistet ist.“, sagt Mölls. Als „Sparringpartner“ für Auszubildende, die mit dem Chatbot solche Gespräche üben, wird die KI schon eingesetzt. (Siehe Welche Auswirkungen hat das KI-Gesetz der EU auf die Ausbildungspraxis?)

Darf ich die KI dazu nutzen, den Prüfling zu überwachen? 

Um zum Beispiel herauszufinden, ob der Prüfling seine Aufgaben tatsächlich selbst erledigt hat, wäre ein KI-Einsatzszenario vorstellbar, in dem die Antworten oder der Schreibstil überprüft und mit früheren Prüfungsantworten abgeglichen werden. Könnte dies als Ausnahme gelten? „Das hört sich eher nach „Profiling“ an, gibt Mölls zu bedenken. Dieser fiktive Fall sei ein gutes Beispiel dafür, dass viele Faktoren hinzugezogen werden müssen, um eine klare Entscheidung zu treffen. „In vielen Fällen ist es durchaus ratsam, sich juristischen Beistand zu holen“, ergänzt Junggeburth und betont: „Alles was wir im Rahmen des KI-Einsatzes bei der Bewertung von Lernergebnissen nicht als Ausnahme definieren können, ist auch keine und damit gilt der Einsatz als hochriskant. Der Einsatz von KI sollte eher in eine positive, den Menschen unterstützende Richtung gedacht werden, weniger in Kontrolle und Sanktion.“
 

Fazit: KI rechtskonform einzusetzen ist nicht einfach, aber machbar

Das Leando-Fazit bisher lautet: Es ist nicht einfach zu beurteilen, für welche Aufgaben Prüfende KI-Systeme nutzen dürfen. „Ein Rat an Prüfende ist, sich mit solchen Fragen an die jeweils zuständige Stelle zu wenden“, sagt Junggeburth. Es wird eine Zeit brauchen, bis die ersten belastbaren Gerichtsentscheidung vorliegen. Nach und nach werden Auslegungsfragen zum AI Act aber rechtsbeständiger zu beantworten sein.

Trotz der noch sehr abstrakten Lage wollen die beiden BIBB-Experten auch Prüfende dazu ermutigen, sich mit der Nutzung von KI-Systemen zu befassen. Sie sehen KI als Chance in der Ausbildung/Prüfung und auch in der Weiterbildung, also für alle, die am Arbeitsleben teilnehmen. Wer sich mit dem Thema befasst, solle den rechtlichen Rahmen kennen. Prüfende tragen hier eine besondere Verantwortung, weil ihre Entscheidungen unmittelbar den Bildungsweg der Individuen beeinflussen können."

Wichtig ist: Im Prüfungswesen muss sichergestellt sein, dass am Ende der Mensch die Entscheidung trifft, und die Grundrechte der Prüflinge geschützt bleiben.