Der AI Act der Europäischen Union, das weltweit erste umfassende KI-Regelwerk, soll maßgeblich dazu beitragen, dass künstliche Intelligenz in den 27 Mitgliedsstaaten sicher und transparent eingesetzt wird. Schädliche Folgen für Nutzer/-innen durch diese Technologie sollen vermieden werden. Das Regelwerk stuft KI-Systeme in vier verschiedene Risikoklassen ein:
- Unannehmbares Risiko (verbotene KI)
- Hohes Risiko (Hochrisiko-KI)
- Niedriges Risiko
- Minimales Risiko
Mit dieser Kategorisierung nach Gefahrenpotenzial (der Risikobegriff ist zu verstehen als eine Kombination aus der Wahrscheinlichkeit des Eintritts eines Schadens und der Schwere dieses Schadens1) sind bestimmte Auflagen an die Adressaten des AI Act (sog. Anbieter, Betreiber, Hersteller u.a.) verbunden. Als Faustregel gilt: Je höher die Risikoeinstufung und je höher die Möglichkeit zur Einflussnahme des Adressaten auf die Ausgestaltung des Systems, desto strenger die Vorgaben bei Transparenz- und Dokumentationspflichten2, wobei bestimmte Praktiken bereits grundsätzlich verboten sind (z.B. "social scoring").
Mit der Regulierung des Einsatzes von KI durch den AI Act stellt sich auch in der betrieblichen Ausbildungspraxis die Frage, inwieweit das Gesetz Hilfe oder Hürde ist. Welche Anpassungen sind nötig, damit KI ein Werkzeug im Betrieb werden kann und die Rechte von Auszubildenden nicht gefährdet werden? Darüber hat sich Leando mit Johanna Mölls und Dr. Christoph Junggeburth vom Bundesinstitut für Berufsbildung (BIBB) unterhalten.
Festzuhalten ist zunächst, dass der AI Act bestimmte KI-Systeme im Bereich der allgemeinen und beruflichen Bildung grundsätzlich als hochriskant (Hochrisiko-Systeme) klassifiziert3. Eine Einordnung, die schon qua Betitelung zu mehr Zurückhaltung beim Einsatz von KI führen könnte. Doch was bedeutet Hochrisiko überhaupt? "Hochrisiko heißt, dass das KI-System in einem bestimmten sensiblen Bereich eingesetzt werden soll. Einem Bereich, in dem grundsätzlich ein erhebliches Risiko einer Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder von Grundrechten natürlicher Personen angenommen wird", erklärt Junggeburth, der Justiziar im BIBB.
Mölls, Abteilungsleiterin im BIBB, die sich u.a. für KI als Arbeitsmittel stark macht, erläutert, dass u.a. solche KI-Systeme im Bildungsbereich als hochriskant eingestuft werden, durch die Bildungswege beeinflusst werden können – beispielsweise in einer Situation, in der man der Technologie die abschließende Bewertung einer Prüfungsleistung überlässt.
Wie kann Künstliche Intelligenz bei Prüfungen unterstützen?
Wie kann Künstliche Intelligenz Prüferinnen und Prüfer bei ihrer Arbeit unterstützen? Und was müssen sie beachten, wenn sie KI für den Prüfungsbereich nutzen möchten?
Gleichzeitig habe die Einstufung als hochriskant nicht per se zur Folge, dass ein KI-System nicht genutzt werden kann. "Solange es sich nicht um eine verbotene Praktik nach dem AI Act handelt, dies ist jedoch die Ausnahme", stellt Junggeburth klar. Es müssten entsprechend hohe Anforderungen erfüllt sein – an Transparenz, Sicherheit, Risikomanagement und Dokumentation.
"Nur wenige Praktiken sind per se verboten."
Wie ein Einsatz von KI in der Ausbildungspraxis aussehen kann, beschreibt der Artikel "Mit KI schwierige Arbeitssituationen für Auszubildende simulieren". Darin wird aufgezeigt, wie man durch geschicktes Prompting KI zum "Sparringspartner" von Auszubildenden macht und realitätsnahe Rollenspiele erstellt. Ein Beispiel, das man noch immer nachahmen kann? Mölls hat dazu folgende Meinung: "Ich empfehle, KI als Chance zu begreifen und nicht übervorsichtig zu agieren. Auch der AI Act ist kein Verhinderer, sondern dient der Regulation." Junggeburth ergänzt: "Der Einsatz von Chatbots ist in der Regel erst einmal weniger kritisch als beispielsweise die Überwachung von Prüfungssituationen. Solche den Menschen unterstützenden aber nicht ersetzenden KI-Systeme gehen mit einem geringeren Risiko einher."
Überhaupt solle mit dem AI Act nicht die Begeisterung für KI gebremst und sich gegen die Technologie gestellt werden. Zumal ihre Bedeutung in Zukunft nur zunehmen dürfte. "Wenn ich Kompetenzen vermitteln will, muss ich KI-Systeme in Theorie und Praxis auch zur Anwendung bringen, auch gegenüber meinen Auszubildenden. Das heißt: Ich muss sie damit vertraut machen und ich muss ihnen auch zeigen, wie KI Betriebe und sie ganz persönlich unterstützen kann“, stellt Junggeburth klar. Der Jurist rät dazu, die Furcht vor den Pflichten aus dem AI-Act "nicht zu überspannen" und sagt: "Nur wenige Praktiken sind per se verboten. Unterhalb dieser Schwelle ist es eher die Frage wie KI rechtskonform eingesetzt werden kann, d.h. unter welchen Rahmenbedingungen, nicht ob."
Ausnahmen nach Art. 6 III KI-VO
Die in Anhang III des AI Act genannten KI-Systeme im Bereich der allgemeinen oder beruflichen Bildung, die grundsätzlich dem Hochrisikobereich zugeordnet sind, gelten (doch) nicht als hochrisikant, wenn sie kein erhebliches Risiko für die Gesundheit, Sicherheit oder Grundrechte von natürlichen Personen darstellen, auch nicht dadurch, dass es das Ergebnis der Entscheidungsfindung wesentlich beeinflusst. Dies ist anzunehmen, wenn eine der folgenden Bedingungen einzeln oder kumulativ erfüllt ist und kein Fall von Profiling vorliegt:
- Das KI-System ist für die Ausführung einer engen verfahrenstechnischen Aufgabe bestimmt
- Das KI-System ist dazu bestimmt, das Ergebnis einer zuvor ausgeführten menschlichen Tätigkeit zu verbessern
- Das KI-System ist dazu bestimmt, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und ist nicht dazu bestimmt, die zuvor durchgeführte menschliche Bewertung ohne angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen
- Das KI-System dient der Vorbereitung einer Bewertung, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist.
Ein Anbieter, der der Auffassung ist, dass ein in Anhang III genanntes KI-System kein hohes Risiko darstellt, dokumentiert seine Bewertung, bevor das System in Verkehr gebracht oder in Betrieb genommen wird. Er unterliegt einer Registrierungspflicht und hat auf Verlangen die Dokumentation der Bewertung vorzulegen.
Sanktionen bei Verstößen
Der EU AI Act regelt in Artikel 99 auch Sanktionen bei Verstößen gegen seine Bestimmungen. Werden zentrale Vorgaben missachtet – etwa durch den Einsatz verbotener KI-Systeme – können u.a. Geldbußen verhängt werden.
KI-Kompetenznachweis
Seit Februar 2025 gilt eine Bestimmung des AI Acts, wonach Betrieb sicherstellen müssen, dass Mitarbeitende, die am Arbeitsplatz KI einsetzen, über dafür notwendige Kompetenzen verfügen4. Ein Schulungsbedarf, der nun für alle Mitarbeitenden eines Betriebs gilt? Junggeburth: "Niemand ist verpflichtet, KI-Systeme zur Anwendung zu bringen. Betreibt man jedoch solche Systeme oder bietet diese an, hat man sicherzustellen, dass Mitarbeitende über ein ausreichendes Maß an Kompetenzen verfügen. Das bezieht sich insbesondere auf das Personal, das mit der Nutzung von KI-Systemen befasst ist."
Nach Einschätzung von Mölls sind bei der Vermittlung von KI-Grundkompetenzen keine Unterschiede zwischen den Betriebsangehörigen zu machen. "Nach unserer Einschätzung gibt es da keinen Unterschied zwischen Beschäftigten und Auszubildenden. Deshalb ist das, was wir im BIBB unseren Beschäftigten in Schulungen vermitteln, auch das, was wir unseren Auszubildenden vermitteln, wenn sie mit KI arbeiten sollen."
Artikel 4: KI-Kompetenz
Die Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um nach bestem Wissen und Gewissen sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ausreichende KI-Kompetenz verfügen, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Aus- und Weiterbildung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, berücksichtigt werden.
Grundlegende Informationen zum Einsatz von KI in der Berufsbildung vermitteln auch die entsprechenden Lernpfade in der Leando-Lernwelt.
Zeitplan für die Umsetzung
Zusammenstellung wichtiger Termine, die im Zusammenhang mit der Umsetzung des EU AI Acts von Bedeutung sind.
