EU AI Act: Datenpflichten seit Mai 2026 in Kraft – Was Unternehmen beim Einsatz von KI-Systemen jetzt tun müssen

Was sich am 2. Mai 2026 geändert hat

Der EU AI Act erreichte an diesem Datum seinen wichtigsten Meilenstein: Die Anforderungen für Hochrisiko-KI-Systeme wurden rechtsverbindlich. Die Verbote (Social Scoring, Echtzeit-Biometrieüberwachung im öffentlichen Raum) galten bereits seit August 2024. Die Anforderungen für allgemeine KI-Modelle traten im August 2025 in Kraft. Doch die Hochrisiko-Kategorie – KI in Beschäftigung, Bildung, Kreditvergabe, Strafverfolgung, Grenzkontrolle und kritischer Infrastruktur – betrifft den Großteil der Unternehmens-KI und unterliegt nun Bußgeldern von bis zu 3 % des weltweiten Jahresumsatzes.

Die Verordnung verbietet KI in diesen Kategorien nicht. Sie verlangt spezifische Maßnahmen zu Data Governance, Transparenz und menschlicher Aufsicht. Es ist essenziell zu verstehen, was genau erforderlich ist, denn der Gesetzestext ist an Stellen präzise, wo die meisten Compliance-Rahmenwerke vage waren, und an anderen vage, wo Praktiker Details brauchen.

Die sechs zentralen Datenpflichten für Hochrisiko-KI

1. Dokumentation der Trainingsdaten

Artikel 10 des AI Act schreibt vor, dass Trainings-, Validierungs- und Testdatensätze für Hochrisiko-KI-Systeme einer dokumentierten Data-Governance-Praxis unterliegen müssen. Konkret müssen Betreiber die Datenerhebungsmethode, die Auswahlkriterien für Ein- oder Ausschluss von Daten, den geografischen und zeitlichen Umfang der Daten, die durchgeführten Vorverarbeitungs- und Bereinigungsschritte sowie – entscheidend – potenzielle Einschränkungen und Verzerrungen dokumentieren, die die Daten enthalten können, und wie diese bewertet wurden.

Dies ist anspruchsvoller, als es klingt. Die meisten ML-Teams können ihre Preprocessing-Pipeline beschreiben. Nur wenige haben eine formale Dokumentation darüber, warum bestimmte Datenquellen ausgeschlossen wurden, oder eine schriftliche Bewertung, welche demografischen oder kontextuellen Verzerrungen ihre Trainingsdaten enthalten könnten. Die Leitlinien des Europäischen Datenschutzausschusses vom April 2026 stellen klar, dass diese Dokumentation bei jedem erneuten Training des Modells aktualisiert werden muss, nicht nur bei der ersten Inbetriebnahme.

2. Grundrechte-Folgenabschätzung (Fundamental Rights Impact Assessment, FRIA)

Betreiber (Organisationen, die ein Hochrisiko-KI-System einsetzen, im Unterschied zu Anbietern, die es entwickeln) müssen vor der Inbetriebnahme eine Grundrechte-Folgenabschätzung durchführen. Diese ist vergleichbar mit einer Datenschutz-Folgenabschätzung (DPIA) nach der GDPR, geht aber über den Datenschutz hinaus und umfasst die möglichen Auswirkungen des KI-Systems auf Gleichheit, Nichtdiskriminierung, Zugang zu Dienstleistungen und Verfahrensrechte.

Die Abschätzung muss identifizieren, welche Personengruppen mit dem System interagieren, welche Entscheidungen oder Empfehlungen es beeinflusst, welche Folgen systematische Fehler für bestimmte Bevölkerungsgruppen hätten und welche menschliche Aufsichtsmechanismen vorhanden sind. Die Abschätzung muss dokumentiert, bei wesentlichen Aktualisierungen des Systems überprüft und den nationalen Marktüberwachungsbehörden auf Anfrage vorgelegt werden.

3. Mechanismen zur menschlichen Aufsicht

Artikel 14 verlangt, dass Hochrisiko-KI-Systeme mit menschlichen Aufsichtsmaßnahmen entworfen und eingesetzt werden, die es der verantwortlichen Person ermöglichen, die Fähigkeiten und Grenzen des Systems zu verstehen, den Betrieb zu überwachen und die Ergebnisse des Systems zu überstimmen, zu unterbrechen oder zu ignorieren. Dies ist nicht erfüllt, wenn ein Mensch theoretisch in der Schleife ist, aber KI-Entscheidungen nur absegnet – das Gesetz verlangt, dass der Mensch tatsächlich in der Lage ist, die Ausgabe zu verstehen und sinnvoll zu prüfen.

In der Praxis schafft dies eine Dokumentations- und Schulungspflicht. Organisationen müssen nachweisen können, dass die Personen, die KI-generierte Empfehlungen prüfen, über die Fehlerraten des Systems, bekannte Einschränkungen und die Fälle informiert wurden, in denen es weniger zuverlässig ist. Ein Personalchef, der eine KI-erstellte Kandidatenliste genehmigt, ohne die demografischen Falsch-Positiv-Raten nach Geschlecht oder Ethnie zu kennen, erfüllt Artikel 14 nicht.

4. Genauigkeit, Robustheit und Cybersicherheit

Hochrisiko-KI-Systeme müssen ein für ihren Verwendungszweck angemessenes, konsistentes Genauigkeitsniveau erreichen, und Anbieter müssen die erwarteten Genauigkeitsmetriken in der Gebrauchsanweisung offenlegen. Dies schafft eine Verpflichtung, auf die die meisten Unternehmens-KI-Implementierungen derzeit nicht ausgelegt sind: eine kontinuierliche Leistungsüberwachung mit definierten Schwellenwerten, die eine Überprüfung oder Aussetzung des Systems auslösen. Systeme, die bei der Inbetriebnahme genau waren, können durch sich ändernde Datenverteilungen driften – das Gesetz verlangt, diesen Drift zu erkennen und zu handeln.

5. Technische Dokumentation und Protokolle

Anbieter müssen eine technische Dokumentation führen, die die Einhaltung des Gesetzes nachweist, und das System muss automatisch Protokolle seines Betriebs für einen angemessenen Zeitraum erstellen. Für KI im Beschäftigungsbereich empfiehlt die Leitlinie, dass die Protokolle mindestens die berücksichtigten Eingaben, die erzeugte Ausgabe und den Zeitstempel jeder wesentlichen Entscheidung umfassen und für die Dauer der gesetzlichen Anfechtungsfrist aufbewahrt werden – in der Regel drei bis fünf Jahre, je nach Arbeitsrecht des Mitgliedstaats.

6. Transparenz gegenüber betroffenen Personen

Personen, die von Entscheidungen betroffen sind, die von Hochrisiko-KI getroffen oder wesentlich beeinflusst werden, haben ein Recht auf Erläuterung. Dieses Recht wird nicht nur durch automatisierte Entscheidungen im Sinne von GDPR Artikel 22 ausgelöst, sondern durch jeden erheblichen Einfluss eines Hochrisiko-KI-Systems auf eine menschliche Entscheidung. Die Erläuterung muss die wichtigsten Parameter umfassen, die das System berücksichtigt hat, und wie sie das Ergebnis beeinflusst haben – keine allgemeine Beschreibung der Funktionsweise des Modells, sondern eine entscheidungsspezifische Erklärung.

Wo die meisten Organisationen derzeit scheitern

Das Europäische KI-Büro hat mit Schattenprüfungen von Hochrisiko-KI-Implementierungen im Finanzdienstleistungs- und HR-Tech-Sektor begonnen, und frühe Signale von Branchenanwälten, die die Fragebögen gesehen haben, zeigen drei durchgängige Lücken:

Lücke 1: Die FRIA wird nicht erstellt oder vollständig an den KI-Anbieter delegiert. Der Betreiber ist für die Folgenabschätzung verantwortlich, nicht der Anbieter. Anbieter können Dokumentationen zur Unterstützung liefern, aber die FRIA muss den spezifischen Einsatzkontext widerspiegeln, nicht nur das Modell im abstrakten Sinne. Ein Bonitätsmodell, das von Bank A in Deutschland für Verbraucherkredite im Jahr 2026 eingesetzt wird, benötigt eine andere FRIA als dasselbe Modell, das von Bank B für SME-Kredite in Frankreich eingesetzt wird.

Lücke 2: Menschliche Aufsichtsmechanismen existieren auf dem Papier, aber nicht in der Praxis. Viele Organisationen haben dokumentiert, dass ein Mensch KI-Empfehlungen überprüft, aber nicht sichergestellt, dass die Menschen die Informationen erhalten, die sie benötigen, um die KI sinnvoll zu überstimmen. Eine Studie von AlgorithmWatch vom April 2026 ergab, dass in 78 % der untersuchten HR-KI-Implementierungen der menschliche Prüfer zum Zeitpunkt der Überprüfung keinen Zugang zum Konfidenzwert des Modells oder zu bekannten Fehlerraten hatte.

Lücke 3: Die Dokumentation der Trainingsdaten stammt aus der Zeit vor dem Gesetz und entspricht nicht Artikel 10. Systeme, die vor 2024 entwickelt wurden, verfügen oft über unzureichende Aufzeichnungen zu Datenquellenauswahlentscheidungen und Bias-Bewertungen. Eine nachträgliche Rekonstruktion dieser Dokumentation ist schwierig und in vielen Fällen unmöglich, wenn die ursprünglichen Daten nicht mehr existieren. Die pragmatische Antwort: Behandeln Sie ein erneutes Training oder eine wesentliche Modellaktualisierung als Compliance-Auslöser, um künftig konforme Dokumentationen zu erstellen.

Praktische Schritte für die Compliance jetzt

1. Inventarisieren Sie Ihre KI-Systeme und ordnen Sie sie den Hochrisiko-Kategorien zu. Artikel 6 und Anhang III listen die Kategorien genau auf. Wenn Sie KI bei der Personalauswahl, Bonitätsbewertung, Leistungsanspruchsprüfung oder Strafverfolgung einsetzen, sind Sie betroffen. Gehen Sie nicht davon aus, dass die Nutzung eines externen Anbieters bedeutet, dass Sie nicht der Betreiber im Sinne des Gesetzes sind.
2. Priorisieren Sie die Erstellung einer FRIA für bereits eingesetzte Systeme. Das Gesetz sieht keine Übergangsfrist für bereits in Betrieb befindliche Systeme vor. Wenn Ihr System vor dem 2. Mai 2026 eingeführt wurde, verstoßen Sie gegen das Gesetz, wenn keine konforme FRIA vorliegt. Erstellen Sie diese jetzt mit einem korrekten Inbetriebnahmedatum und dokumentieren Sie etwaige Abhilfemaßnahmen.
3. Prüfen Sie Ihre Dokumentation zur menschlichen Aufsicht. Können Sie nachweisen, dass die menschlichen Prüfer der KI-Ergebnisse über die Grenzen des Systems geschult wurden? Halten Ihre Workflows fest, dass ein Mensch die Entscheidung tatsächlich überprüft hat, oder nur, dass das System eine Empfehlung erstellt hat?
4. Implementieren Sie eine Überwachung der Modellleistungsdrift. Definieren Sie Genauigkeitsschwellen, legen Sie einen Überwachungsrhythmus fest und dokumentieren Sie, was eine Überprüfung oder Aussetzung des Systems auslöst. Dafür ist keine komplexe Tooling erforderlich – eine vierteljährliche Genauigkeitsprüfung anhand eines zurückgehaltenen Evaluierungsdatensatzes ist besser als nichts.
5. Beziehen Sie Ihre KI-Anbieter in die gemeinsame Dokumentationspflicht ein. Anbieter von Hochrisiko-KI-Systemen haben eigene Pflichten nach dem Gesetz. Fordern Sie deren technische Dokumentation und Konformitätsbewertungen an und prüfen Sie, ob eine CE-Kennzeichnung vorliegt, sofern zutreffend. Die Nutzung eines KI-Systems von einem Anbieter, der diese Dokumentation nicht liefern kann, stellt selbst ein Compliance-Risiko dar.

Das Durchsetzungsregime des AI Act hat mehr Biss als die GDPR zum Start. Das Europäische KI-Büro ist eine spezialisierte Behörde mit technischem Personal, und die Bußgelder staffeln sich nach dem Umsatz, nicht nach einem festen Höchstbetrag. Organisationen, die den 2. Mai 2026 als bloßen Abhaktermin betrachtet haben statt als echten operativen Wandel, gehen ein messbares rechtliches Risiko ein.