Der European AI Act

Die 10 Dinge, die Software-Teams jetzt wissen müssen

Künstliche Intelligenz ist längst Alltag.

Sie steckt in Suchmaschinen, Empfehlungssystemen, Recruiting-Tools, Diagnosesoftware und immer mehr Business-Anwendungen.

Mit dem EU AI Act schafft Europa jetzt den ersten umfassenden Rechtsrahmen für KI.

Für viele Entwickler:innen klingt das zunächst nach Regulierung.
In Wirklichkeit verändert der AI Act etwas viel Grundsätzlicheres:

Er verändert, wie wir Software entwickeln.

AI Governance, Risk Management, Data Quality und Monitoring werden künftig Teil des normalen Software-Lifecycles – genauso wie Performance, Security oder Usability.

Hier sind die 10 Dinge, die jedes Software-Team jetzt verstehen sollte.

1. Der AI Act folgt einem risikobasierten Ansatz

Das Grundprinzip ist simpel:

Nicht jede KI ist gleich riskant.

Der AI Act unterscheidet vier Kategorien:

  • Unacceptable Risk – verboten
  • High Risk – stark reguliert
  • Limited Risk – Transparenzpflichten
  • Minimal Risk – kaum Regulierung

Typische High-Risk-Systeme sind etwa KI in:

  • Recruiting-Systemen
  • Kreditentscheidungen
  • medizinischer Diagnostik
  • kritischer Infrastruktur

Für Entwicklungsteams bedeutet das:

Der erste Schritt jedes KI-Projekts ist eine Risk Classification.

2. High-Risk-KI braucht ein Qualitätsmanagement

High-Risk-Systeme müssen ein strukturiertes Quality Management System (QMS) haben.

Dazu gehören:

  • dokumentierte Entwicklungsprozesse
  • Risikomanagement über den gesamten AI-Lifecycle
  • Test- und Validierungsstrategien
  • klare Verantwortlichkeiten
  • Governance-Strukturen

Viele dieser Anforderungen erinnern an etablierte Standards wie:

  • ISO 9001
  • ISO/IEC 27001
  • ISO/IEC 25010

Die Konsequenz:

AI Compliance wird Teil von Software Engineering Governance.

3. Datenqualität wird regulatorisch relevant

KI ist nur so gut wie ihre Trainingsdaten.

Der AI Act verlangt daher klare Data Governance.

Trainingsdaten müssen:

  • repräsentativ sein
  • möglichst frei von Bias sein
  • dokumentiert werden
  • nachvollziehbar erhoben sein

Dazu gehören unter anderem:

  • Dataset Documentation
  • Data Management Practices
  • Bias Risk Assessments

Fehlerhafte Trainingsdaten sind damit nicht nur ein Qualitätsproblem.

Sie können ein regulatorisches Risiko sein.

4. Transparenz wird Pflicht

Nutzer müssen wissen, wenn sie mit KI interagieren.

Beispiele:

  • Chatbots müssen sich als KI zu erkennen geben
  • AI-generierte Inhalte müssen gekennzeichnet sein
  • automatisierte Systeme müssen erklärbar sein

Das betrifft viele Anwendungen:

  • Customer Support Bots
  • Marketing-Automatisierung
  • generative KI

Transparenz wird damit zu einem UX- und Produktdesign-Thema.

5. Human Oversight bleibt Pflicht

Der AI Act verfolgt ein klares Prinzip:

KI darf unterstützen – aber nicht unbeaufsichtigt entscheiden.

Besonders bei High-Risk-Systemen müssen Menschen eingreifen können.

Zum Beispiel bei:

  • Kreditentscheidungen
  • Bewerberauswahl
  • medizinischen Diagnosen
  • biometrischer Identifikation

Software muss daher Mechanismen bieten, um:

  • Entscheidungen zu überprüfen
  • Systeme zu stoppen
  • Ergebnisse zu korrigieren

6. Logging und Traceability sind Pflicht

High-Risk-KI muss auditierbar sein.

Dafür verlangt der AI Act unter anderem:

  • Logging von Systementscheidungen
  • Dokumentation von Modellversionen
  • Nachvollziehbarkeit der Trainingsdaten
  • technische Dokumentation der Architektur

Kurz gesagt:

AI Traceability wird zum Standard.

Für Dev-Teams bedeutet das:

MLOps, Modellversionierung und Logging sind künftig nicht nur Best Practice – sondern regulatorische Pflicht.

7. KI endet nicht beim Deployment

Der AI Act betrachtet KI über den gesamten Lebenszyklus.

Unternehmen müssen Systeme auch im Betrieb überwachen.

Dazu gehört:

  • kontinuierliches Monitoring
  • Risikoanalyse im Live-Betrieb
  • Meldung schwerwiegender Vorfälle

Dieses Prinzip nennt sich Post-Market Monitoring.

Oder anders gesagt:

Continuous AI Quality Assurance.

8. Foundation Models bekommen eigene Regeln

Der AI Act unterscheidet auch General Purpose AI (GPAI).

Dazu gehören große Foundation Models, die in vielen Anwendungen eingesetzt werden können.

Für Anbieter gelten zusätzliche Anforderungen, etwa:

  • Dokumentation der Trainingsdaten
  • Sicherheitsbewertungen
  • Maßnahmen gegen Missbrauch

Besonders leistungsfähige Modelle gelten als Systemic Risk AI Models.

9. Verstöße werden teuer

Der AI Act sieht hohe Strafen vor.

Bis zu:

  • 35 Millionen Euro
  • 7 % des weltweiten Jahresumsatzes

Damit bewegt sich der AI Act in einer ähnlichen Dimension wie die DSGVO.

AI Compliance ist damit nicht nur ein Technikthema – sondern ein strategisches Risiko-Management-Thema.

10. AI Governance wird Teil moderner Softwareentwicklung

Der wichtigste Effekt ist kulturell.

KI-Systeme müssen künftig entwickelt werden mit:

  • AI Risk Management
  • AI Governance
  • AI Compliance
  • Responsible AI
  • AI Quality Assurance

Damit entsteht eine neue Disziplin:

AI Quality Engineering

Für Entwickler:innen, Tester:innen und Architekt:innen bedeutet das:

Disziplinen wie

  • Risk-Based Testing
  • Traceability
  • Monitoring
  • Qualitätsmanagement

werden plötzlich zentral für KI-Projekte.

Die 5 größten Irrtümer über den AI Act

1. „Der AI Act gilt nur für KI-Unternehmen.“

Falsch.
Auch Unternehmen, die KI nur in ihre Software integrieren, können betroffen sein.

2. „Das betrifft nur große Konzerne.“

Auch Startups und mittelständische Softwareunternehmen müssen die Anforderungen erfüllen.

3. „Der AI Act verbietet KI.“

Der AI Act verbietet nur sehr wenige Anwendungen, etwa bestimmte Formen von Social Scoring.

4. „Das betrifft nur Data Scientists.“

Der AI Act betrifft:

  • Produktentwicklung
  • Softwarearchitektur
  • Testing
  • Compliance
  • Management

5. „Das kommt erst in ein paar Jahren.“

Viele Regelungen treten schrittweise ab 2025 und 2026 in Kraft.

Fazit

Der EU AI Act wird für KI vermutlich das, was die DSGVO für Daten war.

Ein Wendepunkt.

Unternehmen, die sich früh mit

  • AI Governance
  • AI Risk Management
  • AI Quality Engineering

beschäftigen, werden langfristig deutlich besser aufgestellt sein.

Kurzfassung

  • AI wird reguliert wie kritische Software
  • Risk Classification wird Pflicht
  • Datenqualität wird regulatorisch relevant
  • Traceability, Logging und Monitoring werden Standard
  • AI Governance wird Teil moderner Softwareentwicklung