Was ist nach Art. 5 AI Act verboten?

Die acht Verbote im Überblick

Art. 5 Abs. 1 AI Act enumeriert die Verbote in den Buchstaben (a) bis (h). Hier die Praxis-Übersicht:

• (a) Unterschwellige, manipulative oder täuschende Techniken — KI, die Personen unbemerkt beeinflusst oder täuscht und dadurch erhebliche Schäden bewirkt.
• (b) Ausnutzen von Schwächen schutzbedürftiger Gruppen — KI, die Alter, Behinderung, soziale oder wirtschaftliche Situation gezielt ausnutzt, um erhebliche Schäden zu verursachen.
• (c) Social Scoring durch Behörden — Bewertung oder Klassifizierung natürlicher Personen über einen Zeitraum hinweg, anhand sozialen Verhaltens oder persönlicher Merkmale, mit der Folge ungerechtfertigter oder unverhältnismäßiger Benachteiligung.
• (d) Predictive Policing auf Basis von Profiling oder Persönlichkeitsmerkmalen — Risikobewertungen für die Wahrscheinlichkeit einer Straftatbegehung, ohne dass objektive nachprüfbare Fakten vorliegen.
• (e) Aufbau oder Erweiterung biometrischer Gesichtsdatenbanken durch ungezieltes Scraping von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen.
• (f) Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen — außer aus medizinischen oder Sicherheitsgründen.
• (g) Biometrische Kategorisierung natürlicher Personen nach sensiblen Attributen wie Rasse, politischer Meinung, Gewerkschaftszugehörigkeit, religiöser oder weltanschaulicher Überzeugung, Sexualleben oder sexueller Ausrichtung.
• (h) Biometrische Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken — mit eng begrenzten Ausnahmen und richterlicher Genehmigung.

Manipulative und ausnutzende KI (a + b)

Verbote (a) und (b) zielen auf KI, die Menschen zu Verhaltensweisen drängt, die sie sonst nicht zeigen würden. Das ist kein Verbot von Werbung oder Empfehlungssystemen pauschal — Art. 5 setzt voraus, dass die KI unbewusst manipuliert oder eine erhebliche Beeinträchtigung verursacht.

Klassisches Beispiel: Eine App, die per Subliminal-Audio die Aufmerksamkeit lenkt und so zu impulsiven Käufen führt — verboten. Eine Werbeanzeige, die offen mit einem Produkt wirbt und das demografische Targeting nach Alter — erlaubt. Die Grenze: Transparenz und die Schwelle "erheblicher Schaden".

Verbot (b) erfasst speziell die Ausnutzung von Verletzlichkeit: Kinder, ältere Menschen, Menschen in finanzieller Notlage. Eine KI, die in einer Spiele-App Käufe gezielt bei jüngeren Nutzern auslöst — verboten. Eine generische Loot-Box-Mechanik ohne KI-basiertes Profiling — fällt nicht unter Art. 5 (kann aber unter andere Regulierung fallen).

Social Scoring durch Behörden (c)

Verbot (c) trifft das chinesische Modell sozialer Bewertungen — übertragen auf europäische Verhältnisse. Verboten ist Social Scoring, wenn drei Bedingungen erfüllt sind:

• Zeitraum: Bewertung erfolgt über einen Zeitraum hinweg, nicht punktuell.
• Faktoren: Soziales Verhalten oder persönliche Merkmale, nicht unmittelbar relevante Faktoren.
• Folgen: Ungerechtfertigte oder unverhältnismäßige Benachteiligung in einem Kontext, der nicht mit der ursprünglichen Datenerfassung zusammenhängt — oder Benachteiligung über das hinaus, was nach Schwere oder Vorhersehbarkeit gerechtfertigt wäre.

Wichtig: Die Verbotenorm zielt auf Behörden und Akteure in deren Auftrag. Private Bonitätsprüfungen sind nicht pauschal verboten — sie fallen aber unter Hochrisiko nach Anhang III Nr. 5 und sind über DSGVO Art. 22 (automatisierte Entscheidung) reguliert.

Echtzeit-Biometrie und ihre Ausnahmen (h)

Echtzeit-Biometrie — also die Identifizierung natürlicher Personen aus Live-Videoaufnahmen über automatisierten Abgleich mit Datenbanken — ist in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken grundsätzlich verboten.

Drei eng begrenzte Ausnahmen lässt Art. 5 Abs. 1 lit. h) zu:

• Suche nach Opfern bestimmter Straftaten — Entführung, Menschenhandel, sexuelle Ausbeutung — sowie nach vermissten Personen.
• Verhinderung einer konkreten, erheblichen Bedrohung für Leben oder körperliche Unversehrtheit, oder einer realen Bedrohung eines Terroranschlags.
• Lokalisierung oder Identifizierung verdächtiger Personen, gegen die ein Ermittlungs- oder Strafverfahren wegen schwerer Straftaten läuft.

Jede Anwendung erfordert eine richterliche Genehmigung im Voraus (in dringenden Fällen unverzüglich nachzuholen), wird gemeldet und beschränkt sich räumlich und zeitlich auf das Notwendige. Mitgliedsstaaten müssen die Ausnahmen in nationales Recht überführen — die deutsche Umsetzung ist Stand 2026-05-16 in der gesetzgeberischen Phase.

Emotionserkennung und biometrische Kategorisierung (f + g)

Verbot (f) untersagt Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen. Klassische Anwendungsfälle: Software, die per Webcam Konzentrations- oder Stresslevel von Mitarbeitern oder Schülern misst und davon Entscheidungen ableitet. Verboten — außer aus medizinischen Gründen (z.B. Sicherung von Patienten in einer Reha-Einrichtung) oder zur Sicherheit (z.B. Fahrermüdigkeitserkennung in Fahrzeugen).

Verbot (g) untersagt biometrische Kategorisierung nach sensiblen Attributen — Rasse, politische Meinung, Gewerkschaft, Religion, Weltanschauung, Sexualleben, sexuelle Ausrichtung. Erlaubt bleibt die Kategorisierung nach unkritischen Attributen wie Alter oder Geschlecht in legitimen Anwendungsfällen — solange das System nicht über das Erforderliche hinausgeht und keine sensiblen Merkmale ableitet.

Eine App, die Werbung nach „interessiertem Lebensstil" anhand biometrischer Daten ausspielt und dabei auf politische Orientierung oder Sexualleben schließen lässt — verboten. Eine App, die Werbung nach grobem Altersband schaltet — erlaubt.

Praxis: Wie KMU Verbots-Verstöße ausschließen

In dieser Reihenfolge:

1. KI-Inventar: Alle KI-Systeme im Haus auflisten — einschließlich SaaS-Tools, die KI nutzen.
2. Verbots-Mapping: Jedes System gegen die acht Verbote prüfen. Bei Unsicherheit: Konkretisierungs-Leitfaden des EU AI Office heranziehen.
3. Vendor-Compliance: Schriftliche Zusicherung aller Vendoren einholen, dass ihr System keine verbotene Praktik enthält.
4. Vertragsanpassung: Klauseln aufnehmen, die Verbots-Compliance vertraglich absichern und Schadensersatzregelungen treffen.
5. Schulung: Mitarbeiter, die KI-Systeme auswählen oder einführen, kennen die acht Verbote als Stop-Liste.

FAQ

Ab wann gelten die Verbote?

Seit dem 2. Februar 2025. Sie waren die zuerst wirksame Stufe des AI Act und galten von Anfang an unmittelbar in allen Mitgliedsstaaten — keine Umsetzung in nationales Recht erforderlich.

Wer ahndet Verstöße in Deutschland?

Die Marktaufsicht für AI Act ist in Deutschland noch nicht final festgelegt (Stand 2026-05-16). Voraussichtlich werden Bundesnetzagentur und sektorale Behörden (BfDI für biometrische Verbote, BSI für Cybersicherheits-Aspekte) zusammenwirken. Den aktuellen Stand pflegt das BMWK.

Sind Recommender-Systeme verboten?

Nein, nicht pauschal. Empfehlungssysteme — etwa Netflix-Empfehlungen, Shopping-Vorschläge — sind erlaubt, solange sie nicht unbewusst manipulieren oder Schwächen schutzbedürftiger Gruppen gezielt ausnutzen. Hochrisiko-Pflichten greifen aber, wenn das System in einem geregelten Bereich (z.B. öffentliche Dienste) eingesetzt wird.

Was passiert mit Bestandssystemen, die ein Verbot erfüllen?

Sie müssen seit dem 2. Februar 2025 außer Betrieb genommen werden. Eine Übergangsfrist gibt es bei den Verboten nicht — anders als bei Hochrisiko. Wer ein verbotenes System weiter betreibt, riskiert die volle Bußgeldstufe ab dem ersten Tag des Verstoßes.