AI Act Anwalt – Wann ist KI überhaupt reguliert?

AI Act für Unternehmen – Anwalt erklärt, wann Software rechtlich als KI-System gilt, warum die Abgrenzung oft schwieriger ist als gedacht und welche Fehler bei der Einordnung später teuer werden können.

Über den Autor

Max Hortmann ist Rechtsanwalt sowie Autor für juris, jurisPR-ITR und AZO.
Er publiziert regelmäßig zu Krypto-Betrug, digitaler Forensik, Bankhaftung und Plattformverantwortlichkeit.

In seiner anwaltlichen Praxis vertritt er Mandanten, die Opfer komplexer Online-Betrugsstrukturen geworden sind – insbesondere bei Fake-Broker-Systemen, Wallet-Angriffen und international verschleierten Geldflüssen.

Er trat unter anderem als Experte in BR24, Business Insider und WirtschaftsWoche auf und arbeitet derzeit an einem juristischen Handbuch zum Cybercrime-Recht.

LinkedIn-Profil

‍Weitere Einblicke in aktuelle Fälle, rechtliche Entwicklungen und forensische Analysen im Bereich Krypto-Betrug finden Sie auf meinem LinkedIn-Profil.

Einleitung: Die Regulierungsfrage beginnt früher, als viele Unternehmen glauben

Viele Unternehmen sprechen über den AI Act erst dann, wenn bereits über Dokumentation, Hochrisiko-KI oder interne Freigabeprozesse diskutiert wird. Juristisch beginnt die eigentliche Arbeit aber deutlich früher. Die erste und oft folgenreichste Frage lautet nicht, welche Pflicht gilt, sondern ob die konkret eingesetzte Anwendung überhaupt unter den Anwendungsbereich des AI Act fällt.

Gerade an dieser Stelle entstehen in der Praxis erhebliche Fehlannahmen. Manche Unternehmen behandeln nahezu jede automatisierte Software vorsorglich als künstliche Intelligenz. Andere nehmen das Gegenteil an und gehen davon aus, dass Standardsoftware, regelbasierte Systeme oder datenbasierte Auswertungen schon deshalb nicht reguliert seien, weil sie im Haus seit Jahren genutzt werden oder nicht als „intelligente“ Systeme vermarktet werden. Beide Annahmen können falsch sein.

Die regulatorische Einordnung hängt nicht an Schlagworten, sondern an Struktur, Funktion und Einsatzkontext. Entscheidend ist nicht, ob ein Anbieter sein Produkt „AI“, „Automation“, „Analytics“, „Scoring“, „Assistant“ oder „Smart Engine“ nennt. Maßgeblich ist, ob das System nach seiner tatsächlichen Funktionsweise Ergebnisse ableitet, die über bloße deterministische Abarbeitung hinausgehen und in reale oder virtuelle Umgebungen hineinwirken.

Für Unternehmen ist diese Vorfrage deshalb so wichtig, weil von ihr fast alles Weitere abhängt. Wird eine Anwendung zu Unrecht als unreguliert behandelt, können nachgelagerte Prüfungen zu Risikoklasse, Betreiberpflichten, Transparenz, Dokumentation und Datenschutz vollständig unterbleiben. Wird sie umgekehrt vorschnell als voll regulierte KI behandelt, bindet das intern Ressourcen, schafft unnötige Freigabeschleifen und kann operative Prozesse belasten, ohne dass dies rechtlich überhaupt erforderlich wäre.

Wenn Sie prüfen lassen möchten, ob eine Anwendung im Unternehmen bereits als KI-System im Sinne des AI Act einzuordnen ist, erreichen Sie mich direkt unter 0160 9955 5525 oder über das Kontaktformular: hortmannlaw.com/contact

Warum die Abgrenzung in der Praxis so schwierig ist

Die Einordnung scheitert in der Praxis selten an fehlendem Willen, sondern an fehlender Übersetzung. Technische Teams beschreiben Systeme anders als Juristen. Produktverantwortliche denken in Funktionen und Workflows, nicht in Regulierungstatbeständen. Einkauf und Management wiederum verlassen sich häufig auf Anbieterangaben, die für die rechtliche Einordnung nur begrenzten Wert haben.

Gerade deshalb reicht eine oberflächliche Produktbeschreibung nicht aus. Es muss präzise erfasst werden, was das System tatsächlich macht. Arbeitet es mit vorgegebenen, starren Regeln? Nutzt es statistische oder modellbasierte Ableitungen? Erzeugt es Vorhersagen, Empfehlungen, Inhalte oder Bewertungen? Verändert es seine Ergebnisse aufgrund von Trainings- oder Adaptionsmechanismen? Wird sein Output nur angezeigt oder tatsächlich in Unternehmensentscheidungen eingebunden?

Je komplexer ein System ist, desto häufiger verschwimmen diese Ebenen. In modernen Unternehmensumgebungen werden Funktionen oft kombiniert. Ein Produkt kann teilweise regelbasiert arbeiten, zugleich aber Module enthalten, die aus Datenmustern ableiten, priorisieren, sortieren oder bewerten. Genau diese Mischformen machen die rechtliche Abgrenzung schwierig. Die praktische Herausforderung besteht deshalb nicht in der Frage, ob ein System „modern“ wirkt, sondern darin, ob seine Entscheidungs- oder Ableitungslogik den regulatorischen KI-Begriff erreicht.

Nicht die Bezeichnung, sondern die tatsächliche Funktionsweise entscheidet

Ein häufiger Fehler in Unternehmen ist die Orientierung an Außendarstellung und Produktmarketing. Anbieter verwenden Begriffe wie „AI-driven“, „smart“, „intelligent“ oder „predictive“, ohne dass sich daraus unmittelbar ergibt, wie die Anwendung technisch und rechtlich einzuordnen ist. Ebenso wenig führt das Fehlen solcher Begriffe automatisch dazu, dass der AI Act nicht greift.

Entscheidend ist vielmehr, ob das System aus Eingaben Ergebnisse generiert, die auf Ableitung beruhen und nach außen wirksam werden können. Gemeint sind insbesondere Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen. Gerade hier liegt der juristische Kern. Denn die Regulierung knüpft nicht nur an Datenverarbeitung an, sondern an die Frage, ob das System eine eigenständige Bewertungs- oder Ableitungsleistung erbringt, die für weitere Prozesse relevant wird.

In der Praxis muss deshalb sehr genau zwischen bloßer Automatisierung und regulierungsrelevanter Systemlogik unterschieden werden. Ein System, das ausschließlich fest vorgegebene Regeln automatisiert ausführt, ist anders zu behandeln als ein System, das aus Datenmustern Schlüsse zieht und daraus neue Ergebnisse erzeugt. Diese Unterscheidung ist nicht immer einfach, aber rechtlich zentral.

Für Unternehmen folgt daraus ein klarer Prüfmaßstab: Die interne Bewertung darf sich nicht auf Selbsteinschätzungen einzelner Fachbereiche stützen. Sie muss auf einer belastbaren technischen Beschreibung beruhen. Nur wenn die tatsächliche Funktionsweise sauber erfasst ist, kann die juristische Einordnung verlässlich gelingen.

Der zweite Prüfstein: Entscheidend ist der konkrete Einsatz, nicht nur das Produkt

Selbst wenn ein System als KI-System einzuordnen ist, beantwortet das noch nicht die entscheidende Folgefrage. Denn der AI Act reguliert nicht jede KI gleich. Maßgeblich ist vielmehr, in welchem Kontext das System eingesetzt wird und welche Funktionen es in diesem Kontext übernimmt.

Gerade hier liegt ein weiterer typischer Praxisfehler. Unternehmen prüfen häufig das Produkt, aber nicht dessen konkrete Rolle im Prozess. Rechtlich ist aber beides voneinander zu trennen. Dieselbe Anwendung kann in einem Einsatzszenario rechtlich unauffällig sein und in einem anderen in einen deutlich sensibleren Bereich hineinreichen.

Das ist besonders relevant bei Systemen, die im Personalbereich, in Risiko- und Scoring-Kontexten, im Finanzsektor oder in anderen entscheidungsnahen Bereichen eingesetzt werden. Ein System, das zunächst nur unterstützend erscheint, kann im konkreten Ablauf eine erhebliche Relevanz für spätere Bewertungen oder Entscheidungen entfalten. Dann genügt es nicht mehr, abstrakt auf menschliche Endkontrolle zu verweisen. Maßgeblich ist, ob der menschliche Beitrag real und substantiell ist oder ob der Prozess faktisch von dem System vorstrukturiert wird.

Für die Praxis bedeutet das: Unternehmen müssen immer produktbezogene und einsatzbezogene Prüfung miteinander verbinden. Wer nur das Tool beschreibt, aber den realen Workflow nicht analysiert, wird die Regulierungsfrage regelmäßig unvollständig beantworten.

Warum die Abgrenzung zwischen regulierter und nicht regulierter Software haftungsrelevant werden kann

Die Frage, ob eine Anwendung reguliert ist, ist nicht nur eine akademische Vorstufe. Sie kann später unmittelbare Auswirkungen auf Haftung, interne Verantwortung und aufsichtsrechtliche Bewertung haben. Denn fast jede spätere Auseinandersetzung setzt an der Vorfrage an, ob das Unternehmen die Anwendung überhaupt richtig eingeordnet hat.

Wenn etwa ein System ohne ausreichende Prüfung eingeführt wurde, obwohl sein Output in sensible Entscheidungsprozesse einwirkt, stellt sich später fast zwangsläufig die Frage, ob die Geschäftsleitung, die Fachverantwortlichen oder die Compliance-Struktur die Regulierungslage von Anfang an verkannt haben. Genau hier beginnt die eigentliche Gefahr. Nicht das einzelne Tool begründet das Problem, sondern die fehlende oder unzureichende Einordnung.

Deshalb ist die Klassifizierungsfrage auch kein reines Einstiegsproblem, sondern Teil jeder späteren Verteidigung. Wer regulatorische Relevanz verneint, muss diese Verneinung belastbar begründen können. Wer sie bejaht, muss auf dieser Basis die richtigen organisatorischen Folgerungen gezogen haben. In beiden Fällen ist Dokumentation entscheidend.

AI Act und DSGVO: Auch die Nicht-Einordnung als KI beendet die Prüfung nicht automatisch

Ein weiterer praktischer Irrtum besteht darin, die Regulierungsfrage ausschließlich über den AI Act zu denken. Selbst wenn eine Anwendung am Ende nicht als KI-System im Sinne der Verordnung einzuordnen sein sollte, können andere rechtliche Regime gleichwohl voll greifen. Das gilt insbesondere für die DSGVO.

Viele Unternehmen hoffen auf eine einfache Trennung: Entweder liege KI-Regulierung vor oder Datenschutzrecht. In der Praxis ist das häufig anders. Wer mit personenbezogenen Daten arbeitet, Bewertungen vorbereitet, Nutzerinteraktionen analysiert, Scoring- oder Prognoseelemente verwendet oder Daten in cloudbasierten Systemen verarbeitet, muss datenschutzrechtliche Anforderungen eigenständig prüfen, selbst wenn die Einordnung als KI-System offen oder zweifelhaft ist.

Genau deshalb ist eine saubere Rechtsprüfung so wichtig. Die Antwort „Kein KI-System“ beendet nicht automatisch jede regulatorische Diskussion. Sie verschiebt sie nur. Für Unternehmen ist daher eine zweistufige Denke erforderlich: Zunächst ist zu prüfen, ob ein KI-System im Sinne des AI Act vorliegt. Unabhängig davon muss anschließend bewertet werden, welche datenschutzrechtlichen, arbeitsrechtlichen, vertragsrechtlichen oder aufsichtsrechtlichen Fragen die konkrete Anwendung auslöst.

Typische Fallgruppen, in denen Unternehmen die Regulierung besonders häufig unterschätzen

In der Praxis zeigen sich bestimmte Konstellationen immer wieder. Das gilt insbesondere für Systeme, die nach außen wie gewöhnliche Unternehmenssoftware erscheinen, intern aber Bewertungselemente, Vorhersagemodelle oder sortierende Logik enthalten. Besonders häufig wird die Regulierung unterschätzt bei Tools zur Bewerbervorauswahl, zur Leistungs- oder Verhaltensanalyse, bei Risiko-Scoring-Systemen, bei internen Verdachts- und Monitoring-Tools sowie bei generativen Anwendungen, die in operative Prozesse eingebunden werden.

Ebenfalls problematisch sind cloudbasierte Standardprodukte, die im Unternehmen breit ausgerollt werden, ohne dass deren technische Grundlogik oder spätere Anpassungen intern ausreichend nachvollzogen werden. Gerade bei solchen Anwendungen verlassen sich Unternehmen oft zu stark auf Anbieterangaben. Rechtlich genügt das nicht. Die Verantwortung für die Einordnung der konkreten Nutzung lässt sich nicht einfach an den Anbieter delegieren.

Hinzu kommt, dass viele Systeme sich im Zeitverlauf verändern. Updates, neue Features, zusätzliche Integrationen oder geänderte Einsatzkontexte können die ursprüngliche rechtliche Einordnung verschieben. Ein System, das ursprünglich als unkritisch erschien, kann später in einen regulierungsintensiveren Bereich hineinwachsen. Auch deshalb ist die Regulierungsfrage keine einmalige Momentaufnahme, sondern Teil einer fortlaufenden Governance.

Warum Mandanten mich mit der Einordnung von KI-Systemen beauftragen

Die größte Schwäche vieler Unternehmen liegt nicht darin, dass sie KI einsetzen. Die Schwäche liegt darin, dass sie ihre Systeme zu spät und zu oberflächlich juristisch einordnen. Genau hier setzt meine Arbeit an.

Ich prüfe KI-Systeme nicht auf der Ebene abstrakter Zukunftsdebatten, sondern auf der Ebene konkreter Prozesse, Datenflüsse und Einsatzszenarien. Entscheidend ist nicht, ob eine Anwendung modern oder komplex wirkt, sondern ob ihre Funktionsweise und ihre Rolle im Unternehmen den regulatorischen Maßstab des AI Act erreichen und welche Pflichten sich daraus in der Praxis ergeben.

Gerade Unternehmen, die KI in mehreren Bereichen parallel einsetzen, benötigen hier eine belastbare Struktur. Es reicht nicht, nur den Gesetzestext zu kennen. Erforderlich ist die Übersetzung in reale Unternehmensprozesse: Was tut das System? Welche Daten verarbeitet es? Welchen Einfluss hat sein Output? Wer ist für Freigabe und Überwachung zuständig? Und wie lässt sich die Einordnung später nachvollziehbar dokumentieren?

Viele Mandate beginnen genau an diesem Punkt. Ein Unternehmen nutzt bereits Systeme, ist sich aber nicht sicher, ob der Einsatz noch im unkritischen Bereich liegt oder ob bereits ein regulierter Anwendungsfall vorliegt. In solchen Situationen ist eine frühe juristische Einordnung regelmäßig deutlich effizienter als spätere Reparaturmaßnahmen.

Was Unternehmen jetzt konkret tun sollten

Der erste Schritt besteht darin, alle eingesetzten oder geplanten Systeme vollständig zu erfassen. Ohne ein sauberes Inventar gibt es keine belastbare Regulierungseinordnung. Darauf aufbauend muss für jedes relevante System die tatsächliche Funktionsweise beschrieben werden. Diese Beschreibung darf nicht bei Marketingbegriffen stehenbleiben, sondern muss technische und prozessuale Realität erfassen.

Anschließend ist zu prüfen, ob das System überhaupt als KI-System im Sinne des AI Act zu behandeln ist. Erst danach stellt sich die Frage der Risikoklasse und der nachgelagerten Pflichten. Parallel dazu müssen Datenschutz, Verantwortlichkeitsverteilung und Einsatzkontext mitbewertet werden.

Gerade Unternehmen, die mehrere Tools in Personal, Vertrieb, Compliance, Analyse oder Monitoring einsetzen, sollten diese Prüfung frühzeitig bündeln. Einzelne Bereichslösungen ohne zentrale Steuerung sind fast immer anfällig für Fehlklassifizierungen und spätere Dokumentationsdefizite.

Wenn Sie eine konkrete Anwendung prüfen lassen möchten oder unsicher sind, ob Ihre bestehenden Systeme bereits AI-Act-relevant sind, können Sie mich direkt kontaktieren: 0160 9955 5525 oder über hortmannlaw.com/contact

‍

Großes FAQ: Wann ist KI nach dem AI Act überhaupt reguliert?

Wann gilt Software im Unternehmen als KI im Sinne des AI Act?
Nicht die Bezeichnung der Software ist entscheidend, sondern ihre tatsächliche Funktionsweise. Maßgeblich ist, ob das System aus Eingaben Ergebnisse wie Vorhersagen, Empfehlungen, Inhalte oder Entscheidungen ableitet, die reale oder virtuelle Umgebungen beeinflussen können.

Reicht es für die Einordnung aus, dass ein Anbieter sein Produkt als „AI“ bewirbt?
Nein. Anbieterangaben können ein Indiz sein, ersetzen aber keine rechtliche Prüfung. Ausschlaggebend ist die objektive Systemlogik und der konkrete Einsatz.

Ist jede Automatisierung automatisch regulierte KI?
Nein. Rein regelbasierte, deterministische Abarbeitung ist nicht ohne Weiteres mit regulierungsrelevanter KI gleichzusetzen. Die Abgrenzung muss aber im Einzelfall sorgfältig geprüft werden.

Warum ist die Regulierungsfrage so wichtig?
Weil von ihr fast alle weiteren Pflichten abhängen. Ohne richtige Einordnung lässt sich nicht belastbar bestimmen, ob Transparenzpflichten, Betreiberpflichten oder Hochrisiko-Anforderungen greifen.

Kann dieselbe Software in unterschiedlichen Kontexten unterschiedlich reguliert sein?
Ja. Maßgeblich ist nicht nur das Produkt, sondern dessen konkrete Funktion im jeweiligen Prozess. Der Einsatzkontext kann die rechtliche Bewertung erheblich verändern.

Spielt menschliche Endkontrolle für die Einordnung eine Rolle?
Ja, aber nicht schematisch. Eine bloße formale Endkontrolle genügt nicht immer. Entscheidend ist, wie real und substantiell die menschliche Prüfung im konkreten Ablauf tatsächlich ist.

Was passiert, wenn ein Unternehmen ein System falsch als unreguliert einstuft?
Dann können nachgelagerte Prüfungen und Pflichten unterbleiben, obwohl sie rechtlich geboten wären. Das kann später zu Aufsichts-, Dokumentations- und Haftungsproblemen führen.

Beendet die Verneinung eines KI-Systems jede rechtliche Prüfung?
Nein. Auch wenn der AI Act im Einzelfall nicht greift, können insbesondere Datenschutzrecht, Arbeitsrecht, Vertragsrecht oder andere Regime relevant bleiben.

Wer sollte im Unternehmen die Einordnung vornehmen?
Die Einordnung sollte nicht isoliert durch einen Fachbereich erfolgen. Erforderlich ist regelmäßig eine Zusammenarbeit von IT, Legal, Compliance, Datenschutz und dem jeweils verantwortlichen operativen Bereich.

Wann sollte ein Anwalt eingeschaltet werden?
Möglichst früh – insbesondere vor breiter Einführung, Einkauf oder Integration eines Systems in sensible Prozesse. Eine frühe Einordnung ist regelmäßig deutlich effizienter als spätere Nachsteuerung.

Fazit: Die wichtigste Regulierungsfrage ist oft die erste

Für Unternehmen ist die schwierigste Frage beim AI Act häufig nicht, welche Einzelpflicht gilt, sondern ob die konkrete Anwendung überhaupt reguliert ist. Diese Vorfrage wird in der Praxis regelmäßig unterschätzt, obwohl sie die Grundlage aller weiteren Entscheidungen bildet.

Wer hier unsauber arbeitet, riskiert Fehlklassifizierungen, unvollständige Dokumentation und spätere Haftungs- oder Aufsichtsprobleme. Wer dagegen früh sauber prüft, schafft die Voraussetzung für eine belastbare KI-Governance und vermeidet genau jene strukturellen Fehler, die später nur mit erheblichem Aufwand korrigiert werden können.

Wenn Sie prüfen möchten, ob eine Anwendung in Ihrem Unternehmen bereits als KI-System im Sinne des AI Act einzustufen ist, oder wenn Sie eine belastbare rechtliche Einordnung Ihrer bestehenden KI-Landschaft benötigen, können Sie mich direkt kontaktieren – telefonisch unter 0160 9955 5525 oder über hortmannlaw.com/contact.

AI Act & KI-Recht – Leitfäden im Überblick

Die folgenden Beiträge bilden eine geschlossene Struktur zum AI Act – von der Einordnung einzelner KI-Systeme über Hochrisiko-Klassifizierung und Datenschutz bis hin zu Haftung, Bußgeldern und spezifischen Fragestellungen im Bereich Krypto-Betrug und KI-gestützter Täuschung.

1. Grundlagen der AI-Act-Umsetzung

AI Act Anwalt: KI im Unternehmen rechtssicher umsetzen
https://www.hortmannlaw.com/articles/ai-act-anwalt-unternehmen-ki-umsetzung-probleme
Ein Überblick über die praktischen Umsetzungsprobleme des AI Act im Unternehmen: Governance, Dokumentation, Zuständigkeiten und organisatorische Anforderungen.

2. Hochrisiko-KI und regulatorische Anforderungen

AI Act Anwalt: Hochrisiko-KI im Unternehmen richtig einstufen
https://www.hortmannlaw.com/articles/ai-act-anwalt-hochrisiko-ki-unternehmen
Die Einordnung als Hochrisiko-KI entscheidet über den gesamten Compliance-Aufwand. Darstellung der maßgeblichen Kriterien und Folgen.

AI Act Anwalt: KI und DSGVO im Unternehmen
https://www.hortmannlaw.com/articles/ai-act-anwalt-dsgvo-ki-unternehmen
Zusammenspiel von AI Act und DSGVO: Datenverarbeitung, Transparenzpflichten und Grenzen automatisierter Entscheidungen.

AI Act Anwalt: Haftung, Bußgeld und KI-Governance
https://www.hortmannlaw.com/articles/ai-act-anwalt-haftung-bussgeld-ki-governance
Haftungsrisiken, Organisationspflichten und Bußgeldrahmen. Warum KI-Governance zwingend auf Leitungsebene verankert werden muss.

3. Krypto-Betrug, Love Scam und KI

AI Act Anwalt: Einfluss auf Krypto Betrug, Love Scam und Romance Scam
https://www.hortmannlaw.com/articles/ai-act-anwalt-krypto-betrug-love-scam-romance-scam
Einordnung des AI Act im Kontext klassischer Betrugsdelikte. Der Einfluss ist mittelbar, aber strukturell relevant.

AI Act Anwalt: Manipulative KI bei Krypto Betrug und Love Scam
https://www.hortmannlaw.com/articles/ai-act-anwalt-manipulative-ki-krypto-betrug-love-scam-deepfakes
Deepfakes, automatisierte Kommunikation und gezielte Täuschung: Wann KI-gestützte Manipulation unter den AI Act fällt.

AI Act Anwalt: Krypto Betrug, Finanz-Compliance und Hochrisiko-KI
https://www.hortmannlaw.com/articles/ai-act-anwalt-krypto-betrug-finanz-compliance-hochrisiko-ki
Bedeutung des AI Act für Banken, Finanzinstitute und Krypto-nahe Systeme: Monitoring, Betrugsprävention und regulatorische Pflichten.

‍