AI Act Anwalt – Hochrisiko-KI im Unternehmen richtig einstufen

Hochrisiko-KI im Unternehmen – Anwalt erklärt, wann KI-Systeme als hochriskant gelten, welche Pflichten daraus folgen und warum gerade die falsche Einstufung zu erheblichen Compliance- und Haftungsrisiken führen kann.

Über den Autor

Max Hortmann ist Rechtsanwalt sowie Autor für juris, jurisPR-ITR und AZO.
Er publiziert regelmäßig zu Krypto-Betrug, digitaler Forensik, Bankhaftung und Plattformverantwortlichkeit.

In seiner anwaltlichen Praxis vertritt er Mandanten, die Opfer komplexer Online-Betrugsstrukturen geworden sind – insbesondere bei Fake-Broker-Systemen, Wallet-Angriffen und international verschleierten Geldflüssen.

Er trat unter anderem als Experte in BR24, Business Insider und WirtschaftsWoche auf und arbeitet derzeit an einem juristischen Handbuch zum Cybercrime-Recht.

LinkedIn-Profil

‍Weitere Einblicke in aktuelle Fälle, rechtliche Entwicklungen und forensische Analysen im Bereich Krypto-Betrug finden Sie auf meinem LinkedIn-Profil.

Einleitung: Warum die Hochrisiko-Einstufung der eigentliche Kipppunkt des AI Act ist

Viele Unternehmen betrachten den AI Act zunächst als allgemeinen Ordnungsrahmen für künstliche Intelligenz. Für die Praxis ist das zu abstrakt. Die eigentliche Zäsur liegt nicht schon darin, dass eine Anwendung überhaupt unter den AI Act fällt, sondern in der Frage, ob sie als Hochrisiko-KI einzuordnen ist.

Genau an dieser Stelle verändert sich der rechtliche Maßstab grundlegend. Solange eine KI-Anwendung außerhalb des Hochrisiko-Bereichs bleibt, bewegt sich die Regulierung häufig noch in beherrschbaren Bahnen. Sobald die Schwelle zur Hochrisiko-KI überschritten wird, geht es nicht mehr nur um allgemeine Einordnung oder punktuelle Transparenz, sondern um einen deutlich verdichteten Pflichtenkreis: Risikomanagement, Daten-Governance, technische Dokumentation, Protokollierung, menschliche Aufsicht, Robustheit, Genauigkeit, Cybersicherheit und laufende organisatorische Kontrolle.

Für Unternehmen ist das deshalb so bedeutsam, weil die Hochrisiko-Einstufung nicht nur juristische Folgen hat, sondern unmittelbar in Prozesse, Freigaben, Verantwortlichkeiten und Produktentscheidungen hineinwirkt. Wer ein System falsch als unkritisch einordnet, verkennt nicht nur einzelne Pflichten. Er verkennt regelmäßig die gesamte regulatorische Intensität des Einsatzes.

Gerade deshalb ist die Hochrisiko-Frage kein Randthema für Spezialabteilungen, sondern häufig die zentrale Weichenstellung der gesamten KI-Compliance. Unternehmen müssen sauber prüfen, ob ihre Anwendungen nur unterstützend, vorbereitend oder tatsächlich entscheidungsrelevant sind, ob sie in sensible Bereiche hineinwirken und ob sie in einem der ausdrücklich regulierungsintensiven Einsatzkontexte verwendet werden.

Wenn Sie prüfen lassen möchten, ob eine konkrete Anwendung im Unternehmen bereits als Hochrisiko-KI einzuordnen ist, erreichen Sie mich direkt unter 0160 9955 5525 oder über das Kontaktformular: hortmannlaw.com/contact

Hochrisiko-KI ist keine technische Qualitätsstufe, sondern eine rechtliche Bewertung

Ein häufiger Denkfehler in Unternehmen besteht darin, Hochrisiko-KI mit besonders leistungsfähiger oder besonders komplexer KI gleichzusetzen. Rechtlich ist das unzutreffend. Hochrisiko-KI bezeichnet keine technische Spitzenklasse, sondern eine regulatorische Kategorie. Entscheidend ist also nicht, wie beeindruckend oder innovativ ein System erscheint, sondern ob sein Einsatz nach der gesetzlichen Systematik in einen besonders sensiblen Bereich fällt.

Das hat praktische Folgen. Auch ein vergleichsweise schlichtes System kann rechtlich hochriskant sein, wenn es in einem regulierungsintensiven Kontext eingesetzt wird. Umgekehrt muss nicht jede technisch anspruchsvolle Anwendung automatisch Hochrisiko-KI sein. Für die Rechtsanwendung ist deshalb nicht die technologische Faszination maßgeblich, sondern die Funktion des Systems im konkreten Einsatz.

Diese Funktion muss sehr präzise beschrieben werden. Es genügt nicht, abstrakt zu sagen, ein Tool „unterstütze Prozesse“ oder „helfe bei Bewertungen“. Relevant ist vielmehr, ob das System in einem Bereich eingesetzt wird, in dem Entscheidungen über Personen, Zugangschancen, sicherheitsrelevante Abläufe oder sonstige sensible Rechtsgüter vorbereitet, strukturiert oder beeinflusst werden. Gerade diese kontextbezogene Analyse macht die Hochrisiko-Einstufung in der Praxis so anspruchsvoll.

Wo Unternehmen besonders schnell in den Hochrisiko-Bereich geraten

In der Unternehmenspraxis zeigen sich bestimmte Einsatzfelder immer wieder als besonders sensibel. Das gilt zunächst für den Personalbereich. Sobald Systeme dazu dienen, Bewerbungen zu analysieren, Kandidaten zu sortieren, Personen zu bewerten, Arbeitsverhältnisse vorzustrukturieren, Leistungsmuster auszuwerten oder personalbezogene Entscheidungen vorzubereiten, ist höchste Vorsicht geboten. Hier berührt der KI-Einsatz nicht nur interne Effizienzfragen, sondern unmittelbar die rechtliche Stellung betroffener Personen.

Auch im Finanz- und Risikokontext ist die Lage häufig deutlich schärfer, als Unternehmen annehmen. Das betrifft insbesondere Systeme, die zur Bewertung, Einordnung, Priorisierung oder Prognose von Risiken eingesetzt werden und dadurch mittelbar oder unmittelbar auf wirtschaftlich erhebliche Entscheidungen einwirken. Selbst wenn das Unternehmen subjektiv nur von „Analyseunterstützung“ spricht, kann der tatsächliche rechtliche Effekt deutlich weiter reichen.

Hinzu kommen Bereiche mit besonderem Sicherheits- oder Infrastrukturcharakter. Dort genügt es oft nicht, auf interne Kontrollmechanismen zu verweisen. Sobald KI in Prozesse eingebunden wird, die über Sicherheit, Versorgung, Zugang oder sensible Steuerungsfunktionen mitentscheiden, steigt das regulatorische Gewicht der Anwendung erheblich.

Für die Praxis folgt daraus ein einfacher, aber oft missachteter Grundsatz: Je näher ein System an Entscheidungen über Menschen, wesentliche Chancen, sicherheitsrelevante Strukturen oder sensible Funktionsbereiche heranrückt, desto sorgfältiger muss die Hochrisiko-Prüfung erfolgen.

‍

Der entscheidende Prüfungsmaßstab: Nicht das Tool, sondern seine Rolle im Prozess

Viele Unternehmen prüfen Hochrisiko-KI noch immer produktbezogen. Sie schauen sich die Software an, lesen Anbieterunterlagen und fragen, ob das Tool „typischerweise“ in einer Hochrisiko-Kategorie genannt wird. Das reicht nicht.

Rechtlich entscheidend ist die Rolle des Systems im konkreten Prozess. Ein Tool kann in einer Abteilung bloß vorbereitend oder administrativ wirken und in einer anderen Abteilung faktisch eine entscheidungsnahe Funktion übernehmen. Dieselbe Anwendung kann deshalb je nach Prozessarchitektur unterschiedlich zu bewerten sein.

Das ist gerade in Unternehmen mit dezentraler KI-Nutzung besonders relevant. Dort kommt es häufig vor, dass ein System ursprünglich für unterstützende Zwecke eingeführt wurde, später aber operative Relevanz gewinnt. Ein Analysewerkzeug wird zur Priorisierungsinstanz, ein Scoring-Tool zur faktischen Vorauswahl, ein Monitoring-System zum Auslöser weiterer Maßnahmen. Solche funktionalen Verschiebungen verändern die regulatorische Lage erheblich.

Wer Hochrisiko-KI richtig einordnen will, muss daher nicht nur fragen, was ein Produkt kann, sondern was das Unternehmen damit tatsächlich macht. Welche Personen oder Prozesse werden erfasst? Welche Vorbewertungen oder Sortierungen nimmt das System vor? Wie intensiv verlassen sich nachgelagerte Entscheidungsträger auf den Output? Und welche realen Folgen kann ein fehlerhafter oder verzerrter Output auslösen?

Erst diese prozessbezogene Analyse eröffnet eine belastbare Einordnung.

Die am häufigsten unterschätzte Frage: Reicht menschliche Kontrolle wirklich aus?

Viele Unternehmen versuchen, die Hochrisiko-Diskussion mit einem Standardargument zu entschärfen: Am Ende entscheide doch immer noch ein Mensch. Dieses Argument kann im Einzelfall relevant sein, löst das Problem aber nicht automatisch.

Denn rechtlich kommt es nicht auf eine bloße Schlussunterschrift oder formale Letztentscheidung an. Entscheidend ist, ob die menschliche Kontrolle tatsächlich eigenständig, nachvollziehbar und substantiell ausgeübt wird. Wird der KI-Output nur routinemäßig übernommen, weil Zeit, Fachwissen oder organisatorische Struktur eine echte Gegenprüfung nicht zulassen, dann bleibt die Steuerungswirkung des Systems hoch – auch wenn auf dem Papier noch ein Mensch beteiligt ist.

Gerade in großen Organisationen ist dies ein zentrales Problem. Entscheidungsnahe KI-Systeme erzeugen häufig Outputs, die als objektiv, effizient oder neutral erscheinen. Das schafft ein praktisches Autoritätsgefälle. Wer später entscheidet, folgt dem System nicht selten faktisch, obwohl formal eine menschliche Kontrolle vorgesehen ist. Genau an dieser Stelle wird die Frage der Aufsicht real und nicht nur formal.

Für Unternehmen heißt das: Menschliche Aufsicht muss organisiert, nicht nur behauptet werden. Wer sich auf Human Oversight beruft, muss erklären können, wer prüft, mit welcher Kompetenz, auf welcher Informationsbasis und mit welcher tatsächlichen Möglichkeit, den Systemoutput zu korrigieren oder zu verwerfen.

Was sich mit der Hochrisiko-Einstufung konkret ändert

Sobald ein System als Hochrisiko-KI einzuordnen ist, verändert sich die gesamte Compliance-Lage. Unternehmen müssen dann deutlich mehr leisten als nur eine erste Produktbeschreibung oder einen allgemeinen Freigabevermerk.

Erforderlich wird eine belastbare Risikosteuerung rund um das System. Das betrifft zunächst die Datenbasis. Es reicht nicht, dass ein System technisch funktioniert. Die zugrunde liegenden Daten und Bewertungslogiken müssen so beherrscht werden, dass Fehler, Verzerrungen und unzulässige Schieflagen nicht bloß theoretisch erkannt, sondern praktisch kontrolliert werden können.

Ebenso wichtig ist die technische Dokumentation. Das Unternehmen muss nachvollziehbar darlegen können, wie das System eingebunden ist, welchen Zweck es erfüllt, welche Risiken bestehen und wie diese Risiken organisatorisch adressiert werden. Hinzu kommen Anforderungen an Protokollierung, Überwachung, menschliche Kontrolle, Robustheit und Cybersicherheit.

Der eigentliche Unterschied liegt damit nicht in einer einzelnen Zusatzpflicht, sondern in der Verdichtung des gesamten Regulierungsniveaus. Hochrisiko-KI verlangt eine andere Tiefe der internen Beherrschung. Wer diese Tiefe nicht herstellt, kann die Nutzung des Systems rechtlich kaum verteidigen.

Warum Lieferantenangaben und Standardverträge die Hochrisiko-Prüfung nicht ersetzen

Unternehmen verlassen sich bei der Einführung von KI-Systemen häufig auf Informationen des Anbieters. Das ist verständlich, aber rechtlich nur begrenzt tragfähig. Denn der Anbieter beschreibt in der Regel sein Produkt – nicht den konkreten Einsatz im jeweiligen Unternehmen. Genau dieser Einsatz entscheidet jedoch oft über die regulatorische Einordnung.

Standardverträge und Herstellerunterlagen können daher eine interne Hochrisiko-Prüfung nicht ersetzen. Sie können Informationen liefern, aber nicht die eigene Einordnung abnehmen. Das gilt besonders bei Anpassungen, Integrationen, Konfigurationen und bereichsspezifischer Nutzung. Sobald das Unternehmen ein System in eigene Prozesse einbettet, entsteht eine eigenständige Verantwortung für die tatsächliche Verwendung.

In der Praxis ist das ein kritischer Punkt. Einkauf, IT und Fachbereich gehen häufig davon aus, dass mit vertragsseitigen Zusicherungen des Anbieters bereits ausreichend vorgesorgt sei. Tatsächlich bleibt aber die Frage offen, ob das konkrete Einsatzszenario – gerade im Personalbereich, Finanzbereich oder in sonstigen sensiblen Strukturen – intern richtig bewertet wurde. Genau diese Lücke wird später oft zum Ausgangspunkt regulatorischer oder haftungsrechtlicher Diskussionen.

Der häufigste Folgeschaden: Hochrisiko-KI wird nicht zu spät dokumentiert, sondern zu spät erkannt

Viele Unternehmen denken bei AI-Act-Risiken vor allem an fehlende Dokumentation. Das greift zu kurz. Das größere Problem ist oft, dass der Hochrisiko-Charakter eines Systems zu spät erkannt wird. Wenn diese Vorfrage falsch beantwortet wird, ist die spätere Dokumentation nur noch Symptom des eigentlichen Fehlers.

Wird eine Anwendung intern als unkritisch geführt, obwohl sie rechtlich in einen hochregulierten Bereich fällt, fehlen regelmäßig alle Folgebausteine: belastbare Freigabe, risikoorientierte Prüfung, strukturierte Überwachung, dokumentierte menschliche Aufsicht und saubere Governance. Kommt es später zu einer Prüfung oder zu einem Konflikt, kann das Unternehmen dann nicht mehr plausibel nachweisen, dass es die Anwendung im richtigen Rechtsrahmen betrieben hat.

Die Erfahrung zeigt deshalb: Nicht die fehlende Akte ist das Kernproblem, sondern die fehlende initiale Bewertung. Wer Hochrisiko-KI früh erkennt, kann Dokumentation, Kontrolle und Zuständigkeiten geordnet aufbauen. Wer sie erst spät erkennt, muss fast immer rückwirkend strukturieren – und genau das ist im Streitfall regelmäßig unzureichend.

Warum Mandanten mich mit der Hochrisiko-Einstufung von KI-Systemen beauftragen

Die Hochrisiko-Frage ist für Unternehmen meist die juristisch schwierigste Einzelentscheidung im gesamten AI-Act-Regime. Sie lässt sich weder technisch noch organisatorisch noch vertraglich isoliert beantworten. Erforderlich ist eine rechtliche Gesamtbewertung des konkreten Einsatzes.

Genau hier liegt der anwaltliche Mehrwert. Ich prüfe nicht nur, ob ein System formal unter die Verordnung fällt, sondern ob seine tatsächliche Rolle im Unternehmen eine Hochrisiko-Einstufung auslöst, welche Pflichten daraus folgen und wie diese Pflichten in belastbare interne Strukturen übersetzt werden können.

Mandate entstehen an dieser Stelle oft deshalb, weil Unternehmen bereits KI-Systeme eingeführt haben, aber feststellen, dass ihre ursprüngliche Einordnung zu grob oder zu optimistisch war. Dann geht es darum, Prozesse nachzuschärfen, Einsatzkontexte neu zu bewerten, Entscheidungsnähe und Aufsicht realistisch zu analysieren und die Organisation so umzustellen, dass die Nutzung des Systems nicht zum späteren Aufsichts- oder Haftungsproblem wird.

Gerade bei HR-bezogenen Anwendungen, risikoorientierten Modellen, Monitoring-Systemen und datengetriebenen Vorbewertungstools ist diese Neubewertung häufig entscheidend.

Was Unternehmen jetzt konkret tun sollten

Unternehmen sollten Hochrisiko-KI nicht erst dann prüfen, wenn bereits Beschwerden, Betriebsratsfragen, Datenschutzprobleme oder interne Vorfälle aufgetreten sind. Die richtige Reihenfolge ist umgekehrt.

Zunächst müssen alle Systeme identifiziert werden, die in entscheidungsnahen oder sonst besonders sensiblen Bereichen eingesetzt werden. Für diese Systeme ist sodann nicht nur die technische Funktion, sondern insbesondere ihre Rolle im realen Ablauf zu analysieren. Entscheidend ist, ob der Output faktisch Personen bewertet, priorisiert, selektiert, Risiken strukturiert oder sicherheitsrelevante Prozesse beeinflusst.

Darauf aufbauend muss geklärt werden, ob der konkrete Einsatz in eine Hochrisiko-Kategorie hineinreicht und welche organisatorischen Folgerungen daraus zu ziehen sind. Dazu gehören Zuständigkeiten, Freigaben, Dokumentationsanforderungen, Aufsichtsmechanismen und eine real funktionierende menschliche Kontrolle.

Wenn Sie ein konkretes System rechtlich auf Hochrisiko-Relevanz prüfen lassen möchten oder unsicher sind, ob Ihre bestehende Einordnung belastbar ist, können Sie mich direkt kontaktieren: 0160 9955 5525 oder über hortmannlaw.com/contact

Großes FAQ: Hochrisiko-KI im Unternehmen richtig einstufen

Was bedeutet Hochrisiko-KI rechtlich?
Hochrisiko-KI ist keine technische Qualitätsstufe, sondern eine regulatorische Kategorie. Maßgeblich ist, ob das System in einem besonders sensiblen Einsatzkontext verwendet wird und deshalb einem verdichteten Pflichtenkreis unterliegt.

Ist jede leistungsfähige KI automatisch Hochrisiko-KI?
Nein. Technische Leistungsfähigkeit allein entscheidet nicht. Ausschlaggebend ist der konkrete Einsatz und seine rechtliche Relevanz.

Welche Unternehmensbereiche sind besonders hochrisikoanfällig?
Besonders sensibel sind typischerweise Personalprozesse, risikoorientierte Bewertungs- oder Scoring-Kontexte, Finanzanwendungen sowie sicherheits- oder infrastrukturbedeutsame Einsatzfelder.

Reicht menschliche Endkontrolle aus, um Hochrisiko-Folgen zu vermeiden?
Nicht automatisch. Entscheidend ist, ob die menschliche Kontrolle real, eigenständig und substantiell ausgeübt wird oder ob der Systemoutput faktisch nur übernommen wird.

Muss die Hochrisiko-Einstufung produktbezogen oder prozessbezogen erfolgen?
Maßgeblich ist der konkrete Einsatz im Prozess. Dasselbe Tool kann je nach Nutzung rechtlich unterschiedlich zu bewerten sein.

Kann ein Anbieter die Hochrisiko-Frage verbindlich für das Unternehmen beantworten?
Nein. Anbieterinformationen sind hilfreich, ersetzen aber nicht die eigene rechtliche Bewertung des konkreten Einsatzes im Unternehmen.

Welche Folgen hat eine falsche Hochrisiko-Einstufung?
Eine fehlerhafte Einordnung kann dazu führen, dass Risikomanagement, Dokumentation, Aufsicht und weitere Pflichten nicht oder nicht ausreichend umgesetzt werden. Das schafft erhebliche Compliance- und Haftungsrisiken.

Sind HR-Systeme besonders kritisch?
Ja. Systeme, die bei Auswahl, Bewertung oder Strukturierung personalbezogener Entscheidungen eingesetzt werden, sind besonders sorgfältig zu prüfen.

Wann sollte ein Unternehmen eine Neubewertung vornehmen?
Immer dann, wenn sich Einsatzkontext, Funktionsumfang, Integrationen oder Entscheidungsnähe eines Systems wesentlich verändern.

Wann sollte ein Anwalt für die Hochrisiko-Prüfung eingeschaltet werden?
Möglichst früh – insbesondere vor breiter Einführung oder bei Unsicherheit über entscheidungsnahe, personenbezogene oder sicherheitsrelevante Einsatzfelder.

Fazit: Nicht die KI als solche ist das Problem, sondern ihre rechtliche Einordnung im sensiblen Kontext

Für Unternehmen liegt der Schwerpunkt des AI Act nicht nur in der allgemeinen Regulierung von KI, sondern in der zutreffenden Identifikation derjenigen Anwendungen, bei denen der Rechtsrahmen deutlich strenger wird. Genau das ist die Hochrisiko-Frage.

Sie entscheidet darüber, ob ein Unternehmen mit überschaubaren Vorgaben arbeitet oder ein umfassendes Regime aus Risikomanagement, Dokumentation, Aufsicht und organisatorischer Kontrolle erfüllen muss. Wer diese Schwelle falsch beurteilt, verkennt regelmäßig nicht nur einzelne Pflichten, sondern die gesamte Struktur der rechtssicheren Nutzung.

Wenn Sie prüfen möchten, ob ein konkretes KI-System in Ihrem Unternehmen bereits als Hochrisiko-KI zu behandeln ist oder ob Ihre bestehende Einordnung tragfähig ist, können Sie mich direkt kontaktieren – telefonisch unter 0160 9955 5525 oder über hortmannlaw.com/contact

‍

AI Act & KI-Recht – Leitfäden im Überblick

Die folgenden Beiträge bilden eine geschlossene Struktur zum AI Act – von der Einordnung einzelner KI-Systeme über Hochrisiko-Klassifizierung und Datenschutz bis hin zu Haftung, Bußgeldern und spezifischen Fragestellungen im Bereich Krypto-Betrug und KI-gestützter Täuschung.

1. Grundlagen der AI-Act-Umsetzung

AI Act Anwalt: KI im Unternehmen rechtssicher umsetzen
https://www.hortmannlaw.com/articles/ai-act-anwalt-unternehmen-ki-umsetzung-probleme
Ein Überblick über die praktischen Umsetzungsprobleme des AI Act im Unternehmen: Governance, Dokumentation, Zuständigkeiten und organisatorische Anforderungen.

AI Act Anwalt: Wann ist KI überhaupt reguliert?
https://www.hortmannlaw.com/articles/ai-act-anwalt-wann-ist-ki-reguliert
Die zentrale Vorfrage: Wann fällt eine Softwarelösung unter den AI Act – und wann nicht? Maßgeblich für alle weiteren Pflichten.

2. Hochrisiko-KI und regulatorische Anforderungen

AI Act Anwalt: KI und DSGVO im Unternehmen
https://www.hortmannlaw.com/articles/ai-act-anwalt-dsgvo-ki-unternehmen
Zusammenspiel von AI Act und DSGVO: Datenverarbeitung, Transparenzpflichten und Grenzen automatisierter Entscheidungen.

AI Act Anwalt: Haftung, Bußgeld und KI-Governance
https://www.hortmannlaw.com/articles/ai-act-anwalt-haftung-bussgeld-ki-governance
Haftungsrisiken, Organisationspflichten und Bußgeldrahmen. Warum KI-Governance zwingend auf Leitungsebene verankert werden muss.

3. Krypto-Betrug, Love Scam und KI

AI Act Anwalt: Einfluss auf Krypto Betrug, Love Scam und Romance Scam
https://www.hortmannlaw.com/articles/ai-act-anwalt-krypto-betrug-love-scam-romance-scam
Einordnung des AI Act im Kontext klassischer Betrugsdelikte. Der Einfluss ist mittelbar, aber strukturell relevant.

AI Act Anwalt: Manipulative KI bei Krypto Betrug und Love Scam
https://www.hortmannlaw.com/articles/ai-act-anwalt-manipulative-ki-krypto-betrug-love-scam-deepfakes
Deepfakes, automatisierte Kommunikation und gezielte Täuschung: Wann KI-gestützte Manipulation unter den AI Act fällt.

AI Act Anwalt: Krypto Betrug, Finanz-Compliance und Hochrisiko-KI
https://www.hortmannlaw.com/articles/ai-act-anwalt-krypto-betrug-finanz-compliance-hochrisiko-ki
Bedeutung des AI Act für Banken, Finanzinstitute und Krypto-nahe Systeme: Monitoring, Betrugsprävention und regulatorische Pflichten.

‍