Geltungsbereich und Risikoklassifizierung
Die KI-Verordnung gilt für Anbieter, Betreiber und Nutzer von KI-Systemen, die innerhalb der Europäischen Union (EU) in Verkehr gebracht oder verwendet werden – unabhängig davon, ob sie innerhalb oder außerhalb der EU entwickelt wurden. Inhaltlich verfolgt die KI-Verordnung einen risikobasierten Ansatz. Es wird nicht die Technologie KI als solche reguliert, sondern wie sie in bestimmten Situationen eingesetzt werden darf – je nachdem, wie groß das potenzielle Risiko für die Gesundheit oder die Rechte der Menschen ist. Hierzu werden KI-Systeme in vier Risikostufen unterteilt:
- KI-Systeme ohne relevante Risiken (z. B. KI-gestützte Schreibassistenten) unterliegen keiner speziellen Regulierung;
- KI-Systeme mit begrenztem Risiko (z. B. Chatbots) unterliegen Transparenz- und Kennzeichnungspflichten hinsichtlich der Nutzung;
- KI-Systeme mit hohem Risiko (z. B. KI-gestützte Medizinprodukte) unterliegen strengen Anforderungen an Sicherheit, Transparenz und menschlicher Kontrolle;
- KI-Systeme mit unannehmbarem Risiko (z. B. biometrische Echtzeit-Identifizierung im öffentlichen Raum), die Grundrechte oder Sicherheit massiv gefährden, sind verboten.
Grundlegende Pflichten für Betreiber medizinischer Hochrisiko-KI-Systeme
Für den Gesundheitsbereich besonders relevant sind die sogenannten Hochrisiko-KI-Systeme, zum Beispiel KI-gestützte Diagnostiktools, robotische Assistenzsysteme oder Entscheidungsunterstützungssysteme, wenn sie eine sicherheitsrelevante Komponente eines regulierten Medizinprodukts sind. Diese unterliegen besonders strengen Anforderungen an Transparenz, detaillierte Dokumentation und menschliche Aufsicht. Einrichtungen, die solche Systeme einsetzen, gelten als Betreiber im Sinne der KI-Verordnung – mit weitreichenden Pflichten, die über die bisherigen Anforderungen aus Datenschutz- und Medizinprodukterecht hinausgehen:
- Menschliche Aufsicht: In jeder Einrichtung muss die menschliche Aufsicht durch fachlich qualifiziertes Personal sichergestellt werden, das technische, klinische und ethische Kompetenz vereint. Dieses hat den Betrieb der KI-Systeme zu überwachen, Ergebnisse kritisch zu würdigen sowie das Recht und die Pflicht, KI-Systeme im Zweifel zu pausieren oder zu stoppen.
- Transparenz und Nachvollziehbarkeit: Auch bei komplexen, schwer durchschaubaren KI-Modellen, sogenannten Blackbox-Modellen, muss nachvollziehbar sein, wie Entscheidungen zustande kommen. Das medizinische Fachpersonal ist entsprechend zu schulen.
- Dokumentationspflichten: Eingriffe, Fehler oder Abweichungen im Betrieb von KI-Systemen sind lückenlos zu dokumentieren und gegebenenfalls zu melden.
- Patientenaufklärung: Patienten haben ein Recht darauf zu erfahren, wenn KI im Behandlungsprozess eingesetzt wird. Sie dürfen eine menschliche Überprüfung KI-gestützter Entscheidungen verlangen.
- Schulung und Qualifikation: Beschäftigte müssen ihre KI-Kompetenz nachweisen. Regelmäßige Fortbildungen werden verpflichtend.
Rechtsfolgen bei Verstößen
Verstöße gegen die KI-Verordnung können erhebliche rechtliche und finanzielle Konsequenzen nach sich ziehen. Die KI-Verordnung verlangt ausdrücklich, dass Mitgliedstaaten effektive, verhältnismäßige und abschreckende Sanktionen etablieren und dabei die wirtschaftlichen Möglichkeiten von KMU und Start-ups berücksichtigen. Neben Geldbußen, die beispielsweise bei Verstößen gegen Betreiber- und Transparenzpflichten bis zu 15 Mio. Euro oder 3 % des weltweiten Jahresumsatzes betragen können, sind Verwarnungen, Anordnungen (z. B. Produktrückrufe, Nutzungsbeschränkungen) und Marktzugangsverbote möglich. Für Gesundheitseinrichtungen bergen Verstöße gegen das Regelwerk zudem Haftungsrisiken und die Gefahr von nachhaltigen Reputationsschäden.
Ergänzende nationale Regelungen und Zuständigkeiten
Die KI-Verordnung entfaltet in Deutschland unmittelbare Wirkung. Allerdings sieht sie ergänzende nationale Regelungen zu Zuständigkeiten sowie zur Konkretisierung von Bußgeldern und Überwachungsmechanismen vor. Daher hat das Bundesministerium für Digitales und Staatsmodernisierung Ende August 2025 einen ersten Referentenentwurf zur Umsetzung der KI-Verordnung veröffentlicht, der eine zentrale Rolle der Bundesnetzagentur mit folgenden Aufgaben vorsieht:
- Kontrolle der Konformität von KI-Systemen als Marktüberwachungsbehörde für alle Bereiche ohne spezialisierte Fachbehörden und Prüfung der Einhaltung der Anforderungen der KI-Verordnung;
- Einrichtung einer unabhängigen KI-Marktüberwachungskammer (UKIM) für besonders grundrechtsrelevante KI-Anwendungen;
- Aufbau eines Koordinierungs- und Kompetenzzentrums für die KI-Verordnung (KoKIVO) zur Unterstützung und Bündelung von KI-Expertise sowie zur Förderung von Innovationen, z. B. durch KI-Reallabore und Schulungen;
- zentrale Anlaufstelle für die EU-Kommission und nationale Behörden;
- Durchsetzung von Sanktionen durch Anordnung von Bußgeldern und anderen nicht monetären Maßnahmen;
- zentrale Beschwerdestelle für Bürger und Patienten.
Besondere Herausforderungen für Krankenhäuser und MVZ
Krankenhäuser und größere MVZ stehen vor der Herausforderung, ihre bestehenden Qualitätsmanagementsysteme zu erweitern und damit Strukturen und Prozesse an die neuen regulatorischen Anforderungen anzupassen. Der Einsatz von KI-Systemen in der Patientenversorgung erfordert eine enge Verzahnung zwischen medizinischer Leitung, IT-Abteilung, Datenschutzbeauftragten und Ethikkommissionen. Abhängig von der Größe der Einrichtung ist die Etablierung eines interdisziplinären Gremiums empfehlenswert, das die Einführung, Überwachung und Bewertung von KI-Anwendungen begleitet. Dieses sollte sowohl technische als auch klinische Expertise einbinden und regelmäßig über Risiken, Nutzen und etwaige Fehlfunktionen beraten. Zudem ist eine neue Fehler- und Diskussionskultur erforderlich: KI darf nicht als unfehlbare Entscheidungsinstanz betrachtet werden. Sie ist und bleibt ein Werkzeug, das stets unter ärztlicher Aufsicht und Verantwortung stehen muss. Unterlassene Kontrolle oder unzureichende Dokumentation können künftig haftungsrechtlich als Behandlungsfehler gewertet werden.
Besonderheiten für Arztpraxen
Auch kleinere Praxen, die KI-Systeme einsetzen – etwa zur Befundauswertung oder Terminsteuerung – unterliegen der KI-Verordnung. Zwar gelten für Systeme mit geringem Risiko (z. B. administrative Tools) weniger strenge Anforderungen. Doch auch hier sind Transparenz, Datenschutz und Schulung der Praxismitarbeiter zentrale Themen. Dabei können Checklisten als Orientierungshilfe dienen und den rechtskonformen Einsatz von KI erleichtern.
Ihr Fahrplan zur Umsetzung der KI-Verordnung
Die KI-Verordnung markiert einen Paradigmenwechsel: Sie verlagert den Fokus von technischer Machbarkeit hin zu ethischer, rechtlicher und klinischer Verantwortung. Für medizinische Einrichtungen bedeutet das: Prozesse, Strukturen und Kompetenzen müssen angepasst werden – nicht nur zur Einhaltung der Vorgaben der KI-Verordnung, sondern auch zur Stärkung des Vertrauens von Patienten und Mitarbeitern als Nutzer der KI-Systeme. Folgende Schritte helfen Ihnen bei der Umsetzung:
- Bestandsaufnahme: Verschaffen Sie sich einen Überblick, welche KI-Systeme bereits in Ihrer Einrichtung im Einsatz sind – z. B. in der Diagnostik, Verwaltung oder Patientenkommunikation.
- Risikoklassifizierung: Prüfen Sie, ob Ihre Systeme unter die Kategorie der Hochrisiko-KI fallen, um den Umfang der Pflichten nach der Verordnung festzulegen.
- Vertragliche Prüfung: Überprüfen Sie, ob die erforderlichen Vereinbarungen mit Anbietern von KI-Systemen vorliegen und Verantwortlichkeiten, Support, Haftung und Dokumentationspflichten klar geregelt sind.
- Patientenkommunikation: Informieren Sie Ihre Patienten über den Einsatz von KI in verständlicher, nachvollziehbarer und dokumentierter Art und Weise.
- Mitarbeiterschulung: Schulen Sie Ihre Mitarbeiter im sicheren und verantwortungsvollen Umgang mit KI-Systemen. Technisches Verständnis, rechtliche Sensibilität und ethisches Bewusstsein sind gefragt.
Praxis-Hinweis
Die Umsetzung der KI-Verordnung stellt medizinische Einrichtungen vor neue Herausforderungen, eröffnet aber zugleich auch große Chancen. Richtig eingesetzt, kann Künstliche Intelligenz die Patientenversorgung verbessern, Prozesse effizienter gestalten und das medizinische Personal entlasten. Sie unterstützt bei Diagnosen, optimiert Abläufe und schafft mehr Zeit für die Patientenversorgung. Zur Realisierung dieses Mehrwerts braucht es klare Strukturen, geschulte Teams und eine transparente Kommunikation. Die Verordnung liefert dafür den rechtlichen Rahmen. Jetzt liegt es an den Einrichtungen, diesen aktiv mit Leben zu füllen.
