Die neue KI-Verordnung: Was ist zu beachten? – Teil 1

Typische Einsatzfelder für KI-Praktiken in der Gesundheits- und Sozialwirtschaft

In der Gesundheits- und Sozialwirtschaft gibt es eine Vielzahl von Anwendungsmöglichkeiten für KI-Technologien, die dazu beitragen können, Prozesse zu optimieren, soziale Dienstleistungen zu personalisieren und Chancen für benachteiligte Gruppen zu verbessern, zum Beispiel:

• Telemedizin, prädiktive Analyse von Gesundheitsrisiken, Diagnostik
• assistive Technologien für Menschen mit Behinderungen (Barrierefreiheit durch Spracherkennung, Lernhilfe, Pflege-Robotik u. Ä.)
• psychologische Unterstützung durch Emotionserkennung und Therapieassistenz
• Optimierung von Verwaltungsprozessen (Bedarfsplanung sozialer Dienste, Fremdsprachenübersetzung, Arbeitsmarktintegration durch „Jobmatching“ per Qualifikationsanalyse u. Ä.)
   

KI-Praktiken: risikoorientierte Differenzierung 

Ein wesentlicher Aspekt der KI-VO ist ihr risikobasierter Ansatz, der darauf abzielt, KI-Anwendungen anhand ihres potenziellen Risikos für Einzelpersonen und die Gesellschaft zu kategorisieren. Die Verordnung klassifiziert drei wesentliche Hauptkategorien:

1. KI-Praktiken mit geringem Risiko: Diese Kategorie betrifft KI-Anwendungen, die nur ein geringes Risiko für die Gesellschaft darstellen. Diese können unter Beachtung einer allgemeinen Transparenzpflicht (d. h. Hinweise auf die Verwendung von KI) weitestgehend uneingeschränkt eingesetzt werden (z. B. Chatbots).

2. KI-Praktiken mit hohem Risiko: Hierunter fallen KI-Anwendungen, die in Bereichen eingesetzt werden, in denen Fehler schwerwiegende Folgen haben könnten, zum Beispiel bei

• der biometrischen Kategorisierung und Emotionserkennung,
• Not- und Rettungsdiensten (Klassifizierung von Einsatz-Priorisierung),
• der Zugänglichkeit und Inanspruchnahme öffentlicher Dienste und Leistungen,
• der Bewertung von Lernentwicklungen bzw. Feststellung von Qualifikationen für den Zugang zu Bildungsangeboten,
• Personalprozessen (Arbeitsbedingungen und Arbeitsverträge),
• der Polizeiarbeit (Strafverfolgung, Grenzsicherung, Asyl) und der Rechtspflege (Justiz-, Ermittlungs- und Auslegungssachverhalte sowie demokratische Prozesse),
• Bonitätsbewertungen bzw. Preisbildungen (Kreditwürdigkeitsprüfungen, Lebens- und Kranken-Versicherungen)

Einige dieser Praktiken betreffen konkret die Sozialwirtschaft und sind daher besonders hervorzuheben.

3. Verbotene KI-Praktiken:
Diese werden als besonders gefährlich eingestuft und betreffen unter anderem Vorgehensweisen zur Verhaltensbeeinflussung oder zur Beeinträchtigung schutzbedürftiger Gruppen. Beispiele hierfür sind das „Social Scoring“ (d. h. die Bewertung von erwünschtem bzw. unerwünschtem Verhalten) oder die biometrische Echtzeit-Fernidentifizierung; Art.5 KI-VO enthält eine abschließende Auflistung verbotener KI-Praktiken.
 

Zentrale Regelungen der Verordnung

Die KI-VO enthält mehrere Schlüsselbestimmungen, die erhebliche Auswirkungen auf die Nutzung und Entwicklung von KI in Europa haben:

•  Anforderungen für Hochrisiko-KI-Systeme: Solche KI-Anwendungen müssen umfassende Tests durchlaufen, um ihre Sicherheit und Zuverlässigkeit zu gewährleisten. Unternehmen sind verpflichtet, detaillierte Dokumentationen zu führen und menschliche und hierfür qualifizierte Aufsicht sicherzustellen.
• Transparenzpflichten: Bereits für Anwendungen mit geringem Risiko bestehen Anforderungen an die Transparenz. Die Nutzer müssen darüber informiert werden, dass sie mit der KI-Anwendung interagieren, und in bestimmten Fällen ist eine menschliche Überprüfung erforderlich.
• Förderung von Innovationen: Um die Wettbewerbsfähigkeit von kleinen und mittleren Unternehmen (KMU) zu unterstützen, sieht die Verordnung die Einrichtung von sog. Regulierungs-Sandkästen vor. In diesen können Unternehmen KI-Technologien unter kontrollierten Bedingungen testen. 
   

Enge Verzahnung mit dem Datenschutz

Die KI-VO und der Datenschutz sind insofern miteinander verknüpft, als KI-Technologien in vielen Fällen personenbezogene Daten verarbeiten. Die KI-VO verweist auf die Regelungen der Datenschutz-Grundverordnung (DS-GVO), d. h. neben der KI-VO sind die Grundsätze der Datenminimierung, Zweckbindung und Transparenz vollständig zu berücksichtigen. Insbesondere ist sicherzustellen, dass für die Verarbeitung eine Rechtsgrundlage (Einwilligung, Vertrag, berechtigtes Interesse etc.) gegeben ist.

Im Kontext der Sozial- und Gesundheitsbranche wird die Komplexität im Zusammenwirken beider Vorschriften noch dadurch erhöht, dass die Datenverarbeitung vor allem besondere Kategorien personenbezogener Daten (insbesondere Gesundheitsdaten, Art. 9 DS-GVO), betrifft, für die noch einmal strengere Vorgaben im Hinblick auf die vorgenannten Grundsätze gelten.
 

Erforderlichkeit einer Datenschutz-Folgenabschätzung

Für jedes Hochrisiko-KI-System ist jeweils eine Risikobewertung erforderlich, welche auch die potenziellen Auswirkungen auf den Datenschutz umfasst. In zahlreichen Fällen wird in diesem Zusammenhang pro Anwendung eine Datenschutz-Folgenabschätzung durchzuführen sein, um potenzielle Risiken für die Rechte und Freiheiten der betroffenen Personen zu identifizieren und geeignete Maßnahmen zur Minimierung der Risiken zu ergreifen.

Darüber hinaus legen sowohl die KI-VO als auch die DS-GVO besonderen Wert auf die menschliche Aufsicht bei hochriskanten KI-Anwendungen. Die manuelle Validierung von KI-basierten Entscheidungen ist zwingend vorgesehen und es gilt ein grundsätzliches Verbot sogenannter automatisierter Letztentscheidungen (Anhang III der KI-VO i. V. m. mit Art. 22 Abs. 1 DS-GVO). Dabei geht es darum, dass eine betroffene Person das Recht hat, „nicht einer ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.“ (Art. 22 Abs. 1 DS-GVO) Ein vergleichbares und sehr eindrückliches Referenzbeispiel hierfür ist das „Schufa-Urteil“ des EuGH vom 7. Dezember 2023 – C‑634/21. Aufgrund dieser Verzahnung der beiden EU-Verordnungen halten wir eine Kopplung der Funktion des KI-Beauftragten mit der des Datenschutzbeauftragten oder Datenschutzberaters für sehr sinnvoll.
 

Stufenweiser Geltungsbeginn der KI-VO

Da die KI-VO weitreichende und umfangreiche Anforderungen an die Einrichtung von KI-Anwendungen stellt, sind Schonfristen berücksichtigt worden (Art. 113 

KI-VO). Ab den folgenden Zeitpunkten gelten folgende Vorschriften:

•  2. Februar 2025: verbotene Praktiken
• 2. August 2025: KI-Modelle mit allgemeinem Verwendungszweck (Praxisleitfäden des Art. 56 KI-VO)
• 2. August 2026: vollumfängliche Geltung, auch für Hochrisiko-KI, und Sanktionen für Anbieter (Art. 99 und 101 KI-VO)
• 2. August 2027: Einstufungsvorschriften für Hochrisiko-KI-Systeme (Art. 6 KI-VO)
   

Durchsetzung und Sanktionen

Die Durchsetzung der KI-VO obliegt den nationalen Behörden der EU-Mitgliedstaaten sowie einem neu eingerichteten Europäischen Ausschuss für Künstliche Intelligenz. Bei Verstößen durch Unternehmen gegen die Verordnung drohen erhebliche Geldbußen von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist. Diese Sanktionen sind als wirksames Instrument zu betrachten, um sicherzustellen, dass Unternehmen die neuen Anforderungen ernst nehmen und die entsprechenden Vorschriften einhalten.
 

Ausblick

In der nächsten Ausgabe der Solidaris Information befassen wir uns damit, wer als Anbieter und Betreiber von KI gilt und welche Pflichten einzuhalten sind – der Grat zwischen der Rolle eines Betreibers und der Rolle eines Anbieters ist sehr schmal. Insbesondere klären wir, warum die Benennung eines KI-Beauftragten bei langfristigen KI-Projekten sinnvoll ist und welche konkreten Anforderungen an den Betrieb einer Hochrisiko-KI-Anwendung gestellt werden.
 

Praxis-Hinweis

Da es sich um eine sehr komplexe und zukunftsträchtige Materie handelt, empfehlen wir, eine baldige KI-Bestandsaufnahme (aller geplanten bzw. bereits implementierten Anwendungen) im Sinne einer Risikobewertung durch ein KI-Projektmanagement unter Einbeziehung des Datenschutzes, der IT sowie der Informationssicherheit durchzuführen. Diese Inventarisierung sollte bereits zum 2. Februar 2025 abgeschlossen sein, da ab diesem Zeitpunkt verbotene KI-Praktiken nicht mehr eingesetzt werden dürfen. 

Bei der Feststellung von Hochrisiko-KI-Anwendungen sollte anschließend eine intensive Auseinandersetzung mit dem Pflichtenkatalog des Art. 26 KI-VO stattfinden und dieser konsequent bei der Projektplanung, -steuerung, und -überwachung der jeweils betroffenen KI-Anwendungen berücksichtigt werden. Aufgrund der Komplexität dieses Themas empfehlen wir, bei langfristigen KI-Projekten einen entsprechend ausgebildeten KI-Beauftragten im Unternehmen oder der Organisation zu benennen.