Betreiber sind nach Art. 3 Nr. 4 KI-VO natürliche oder juristische Personen, Behörden, Einrichtungen oder sonstige Stellen, die ein KI-System in eigener Verantwortung verwenden, es sei denn, dass KI-System wird im Rahmen der persönlichen nichtberuflichen Tätigkeit verwendet. Welche KI-Systeme als Hochrisiko einzustufen sind, ergibt sich aus Art. 6 Abs. 1 bis 3 KI-VO. Die für die Gesundheits- und Sozialwirtschaft wichtigsten Fälle sind in Art. 6 Abs. 1 i. V. m. Anhang I und Art. 6 Abs. 2 i. V. m. Anhang III KI-VO geregelt. Als Hochrisiko-KI-Systeme sind demnach insbesondere KI-Systeme anzusehen,
- die in Medizinprodukten eingesetzt werden oder selbst solche sind.
- die im Rahmen der allgemeinen oder beruflichen Bildung eingesetzt werden und dort zur Feststellung des Zugangs oder zur Bewertung von Lernergebnissen dienen.
- die für die Einstellung oder Auswahl natürlicher Personen verwendet werden sollen, insbesondere um Bewerbungen zu sichten und Bewerber zu bewerten.
- die dazu verwendet werden, Entscheidungen über die Bedingungen, die Beförderung oder die Beendigung des Arbeitsverhältnisses zu treffen oder die Leistung und das Verhalten von Personen in einem solchen Arbeitsverhältnis zu überwachen und zu beurteilen.
- die dazu eingesetzt werden, um zu beurteilen, ob natürlich Personen Anspruch auf grundlegende öffentliche Unterstützungsleistungen und -dienste einschließlich Gesundheitsdiensten haben und ob entsprechende Leistungen zu entziehen sind.
- die dazu eingesetzt werden, Notrufe von Personen zu klassifizieren oder den Einsatz von Notfall- und Rettungsdiensten zu priorisieren, sowie Systeme zur Patienteneinteilung bei der Notfallversorgung (Triage).
Pflichten und Maßnahmen im Überblick
Hochrisiko-KI-Systeme bergen – wie der Name schon sagt – besondere Risiken für die Personen, die mit dem KI-System in Berührung kommen. Um diese Risiken zu reduzieren, hat der Verordnungsgeber den Betreibern von Hochrisiko-KI-Systemen eine Reihe von Pflichten auferlegt:
Durchführung einer Bestandsaufnahme der KI-Systeme/Kategorisierung (Art. 6, 7, 11 KI-VO)
Die Bestandsaufnahme wird nicht explizit als eigene Pflicht für Betreiber aufgeführt, sondern wird vielmehr als implizite Pflicht vorausgesetzt. Betreiber müssen bereits vor dem Einsatz eines KI-Systems feststellen, in welche Kategorien das System einzuordnen ist. Davon ist auch der einzuhaltende Pflichtenkatalog abhängig. Daher empfiehlt es sich, frühzeitig eine Kategorisierung aller bestehenden und geplanten KI-Systeme vorzunehmen. Eine Bestandsaufnahme mit folgenden Inhalten kann dabei eine wertvolle Unterstützung darstellen:
- Funktion des KI-Systems: Klärung, wofür das System eingesetzt wird, wie es funktioniert und welche Ergebnisse es liefern soll.
- Datenquellen: Analyse, welche Daten das System nutzt, wie diese erhoben werden und ob sie datenschutzkonform verarbeitet werden.
- Risiken identifizieren: Welche Systeme sind als Hochrisiko einzustufen?
- Konformität sicherstellen: Sind die eingesetzten KI-Systeme mit der KI-VO kompatibel?
- Effizient planen: Welche Systeme benötigen Anpassungen oder eine Datenschutz-Folgenabschätzung?
Durchführung einer Datenschutz-Folgenabschätzung (Art. 26 Abs. 9 KI-VO)
Beim Einsatz von Hochrisiko-KI-Systemen zur Verarbeitung von personenbezogenen Daten ist aufgrund der Nutzung einer neuen Technologie auch eine Datenschutz-Folgenabschätzung durchzuführen.
Technische und organisatorische Maßnahmen (Art. 26 Abs. 1 KI-VO)
Es sind technische und organisatorische Maßnahmen zu
ergreifen, um beim Betrieb der KI den durch die sogenannte Betriebsanleitung vorgegebenen Rahmen einzuhalten.
Einsatz von geschulten und qualifizierten Aufsichtspersonen (Art. 26 Abs. 2 KI-VO)
Ebenso wichtig ist, dass der Betreiber nur solchen Personen die Aufsicht über das KI-System überlassen darf, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen. Die Aufsichtsperson muss jederzeit in der Lage sein, die Kontrolle über das System auszuüben, insbesondere bei Entscheidungen, die wesentliche Auswirkungen auf Einzelpersonen haben. Daraus ergibt sich eine umfassende Pflicht zur Schulung der Personen, die das KI-System bedienen sollen.
Grundrechte-Folgenabschätzung für Hochrisiko-KI-Systeme (Art. 27 KI-VO)
Für manche Hochrisiko-Systeme ist sogar eine umfassende Grundrechte-Folgenabschätzung durchzuführen. Diese soll sicherstellen, dass das System keine Diskriminierung fördert, die Privatsphäre der Nutzer respektiert und anderen Grundrechten Rechnung trägt. Die wesentlichen Aspekte der Grundrechte-Folgenabschätzung sind:
- Wahrung der Privatsphäre: Da im Sozial- und Gesundheitssektor oft sensible Daten verarbeitet werden, muss sichergestellt werden, dass entsprechende Daten vor unbefugtem Zugriff oder Missbrauch geschützt sind. Die Abschätzung prüft, ob das System den Datenschutzvorgaben entspricht und ob die Verarbeitung der Daten minimiert und sicher gestaltet sind.
- Diskriminierungsfreiheit: Die KI darf keine voreingenommenen oder diskriminierenden Entscheidungen treffen, etwa aufgrund von Geschlecht, ethnischer Herkunft oder sozialem Status.
Monitoring und Reporting (Art. 26 Abs. 5, 73 KI-VO)
Betreiber sind verpflichtet, die Leistung der KI-Systeme fortlaufend zu überwachen. Bei Vorfällen oder Sicherheitslücken muss eine Meldung an den Anbieter bzw. die zuständigen Behörden erfolgen.
Profiling (Art. 22 DS-GVO)
Zusätzlich sind die Vorgaben des Datenschutzes zu beachten. KI-Systeme, die automatisiert personenbezogene Daten verarbeiten, dürfen nur im Ausnahmefall (u. a. zu Vertragszwecken oder nach Einwilligung, Art. 22 Abs. 2 DS-GVO) Entscheidungen fällen, die gegenüber dem Betroffenen zu rechtlichen Wirkungen führen. Hier genügt laut EuGH (Schufa-Urteil) bereits, dass die KI eine Entscheidung vorbereitet bzw. vorwegnimmt, also der Nutzer diese als maßgeblich übernimmt.
Praxis-Hinweis
Die Anforderungen der KI-VO sind komplex. Insbesondere die Identifikation von Hochrisiko-KI-Systemen und die Durchführung einer rechtssicheren Grundrechte-Folgenabschätzung erfordern spezialisierte Expertise. Analysieren Sie im Rahmen einer Bestandsaufnahme, welche KI-Systeme Ihre Einrichtung betreibt. Seit dem 2. Februar 2025 dürfen KI-Systeme, die ein unannehmbares Risiko darstellen, nicht mehr verwendet werden. Stellen Sie außerdem sicher, dass alle Mitarbeiter, die KI-Systeme verwenden, ein ausreichendes KI-Verständnis haben.
