Der EU AI Act und seine Anwendung im Rahmen der MDR

Auf EU-Ebene werden Medizinprodukte (einschließlich KI-Medizinprodukten) vor allem durch die MDR reguliert. Die MDR soll ein hohes Gesundheits- und Sicherheitsniveau von Medizinprodukten gewährleisten und zugleich Innovation fördern.

Hersteller sollten zunächst prüfen, ob ihre Software nach diesen Regeln die Kriterien für die Einstufung als Medizinprodukt erfüllt. Wird die Software als Medizinprodukt eingestuft, muss sie die MDR erfüllen.

1. Regulatorische Überschneidung zwischen dem EU-Gesetz über Künstliche Intelligenz (AIA) und der MDR

(1) Definition und Anwendungsbereich von KI-Systemen

Nach dem AIA ist ein KI-System „ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“.

Drei Kernkriterien – die alle erfüllt sein müssen – unterscheiden KI-Systeme von herkömmlicher einfacher Software oder Programmieransätzen:

1. Inferenzfähigkeit: kann auf Grundlage von Eingabeinformationen schlussfolgern und analysieren;

2. Autonomie: kann ohne ständiges menschliches Eingreifen arbeiten;

3. Anpassungsfähigkeit: kann seinen Betrieb an Umgebungsänderungen oder Datenrückmeldungen anpassen.

(2) Zwei Anwendungsszenarien von KI-Systemen

In der Praxis fallen KI-Systeme in zwei Hauptkategorien:

• Eigenständige Nutzung: Das System kann allein arbeiten und unterliegt nicht unmittelbar bestehenden Produktsicherheitsvorschriften;

• Als Komponente integriert: Das System dient als Produktkomponente, entweder physisch in das Produkt eingebettet (eingebettete Komponente) oder nicht physisch integriert, aber mit Kernfunktionen für das Produkt (nicht eingebettete Komponente).

(3) Wann eine Doppelregulierung gilt

Ob ein KI-System unter die Medizinprodukteregulierung fällt, hängt im Wesentlichen von seiner eigenen medizinischen Zweckbestimmung und Funktion ab:

1. Erfüllt die KI-Anwendung die Kriterien für die Einstufung als Medizinprodukt, muss sie die MDR strikt einhalten;

2. Erfüllt das System zudem die KI-Definition des AIA, unterliegt es zusätzlich dem AIA – also einer „Doppelregulierung“.

2. Wie die Risikoklassifizierung nach AIA und MDR zusammenwirken

(1) Grundsatz der unabhängigen Risikoklassifizierung

Es muss klar sein, dass die Risikoklassifizierung nach dem AIA die nach der MDR bestimmte Risikoklasse nicht verändert. Zwar folgen beide einer „risikobasierten“ Regulierungslogik (je höher das Risiko, desto strenger die Anforderungen), ihre Klassifizierungssysteme und Bewertungsdimensionen sind jedoch unabhängig und können einander weder ersetzen noch anpassen.

(2) Das Risikoklassifizierungssystem des AIA

Der AIA teilt KI-Systeme in vier Risikokategorien ein:

Darüber hinaus gelten für KI-Systeme mit allgemeinem Verwendungszweck (GPAI) besondere regulatorische Pflichten, die von drei Faktoren abhängen: ob das Modell quelloffen ist, von der Rechenleistung des Systems und von der Größe der Nutzerbasis.

(3) Anwendungsbereich von Hochrisikosystemen nach dem AIA

Nach Artikel 6 AIA werden Hochrisiko-KI-Systeme in zwei Gruppen unterteilt:

In Anhang III aufgeführte eigenständige KI-Systeme: Diese Systeme können allein arbeiten und sind ausdrücklich in der Hochrisikoliste enthalten;

Von Anhang I Abschnitt A erfasste KI-Systeme, im Einzelnen:

a. Systeme, die als Sicherheitskomponente eines Produkts verwendet werden sollen oder selbst Produkte sind, die unter die in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union fallen (etwa die MDR);

b. Systeme, die eine Sicherheitskomponente nach a. enthalten oder selbst Produkte nach a. sind und nach den Harmonisierungsrechtsvorschriften der Union vor dem Inverkehrbringen oder der Inbetriebnahme einer Konformitätsbewertung durch Dritte unterzogen werden müssen.

(4) Typische Fallbeispiele

Fall 1: MDSW, die selbst ein Produkt ist. Solche Medizinproduktesoftware (MDSW) hat eine eigene medizinische Zweckbestimmung und ist selbst ein KI-System – etwa Software zur automatischen Segmentierung von CT-Bildern für die Früherkennung einer bestimmten Krebsart. Hier ist das KI-System das zentrale Medizinprodukt und kann direkt für die Diagnose eingesetzt werden.

Fall 2: MDSW mit einer Sicherheitskomponente mit medizinischem Zweck. Das KI-System dient als sicherheitsfördernde Komponente, die den Betrieb eines (Hardware-)Medizinprodukts steuert oder beeinflusst und einen medizinischen Zweck hat. Beispiel Insulinpumpensystem mit Glukoseüberwachungssoftware: Der KI-Algorithmus analysiert kontinuierliche Glukosemessdaten, sagt Glukosetrends voraus und passt die Insulinabgabe an, um unerwünschte glykämische Ereignisse (wie Hypo- und Hyperglykämie) zu verhindern, und bietet so unmittelbar medizinische Sicherheit.

Fall 3: Software mit einer Sicherheitskomponente ohne medizinischen Zweck. Das KI-System dient als Sicherheitskomponente, die nur den sicheren Betrieb des Medizinprodukts gewährleistet, ohne unmittelbaren medizinischen Zweck – etwa ein KI-Überwachungssystem, das die Hardwareleistung eines Operationsroboters überwacht. Seine Funktion ist es, Zuverlässigkeit und Sicherheit des Robotersystems zu verbessern (etwa Überwachung der Präzision des Roboterarms und Vorhersage von Gerätefehlern), es ist aber nicht an medizinischen Entscheidungen (wie der OP-Planung) oder Behandlungsvorgängen (wie der Steuerung des Gewebeschnitts) beteiligt.

(5) Häufige Irrtümer bei der Risikoklassifizierung

Irrtum 1: Alle KI-Medizinprodukte erfordern nach der MDR eine Bewertung durch Dritte. Das stimmt nicht. Einige Medizinprodukte der Klasse I bleiben auch mit integrierten KI-Funktionen nach der MDR in Klasse I und erfordern keine Konformitätsbewertung durch Dritte.

So können manche KI-Medizinprodukte, die nur zur Unterstützung der Dokumentation dienen, von der Bewertung durch Dritte befreit sein, wenn ihr Risiko Klasse I nicht übersteigt.

Irrtum 2: KI-Medizinprodukte der Klasse I werden nach dem AIA nie als Hochrisiko eingestuft. Es gibt Ausnahmen:

Wird ein Medizinprodukt der Klasse I (z. B. nach Regel 11 MDR klassifiziert) durch integrierte KI-Funktionen riskanter, kann seine MDR-Klasse angehoben werden (z. B. auf Klasse IIa);

Bestimmte Arten von Medizinprodukten der Klasse I (etwa mit Messfunktion, steril geliefert oder wiederverwendbare chirurgische Instrumente) werden, wenn sie mit einem KI-System ausgestattet sind, nach dem AIA dennoch als Hochrisiko eingestuft, obwohl sie Klasse I sind, und müssen strengere Anforderungen erfüllen.

3. Entsprechung der Akteursrollen nach AIA und MDR

Die beiden zentralen Akteure im AIA sind Anbieter und Betreiber von KI-Systemen. Diese Rollenverteilung entspricht weitgehend den Kategorien der Wirtschaftsakteure nach der MDR, wie folgt:

4. Zusätzliche regulatorische Anforderungen an Hochrisiko-KI-Systeme

Der AIA stellt klar, dass ein einzelnes KI-System gleichzeitig mehreren Harmonisierungsrechtsvorschriften der Union unterliegen kann. Birgt ein Medizinprodukt mit KI-System Risiken, die von der MDR nicht vollständig abgedeckt werden (etwa algorithmische Verzerrungen oder Datensicherheitslücken), müssen AIA, MDR und weitere Vorschriften abgestimmt angewendet werden. Zur Vereinfachung können Hersteller von KI-Medizinprodukten die AIA-Anforderungen in ihre MDR-Einreichungsunterlagen integrieren und so „eine Einreichung, doppelte Compliance“ erreichen.

(1) Anforderungen an das Qualitätsmanagement (4.1)

Anbieter von Hochrisiko-KI-Systemen müssen schriftliche Compliance-Richtlinien, -Verfahren und -Anweisungen festlegen und pflegen, damit die Compliance über den gesamten Lebenszyklus des Systems nachvollziehbar und überprüfbar ist.

(2) Anforderungen an das Risikomanagement (4.2)

Entwicklung und Einsatz von KI-Systemen können mit einer Reihe besonderer Risiken verbunden sein, darunter Verzerrungen medizinischer Entscheidungen durch algorithmische Verzerrungen, Datenschutzverletzungen durch Datensicherheitslücken, Schwierigkeiten bei der Zuordnung von Verantwortung aufgrund mangelnder Systemtransparenz und Leistungsschwankungen durch fehlerhafte Modellaktualisierungen.

Nach Artikel 9 AIA müssen Anbieter ein eigenes Risikomanagementsystem „einrichten, anwenden, dokumentieren und aufrechterhalten“. Die Branche stützt sich derzeit weithin auf BS/AAMI 34971:2023 (Leitfaden zur Anwendung von ISO 14971 auf künstliche Intelligenz und maschinelles Lernen), der einen konkreten Weg aufzeigt, KI-Systeme in einen Risikomanagementrahmen nach ISO 14971 einzubinden.

(3) Anforderungen an Daten und Data Governance (4.3)

Artikel 10 AIA gehört zu den zentralen Compliance-Anforderungen an Hochrisiko-KI-Systeme. Seine Data-Governance-Maßnahmen müssen zusammen mit mehreren EU-Datenvorschriften umgesetzt werden und können nicht isoliert angewendet werden. Wichtige Vorschriften, mit denen abzustimmen ist:

Die Datenschutz-Grundverordnung (DSGVO): regelt Erhebung und Nutzung personenbezogener Daten;

Der Data Act: legt Regeln für Datenaustausch und -zugang fest;

Der Data Governance Act: schafft einen Rahmen für Data Governance;

Die künftige Verordnung über den europäischen Gesundheitsdatenraum (EHDS): spezielle Regulierung von Gesundheitsdaten.

(4) Anforderungen an das System zur Beobachtung nach dem Inverkehrbringen (4.4)

Zusätzlich zu den Artikeln 32, 61 und 84 MDR, den Anforderungen der Koordinierungsgruppe Medizinprodukte (MDCG) zu Marktüberwachung und Vigilanz sowie ISO/TR 20416 verlangt Artikel 72 AIA von Anbietern, aktiv und systematisch Daten zur Leistung des KI-Systems zu erheben (etwa Genauigkeit des Algorithmus und Betriebsstabilität).

Hersteller können die zusätzlichen AIA-Anforderungen an die Beobachtung nach dem Inverkehrbringen (PMS) in ihren bestehenden MDR-PMS-Rahmen integrieren und so doppelte Überwachungssysteme vermeiden.

(5) Anforderungen an die Meldung schwerwiegender Vorfälle und Fehlfunktionen (4.5)

1. Definition des schwerwiegenden Vorfalls

Der AIA definiert einen „schwerwiegenden Vorfall“ als „einen Vorfall oder eine Fehlfunktion eines KI-Systems, der bzw. die direkt oder indirekt eine der folgenden Folgen hat, gehabt haben könnte oder haben könnte“:

a. den Tod eines Menschen oder eine schwere Schädigung der Gesundheit eines Menschen;

b. eine schwere und unumkehrbare Störung der Verwaltung oder des Betriebs kritischer Infrastruktur;

c. die Verletzung von Pflichten aus dem Unionsrecht, die dem Schutz der Grundrechte dienen;

d. schwere Sach- oder Umweltschäden.

2. Meldefristen und Verfahren

Anbieter müssen den Marktüberwachungsbehörden des Mitgliedstaats, in dem der Vorfall eingetreten ist, Meldung erstatten; die Fristen hängen von der Schwere ab:

Allgemeine schwerwiegende Vorfälle: innerhalb von 15 Tagen, nachdem ein ursächlicher Zusammenhang zwischen KI-System und Vorfall festgestellt oder vermutet wurde;

Todesfall: „unverzüglich“ und spätestens 10 Tage nach Feststellung des Vorfalls;

Weitverbreitete Verstöße oder schwerwiegende Vorfälle mit Bezug zu kritischer Infrastruktur: „sofort“ und spätestens 2 Tage nach Feststellung des Vorfalls.

(6) Anforderungen an die technische Dokumentation (4.6)

Nach Artikel 11 AIA müssen Anbieter von Hochrisiko-KI-Systemen eine aktuelle technische Dokumentation erstellen und pflegen, die mindestens alle in Anhang IV AIA genannten Elemente enthält.

Anforderungen an Aufbewahrung und Bereitstellung:

Aufbewahrungsfrist: mindestens 10 Jahre nach dem Inverkehrbringen oder der Inbetriebnahme des Systems;

Bereitstellungspflicht: Die vollständige Dokumentation muss auf Anforderung der zuständigen nationalen Behörden unverzüglich vorgelegt werden.

Medizinproduktehersteller sollten ihre bestehende technische Dokumentation nach der MDR um die nach Anhang IV AIA erforderlichen Angaben ergänzen, damit die Dokumentation beide Verordnungen erfüllt.

(7) Produktanforderungen (4.7)

Die grundlegenden Sicherheits- und Leistungsanforderungen (GSPR) der MDR adressieren die besonderen Herausforderungen der KI-Technologie (etwa Modelldrift und algorithmische Black Boxes) nicht vollständig. Der AIA ergänzt daher spezifische Anforderungen an KI-Medizinprodukte mit dem Kernziel, Gesundheit, Sicherheit und Grundrechte der Menschen zu schützen und die Lücken der MDR bei der KI-Regulierung zu schließen.

(8) Anforderungen an die automatische Protokollierung (4.8)

Hochrisiko-KI-Systeme müssen so konzipiert sein, dass sie „Ereignisse automatisch aufzeichnen (Protokolle)“, und die Protokolle müssen die Erkennung von Risiken auf nationaler Ebene und wesentlicher Änderungen über den gesamten Lebenszyklus des Systems unterstützen.

Nach Artikel 12 AIA müssen Protokolle insbesondere drei Arten von Informationen erfassen:

a. Situationen im Verhalten des KI-Systems, die zu Risiken oder Schäden führen können, sowie wesentliche Änderungen des Systems;

b. Informationen zur Unterstützung der Beobachtung nach dem Inverkehrbringen, um den fortgesetzt sicheren Betrieb des Systems zu gewährleisten;

c. Informationen zur Überwachung des Systembetriebs, um zu überprüfen, dass es während seiner gesamten Betriebsdauer die Sicherheitsanforderungen erfüllt.

Beachten Sie: Die MDR enthält zwar klare Bestimmungen zu Marktüberwachung und Vigilanz, verlangt aber keine „automatische Protokollierung“. Diese Funktion ist für die langfristige Überwachung des Verhaltens von KI-Systemen (etwa Leistungsänderungen des Modells und anormaler Betrieb) unerlässlich und eine zentrale neue Anforderung des AIA.

(9) Anforderungen an die Konformitätserklärung (4.9)

Anbieter müssen für jedes Hochrisiko-KI-System eine EU-Konformitätserklärung ausstellen, die folgende Anforderungen erfüllt:

Form: maschinenlesbar und auf Papier oder elektronisch unterzeichnet;

Aufbewahrung: mindestens 10 Jahre nach dem Inverkehrbringen oder der Inbetriebnahme des Systems für die zuständigen nationalen Behörden bereitzuhalten;

Inhalt: muss alle in Anhang V AIA genannten Angaben enthalten (einschließlich einer Erklärung zur DSGVO-Konformität);

Integration: Für KI-Medizinprodukte erlaubt der AIA eine „einzige Konformitätserklärung“, die alle anwendbaren Rechtsvorschriften einschließlich AIA und MDR abdeckt.

(10) Anforderungen an die CE-Kennzeichnung (4.10)

Anbieter von KI-Systemen müssen die CE-Kennzeichnung am Medizinprodukt selbst, seiner Verpackung oder den Begleitunterlagen anbringen, zusammen mit der Kennnummer der für die Konformitätsbewertung zuständigen Benannten Stelle.

Bei KI-Medizinprodukten zeigt eine einzige CE-Kennzeichnung an, dass das Produkt sowohl den AIA als auch die MDR erfüllt; getrennte Kennzeichnungen sind nicht erforderlich.

5. Konformitätsbewertungswege

Der AIA erlaubt, dass bei Hochrisiko-KI-Systemen, die unter Harmonisierungsrechtsvorschriften der Union (etwa die MDR) fallen, die spezifischen AIA-Anforderungen in das bestehende Konformitätsbewertungsverfahren dieser Vorschriften integriert werden, ohne gesonderte AIA-Konformitätsbewertung.

(1) Grundsätze für die Wahl des Bewertungswegs

Die Wahl des Konformitätsbewertungswegs hängt im Wesentlichen von den für das Hochrisiko-KI-System geltenden Harmonisierungsrechtsvorschriften der Union ab. Keiner der folgenden Wege gilt für KI-Systeme, die nicht als Hochrisiko eingestuft sind.

(2) Der spezifische Weg für KI-Medizinprodukte

Von den vier Bewertungswegen ist Weg 4 der spezifische Compliance-Weg für Hochrisiko-KI-Medizinprodukte und muss folgende Anforderungen strikt erfüllen:

Bewertung gemäß Anhang I Abschnitt A;

Erfüllung der spezifischen Anforderungen an „KI-Prüfungen“ nach den Nummern 4.3, 4.4 und 4.5 von Anhang VII sowie Artikel 46 Absatz 5;

An der Bewertung muss eine Benannte Stelle beteiligt sein, um Konformität und Verbindlichkeit der Ergebnisse sicherzustellen.