Das Design klinischer Prüfungen ist der zentralste und anspruchsvollste Teil der Compliance für KI-gestützte Erkennungsprodukte in der EU. Die Kernanforderung lautet: Das Prüfdesign muss sowohl die Anforderungen an klinische Nachweise der Medizinprodukteverordnungen (MDR/IVDR) als auch die zusätzlichen Bestimmungen des EU-AI-Act (AIA) zu Algorithmentransparenz, Datenqualität und menschlicher Aufsicht erfüllen.
-
ISO 14155 verlangt, dass KI-Medizinproduktesoftware ihre analytische Validität (ob die Ausgabe für eine bestimmte Eingabe korrekt ist), ihre wissenschaftliche Validität (ob die Ausgabe mit dem beabsichtigten klinischen Zustand/physiologischen Zustand zusammenhängt) und ihre klinische Leistung (ob die Ausgabe einen klinisch bedeutsamen Zusammenhang ergibt) nachweist. -
Die in MEDDEV 2.7/1 Rev.4 festgelegte Kernlogik, der Prozessrahmen und die Grundprinzipien der klinischen Bewertung gelten uneingeschränkt für KI-gestützte Erkennungssoftware und bilden die Grundlage für den Aufbau der klinischen Evidenz und die Erstellung des klinischen Bewertungsberichts (CER).
Die drei zentralen Säulen klinischer Prüfungen für KI-gestützte Erkennungsprodukte: Kontrollgruppen, Statistik und Bewertungskennzahlen
1. Wissenschaftlich fundiertes Design der Kontrollgruppe: Das Kontrollgruppendesign ist der Kern der Validierung der KI-Genauigkeit. Üblicherweise vergleichen wir die KI-Ergebnisse mit dem klinischen
Goldstandard (z. B. pathologische Biopsie) oder einem aktiven Vergleich (ähnliche Produkte / manueller Ablauf). Drei häufig verwendete strenge
Designtypen sind unten dargestellt:
2. Strenge statistische Analyse und zentrale Bewertungskennzahlen
Drei Kernelemente für Zulassungseinreichungen: Data Governance, Transparenz und Erklärbarkeit sowie menschliche Aufsicht
Diese drei Elemente unterscheiden KI-Prüfungen klar von den Anforderungen an klinische Prüfungen herkömmlicher Medizinprodukte und bestimmen direkt die Compliance und den Beweiswert der Prüfung.
Sie sind gesetzliche Voraussetzungen im gesamten Designprozess klinischer Prüfungen für KI-gestützte Erkennungsprodukte und die Absicherung gegen KI-spezifische Risiken (algorithmische Verzerrung, Überanpassung, Black-Box-Entscheidungen, Leistungsdrift) sowie dafür, dass die klinischen Nachweise von der Benannten Stelle (NB) anerkannt werden.
1. Data Governance und Algorithmentransparenz
Prüfdaten ohne konforme Data Governance werden von der Benannten Stelle unmittelbar als ungültig eingestuft. Der AI Act verlangt, dass Daten über den gesamten Lebenszyklus – Training, Validierung, Test und klinische Prüfung – repräsentativ, hochwertig, frei von Verzerrungen und rückverfolgbar sind. Data Governance ist das einzige Instrument, um diese gesetzliche Anforderung zu erfüllen.
Die Transparenzanforderung an KI-Medizinprodukte bedeutet nicht, die algorithmische Black Box vollständig zu öffnen, sondern Erklärbarkeit im klinischen Kontext – Ärzte und Behörden sollen die Kernlogik von KI-Entscheidungen verstehen, die Unsicherheit von Entscheidungen erkennen und die Ursachen fehlerhafter Ergebnisse nachvollziehen können. Sie ist die Brücke zwischen der Leistung des KI-Algorithmus und dem regelkonformen klinischen Einsatz und eine verbindliche Anforderung des AI Act.
Transparenz und Erklärbarkeit prägen unmittelbar das Prozessdesign, die Endpunkte und die Risikokontrolllogik der Prüfung, nämlich:
-
Sie definieren den zentralen Mensch-KI-Interaktionsablauf der Prüfung (z. B. Heatmaps zur Läsionslokalisierung bei Bildgebungs-KI, Markierung wesentlicher diagnostischer Merkmale bei Pathologie-KI, Konfidenzintervalle für Diagnoseergebnisse und Warnhinweise bei unsicheren Ergebnissen);
-
Sie verankern die Compliance-Endpunkte und Validierungskennzahlen der Prüfung (z. B. das Verständnis der Ärzte für die Grundlage der KI-Entscheidungen, die Steigerung der diagnostischen Sicherheit der Ärzte durch die Erklärbarkeit der KI, die Genauigkeit der Warnhinweise bei unsicheren KI-Ergebnissen und die Überprüfungsquote der Ärzte auf Basis der KI-Erklärungen);
-
Sie unterstützen die Ursachenanalyse und Risikoanalyse unerwünschter Ereignisse in der Prüfung: Bei Fehldiagnosen, übersehenen Diagnosen oder anderen unerwünschten Ereignissen lassen sich anhand der Merkmalsgewichtungen, Entscheidungsgrundlagen und Konfidenzdaten der KI die Ursachen genau bestimmen (Algorithmusfehler / Datenrauschen / menschlicher Bedienfehler);
-
Sie validieren die klinische Anwendbarkeit der KI-Leistung (z. B. die Unterscheidung, ob der Algorithmus „klinisch anerkannte diagnostische Merkmale“ oder „Scheinkorrelationen in den Daten“ gelernt hat, um das Problem „hohe Genauigkeit im Labor, aber nutzlos in der Klinik“ zu vermeiden und sicherzustellen, dass die Prüfung die klinische Anwendbarkeit des Produkts tatsächlich belegt – der Hauptgrund für das Scheitern der meisten klinischen Prüfungen von KI-Produkten).
2. Menschliche Aufsicht
Menschliche Aufsicht ist eine unumstößliche Regel der EU-Regulierung medizinischer KI. KI-gestützte Erkennungsprodukte dürfen nur als Hilfsmittel für Ärzte eingesetzt werden und dürfen Ärzte niemals bei der endgültigen klinischen Entscheidung ersetzen; dies ist die Grundlogik des Designs klinischer Prüfungen. Menschliche Aufsicht zieht sich durch das gesamte Prüfdesign und bestimmt direkt Designtyp, zentrale Endpunkte und Beweiswert der Prüfung – und damit, ob die Prüfung aus Compliance-Sicht erfolgreich ist oder scheitert.
Zusammenfassend erfordert der Aufbau eines klinischen Prüfsystems, das beide Regelwerke erfüllt, dass Sie:
-
die doppelte Zuständigkeit nach MDR und AI Act klären sowie die Risikoklassifizierung und die spezifische Compliance für Hochrisiko-KI abschließen -
ISO 14155 und MEDDEV 2.7/1 anwenden, um Prüfdesign und klinischen Bewertungsprozess zu standardisieren -
Kontrollgruppen wissenschaftlich wählen (z. B. MRMC, Multi-Reader-Multi-Case) und einen detaillierten Statistikplan sowie Bewertungskennzahlen erstellen -
KI-spezifische Merkmale berücksichtigen: ein solides Data-Governance-System aufbauen, Algorithmentransparenz sicherstellen und wirksame Mechanismen der menschlichen Aufsicht gestalten.
In den nächsten Ausgaben unseres WeChat-Kanals erläutern wir die konkreten Inhalte und Schritte des Designs klinischer Prüfungen für ein KI-gestütztes Erkennungsprodukt: „Software zur bildgestützten Diagnose für elektronische Nasopharyngolaryngoskope“.
Dies ist eine Reihe von Fachartikeln, die Vorschriften und Normen von FDA, NMPA, GMP, CE MDR/IVDR und MDSAP vorstellt.
Everbiz teilt gern Fachwissen zu Medizinprodukten mit Kunden aus der Branche und hofft, dass Ihnen unsere umfassende Praxiserfahrung in Qualitätssystemen und Produktregistrierung hilft.