Künstliche Intelligenz. Diagnose mit KI – wann bin ich haftbar?
Spätestens seit sich das Sprachmodell ChatGPT z.B. bei der Erstellung von Arztbriefen immer größerer Beliebtheit erfreut, ist Künstliche Intelligenz (KI) auch bei Medizinerinnen und Medizinern in aller Munde, und das in nahezu jedem Fachgebiet. Insbesondere KI-basierte Bilderkennungssysteme sind in bestimmten Bereichen der bildgebenden Diagnostik auf dem Vormarsch. Diagnose-KI könnte hier bald ausdrücklich empfohlen oder sogar gefordert werden und zum Facharztstandard werden.
Die Besonderheit von Diagnose-KI besteht darin, dass diese – anders als andere Medizinprodukte wie z.B. ein Blutdruckgemessgerät oder ein CT– nicht nur etwas misst oder darstellt und Parameter für die ärztliche Befundung liefert, sondern das Ergebnis ihrer Erhebung mit Daten abgleicht und dann auf dieser Grundlage auch noch gleich einen echten, therapieleitenden Befund generiert bzw. vorschlägt. Bei all den Lobgesängen auf das medizinische Potential von KI stellt sich aber die Frage: Machen sich Ärzt*innen nach aktueller Rechtslage schadensersatzpflichtig oder gar strafbar, wenn ihre Patient*innen infolge des Einsatzes einer KI-basierten Diagnosesoftware einen Schaden erleiden? Und was gilt umgekehrt, wenn sie auf den unterstützenden Einsatz von KI verzichten?
Zunächst einmal die gute Nachricht: Übernehmen Ärzt*innen einen von der KI generierten falschen Befund, haften sie nicht für „fremde“ Fehler der KI, sondern nur für eigene (Sorgfalts-)Pflichtverletzungen beim Einsatz von KI. Gleiches gilt auch für die strafrechtliche Verantwortung, welche stets ein Individualverschulden voraussetzt. Aber wann liegt eine solche eigene Pflichtverletzung vor? Einfach gelagert ist zunächst der Fall eines Bedienungsfehlers. Hier können die allgemeine Grundsätze zum Einsatz medizintechnischer Geräte übertragen werden. Demnach ist eine regelmäßige Wartung, Überwachung der Funktionstüchtigkeit, Beachtung von Bedienungsanleitungen etc. zu fordern. Ärzt*innen, die KI-Software anschaffen und verwenden, müssen also im Umgang hiermit geschult sein. Sind sie dies nicht und versäumen sie es z.B. Updates, Patches oder Bugfixes zu installieren und generiert die KI deshalb unzutreffende Befunde, liegt eine Sorgfaltspflichtverletzung vor. Im Schadensfall kann dies eine Haftung begründen. Das Gleiche gilt, wenn Ärzt*innen der Diagnose-KI Bildbefunde in schlechter Qualität präsentieren und die KI deswegen falsche Vorschläge generiert, genauso, wie wenn ChatGPT versehentlich mit unzutreffenden anamnestischem Angaben („Prompts“) gespeist wird und deshalb der KI-gestützte und verwendete Arztbrief inhaltlich falsch ist. Schwieriger ist die Frage nach der juristischen Verantwortung, wenn Ärzt*innen auf von ihnen korrekt eingesetzte KI „hören“. Denn es verbleibt ein im maschinellen Lernen angelegtes Risiko, dass die von der KI produzierten Resultate falsch sind.
Beispiel: Ein Dermatologe lässt die bei einer Patientin angefertigte Bildaufnahme eines auffälligen Hautareals von KI-Diagnosesoftware befunden. Die Software schließt ein Malignom aus, der Hautarzt übernimmt den Befund ungeprüft und gibt seiner Patientin Entwarnung. Als Monate später nun doch ein Hauttumor diagnostiziert wird, hat dieser bereits gestreut und die Patientin stirbt. Eine Sachverständige kommt zum Ergebnis, dass die Bildaufnahme klare Hinweise auf ein Malignom lieferte, dass deshalb der KI-Befund falsch war und die Patientin infolge der Therapieverzögerung verstorben ist.
Schadensersatzpflichtig ist bzw. wegen fahrlässiger Tötung strafbar gemacht hat sich der Dermatologe, wenn ihm infolge der „blinden“ Übernahme des falschen KI-Befunds ein Diagnosefehler vorzuwerfen ist, weil er damit gegen den dermatologischen Facharztstandard verstoßen hat.
Haftungsrechtlich entscheidend ist, ob der Einsatz von KI zum Zeitpunkt der Behandlung noch Neulandmethode oder bereits Standard war.
Einmal unterstellt, der Einsatz der Diagnose-KI hätte sich zum Zeitpunkt der Untersuchung bereits als Standard etabliert, indem sie
• als Medizinprodukt mit CE gekennzeichnet ist
• sich in der Erprobung bewährt hatte
• in Leitlinien und Empfehlungen der einschlägigen Fachgesellschaft vorgeschlagen wird
• in der Praxis breit – und nicht nur in der Forschung oder an einzelnen Unikliniken–- angewandt wird:
Durfte sich der Hautarzt dann ohne Kontrolle auf die Richtigkeit des KI-Befunds verlassen? Zunächst einmal dürfte bereits der Grundsatz der persönlichen Leistungserbringung dagegen sprechen. Denn der Kernbereich ärztlichen Handelns, also auch die Diagnosestellung, ist grundsätzlich nicht an Nicht-Ärzt*innen delegierbar. Also auch nicht an KI-Software – zumal KI eigene, nicht-ärztliche Vorschläge generiert.
Zu keinem anderen Ergebnis führt der sog. Vertrauensgrundsatz: Ein Arzt darf sich zwar darauf verlassen, dass sich eine konsiliarisch hinzugezogene oder mit behandelnde Kollegin eines anderen Fachs sorgfältig verhält und für ihn insofern grundsätzlich keine Pflicht zur Überprüfung besteht. Diese Erkenntnis kann aber schon deshalb nicht auf die KI übertragen werden, da es sich bei ihr allenfalls um eine „künstliche“ Kollegin handelt. Bei der Diagnose wendet sie kein medizinisches Fachwissen an, sondern greift nur auf ihre anhand der Trainingsdaten selbst entwickelten Muster zurück. Medizinische Erkenntnisse fließen dabei allenfalls mittelbar ein.
Außerdem: Selbst wenn die Ergebnisse der KI denen eines Arztes achweislich überlegen wären, ist es stets der Arzt, der den Befund stellt. KI kann also immer nur eine „Hilfestellung“ bei der Diagnostik sein. Einen KI-Befund müssen Ärzt*innen daher immer auf der Grundlage ihres erlernten Wissens und ihrer Erfahrung unter Beachtung des Facharztstandards kontrollieren. Dies gilt erst Recht bei Erkrankungen, bei denen eine Fehldiagnose ein hohes Risiko- und Schadenspotential hat.
Kommen Ärzt*innen bei dieser Prüfung zum Ergebnis, dass der KI-Befund unzutreffend ist, dürfen sie ihn nicht als eigenen Befund übernehmen. Die Befund-Kontrolle und deren Ergebnis sollten sie aus beweisrechtlichen Gründen dokumentieren. Nur so können Sachverständige in einem späteren Prozess ihre Überlegungen auch nachvollziehen und sie vom Vorwurf einer unsorgfältigen Befund-Kontrolle exkulpieren. Zurück zum Beispiel: Gemessen hieran hätte der Dermatologe sorgfaltspflichtwidrig gehandelt und einen iatrogenen Schaden verursacht. Denn er vertraute blind auf die Richtigkeit des KI-Befunds, statt diesen mit seinem fachärztlichen Auge zu überprüfen.
Allerdings begründet nicht jede Fehldiagnose einen vorwerfbaren Diagnosefehler: Wäre der „Fehlbefund“ der KI für den Arzt trotz sorgfältiger Kontrolle nicht erkennbar gewesen, wäre die Übernahme dieses Befunds nicht sorgfaltspflichtwidrig. Nur dann, wenn das Ergebnis der Befund-Kontrolle aus Sicht von Sachverständigen für gewissenhafte (Fach-)Ärzt*innen nicht mehr vertretbar erscheint, begründet dies eine Haftung.
All dies gilt freilich umso mehr, wenn KI als „Neulandmethode“ noch nicht zum Facharztstandard gehört, was aktuell noch in den meisten Bereichen der Fall sein wird. Mit Blick auf die ärztliche Therapiefreiheit ist die Anwendung einer neuen Methode wie KI zwar nicht per se „unzulässig“, da es sonst in der Medizin keinen Fortschritt gäbe. Zu verlangen ist hier aber neben einer gewissen „Grundskepsis“ gegenüber KI-Befunden eine noch intensivere Befundkontrolle.
Unabhängig von der Frage nach einem Diagnosefehler ist außerdem zu beachten, dass der Einsatz von KI Aufklärungspflichten begründet. Selbst wenn sich KI neben der herkömmlichen Diagnostik bereits als Standard etabliert hat, müssen Ärzt*innen die Patient*innen über die Vor- und Nachteile der verschiedenen Alternativen – KI versus herkömmliche Diagnostik – informieren.
Dies gilt erst recht dann, wenn es sich bei KI noch um eine „Neulandmethode“ handelt: hier sind Patient*innen vor ihrem Einsatz darüber aufzuklären, dass mit der KI ein neues Verfahren mit bislang unbekannten Risiken als Alternative zur herkömmlichen Standard-Diagnostik angewandt wird. Nur so können diese eine autonome Entscheidung pro oder contra KI bzw. Standardverfahren treffen.
Was aber, wenn sich eine Ärztin gegen den Einsatz von KI entscheidet und „deshalb“ einen Befund übersieht, der von der KI erkannt worden wäre?
Zunächst einmal gilt: Der Behandlungsstandard wird nicht durch das jeweils neueste Therapiekonzept („best medical practice“) bestimmt. Wenn eine Methode noch nicht „Standard“ ist, können Patient*innen ihren Einsatz nicht verlangen. Denn die Wahl der Therapie und Diagnostik ist Sache des Arztes (Therapiefreiheit). Nicht alle Ärzt*innen müssen also neueste KI-basierte Diagnose-Software anschaffen und einsetzen.
Das Gleiche würde gelten, wenn sich KI zwar als „Goldstandard“ etabliert hätte, aber der Verzicht auf ihren Einsatz noch keine Standardunterschreitung wäre. Für eine gewisse Übergangszeit wäre der Verzicht auf die KI auch dann noch vertretbar.
Anders verhielte es sich, wenn mit Hilfe der KI ein belastbarerer oder genauerer Befund erhoben werden könnte und die KI daher eine echte Alternative zur herkömmlichen Diagnostik wäre. Dann müssten Ärzt*innen ihre Patient*innen ggfs. von sich aus über eine andernorts verfügbare KI-Möglichkeit aufklären – erst recht, wenn die Patient*innen ausdrücklich danach fragen.
Gute und für Gutachter*innen nachvollziehbare und dokumentierte Gründe bei einem Verzicht auf KI bräuchten Ärzt*innen dann, wenn diese Diagnostik künftig etwa laut den Leitlinien zwingend zum diagnostischen Standard gehören würde. (So wie dies etwa in bestimmten Bereichen die Pulsoxymetrie bei der Überwachung der Sauerstoffsättigung ist.) Hätte man diese Gründe nicht, würde man sich dem Vorwurf eines Befunderhebungsfehlers aussetzen.
Fazit: Der BGH wird wohl erst in einigen Jahren belastbare Antworten darauf liefern, unter welchen Voraussetzungen es zur Schadenzersatzpflicht beim Einsatz von Diagnose-KI oder dem Verzicht darauf kommt. Sicher ist jedenfalls schon jetzt: Die Aufklärung der Patient*innen muss persönlich durch die Ärzt*innen erfolgen (vgl. § 630 e, Abs. 2, Nr. 1 BGB). Sie darf nicht an KI delegiert werden.
Grundsätzlich gilt: Vertrauen in die KI ist gut, Kontrolle aber besser. Genau hierin liegt jedoch das Problem – je besser KI wird, desto schlechter wird womöglich die diagnostische Fähigkeit von Ärzt*innen. Genau die ist für die Kontrolle der KI aber erforderlich.
Ob die Patientenversorgung durch KI sicherer und besser wird und es dann zu insgesamt weniger Schadensfällen und Haftungsprozessen kommt, bleibt abzuwarten. Dass mit einer wachsenden Autonomie der KI ein zunehmender Kontrollverlust des Menschen über die Maschinen einhergeht, wird das Haftungs- und Strafrecht jedenfalls nicht alleine lösen können.
RA Dr. Philip Friedrich Schelling
Fachanwalt für Medizinrecht, Fachanwalt für Strafrecht
MÄA 22/2024
