Zwischen Blackbox und Klinikalltag

Am Institut für Künstliche Intelligenz in der Medizin an der Charité forscht Julian Madrid zu Multiagentensystemen. Im Gespräch erzählt er, wie KI-Agenten entwickelt werden, was Dirty Data sind und warum Maschinen Ärzt:innen nicht ersetzen, sondern lieber unterstützen sollen.

– Mika Kawalleck, Gruppe KI in der Medizin

Im Alltag vieler Menschen ist KI mittlerweile angekommen. Wie sieht das im medizinischen Alltag aus?
In der klinischen Praxis an der Charité ist Künstliche Intelligenz bislang nur begrenzt angekommen. Die ersten KI-basierten medizinischen Geräten aus dem Jahr 2015 werden bereits in Nischenbereichen eingesetzt und sind im Krankenhausbetrieb integriert. Insgesamt haben die Geräte aber noch nicht den Einfluss, den wir uns wünschen. Wir stoßen hier unter anderem auf das Problem, dass die Systeme nicht in jedem Krankenhaus gleich gut funktionieren. Auch Dirty Data und mangelnde Robustheit sind derzeit zwei große Hürden.

Was können wir uns unter Dirty Data vorstellen?
Klinische Daten sind häufig unvollständig, uneinheitlich und fehlerhaft. Das nennen wir Dirty Data.

Wie versuchen Sie damit umzugehen?
Unser Ziel ist es, KI-Systeme zu entwickeln, die heterogene Daten verarbeiten können. Würden wir nur sehr gute und saubere Daten verwenden, wäre dies nicht repräsentativ für den alltäglichen Krankenhausbetrieb. Genau dort sollen diese Systeme in Zukunft aber eingesetzt werden und zuverlässig funktionieren. Deshalb sollen sie dazu in der Lage sein, mit Dirty Data umzugehen und diese sicher in die Klinik zu integrieren.

Und wie kann das funktionieren?
Wir testen KI-basierte medizinische Geräte weiter, um robuste Systeme zu entwickeln. Das erreichen wir, indem wir sie mit vielen unterschiedlichen Datentypen und Krankenhaussystemen trainieren. Das schaffen wir, indem wir hier am Institut für Künstliche Intelligenz in der Medizin Expert:innen aus der Technik, Klinik, Mathematik und Verwaltung vereinen. Das ist wichtig, wenn man solche komplexen Systeme entwickeln möchte. Genau darin liegt die Stärke unseres Instituts: Diese interdisziplinäre Struktur ist in Deutschland und sogar in Europa selten.

Nun ist in Deutschland der Datenschutz ziemlich streng durch die DSGVO geregelt. Wie bewerten Sie die Rahmenbedingungen mit Blick auf Innovationen?
Ich befürwortete, dass sensitive Patientendaten gesetzlich klar reguliert werden, nichtsdestotrotz macht es die KI-Entwicklung schwieriger. Durch die europäischen Regulierungen sind wir gegenüber anderen Ländern im Nachteil. In den USA ist es anders geregelt: Der Health Insurance Portability and Accountability Act aus dem Jahr 1996 schreibt eine genaue Liste von Kriterien vor, um Daten benutzen zu dürfen. Hier bei uns in Europa sieht die Gesetzgebung eine zweckgebundene Verwendung von Daten vor. Es macht einen Unterschied, ob man Daten intern verwenden oder veröffentlichen möchte. Das Ganze hat aber auch Nachteile. Die Regulatorik ist wesentlich komplexer, da wir keine klaren Grenzen haben wie in den USA. Ich wünsche mir daher klarere Kriterien, sodass wir schneller arbeiten können.

Welches Projekt würden Sie denn gerade schneller voranbringen wollen?
Ich beschäftige mich mit Multiagentensystemen. Sie haben den Vorteil, dass wir nicht für jeden Zweck ein komplettes System ersetzen müssen. Die Schwierigkeit hierbei besteht darin, verschiedene Systemarten miteinander zu verknüpfen. Dabei sind drei Aspekte eine essenzielle Voraussetzung: eine große Menge an Daten, das Verarbeiten von Daten und ein Ingenieur, der versteht, wie diese Architekturen aufgebaut sind. 97% aller Daten konnten wir bisher nicht verwenden, weil diese persönliche Informationen über unsere Patient:innen enthielten. Um dieses Problem zu lösen, haben wir nun ein System entwickelt, um heterogene Daten aus der Klinik zu anonymisieren und sie benutzen zu dürfen. Das war ein Meilenstein, um mit diesen notwendigen Daten bessere und robustere medizinische KI-Systeme entwickeln zu können. Der zweite Punkt war das Verarbeiten von Daten. Wir haben nun die Möglichkeit, größere Modelle zu trainieren und gleichzeitig für die Inferenz zu verwenden. Das benötigt massive technische Infrastruktur, wie zum Beispiel eine riesige Speicherkapazität und fortschrittliche Grafikkarten.

„Wir möchten keine Ärzt:innen ersetzen, sondern ihnen bei ihrer alltäglichen Arbeit unter hohem Druck eine Unterstützung bieten.“

Hardware ist das eine, Software und das Verständnis dazu das andere. Es gibt ja den Begriff „Explainable KI“? Was hat es damit auf sich?
Grundsätzlich möchten wir KI-Systeme entwickeln, die gut funktionieren. Wir möchten keine Ärzt:innen ersetzen, sondern ihnen bei ihrer alltäglichen Arbeit unter hohem Druck eine Unterstützung bieten. Hierbei stoßen wir auf folgendes Problem: Je leistungsfähiger die KI-Modelle werden, desto intransparenter werden sie häufig. Durch dieses Phänomen entstehen sogenannte Blackboxen. Wir können nicht mehr nachvollziehen, warum die KI was macht. Um Ärzt:innen eine Unterstützung bieten zu können, müssen sie verstehen können, warum eine Entscheidung getroffen wurde. Unser Anspruch ist nicht lediglich gute Systeme, sondern sichere und erklärbare Systeme zu entwickeln. Eine weitere Herausforderung für uns sind die Halluzinationen. Mittlerweile haben wir das Problem in den Griff bekommen, sehr selten kommt es dennoch vor. Um solche Halluzinationen früh aufzudecken, entwickeln wir Systeme.

Sie haben angesprochen, KI und Ärzt:innen sollen in Zukunft zusammenarbeiten. Wie gehen Sie mit dem möglichen Dilemma um, wenn die KI eine andere Diagnose stellt als die Ärzt:innen?
Die Frage stellt sich derzeit kaum, sie wird in Zukunft aber wichtiger werden. Ich denke, wir sollten in die Richtung gehen, dass wir auf keinen Fall versuchen, die Ärzt: innen zu ersetzen, sondern die Zusammenarbeit zwischen Ärzt:innen, Maschine und KI zu stärken. Es geht darum, eine bessere Schnittstelle zwischen Mensch und Maschine zu schaffen. Die Ärzt:innen sollten selbständig entscheiden können, ob sie sich einen Sachverhalt selbst anschauen möchten oder ob sie dort Arbeit abgeben können. Wichtig ist, Ärzt:innen müssen eigenständig Diagnosen stellen können. Wenn die KI nun zu einem anderen Ergebnis kommt, gilt es dieses kritisch zu hinterfragen und nicht zu übernehmen. Hierbei muss man darauf achten, dass Maschinen nicht klassisch denken. Es benötigt viel Zusammenarbeit mit solchen Maschinen, um dafür ein grobes Gefühl entwickeln zu können.

Wie können wir uns das vorstellen? Wie denkt eine KI?
Im Detail wissen wir es nicht. Die entscheidende Frage ist, ob diese Systeme ein tieferes Verständnis entwickeln oder Muster lediglich reproduzieren. Das Ganze kann man sich am Menschen etwas veranschaulichen, denn ohne Forschung wüssten wir nicht, was in unserem Gegenüber vorgeht. Etwas mehr Einblick haben wir in die älteren Systeme. Dort können wir festhalten, dass effizient nicht-lineare Zusammenhänge erlernt und gespeichert werden können und ein sogenannter Raum der Möglichkeiten erkundet wird. Bei den neuen Systemen ist es so, dass man Systeme fordert, fehlende Informationen zu ersetzen. So können wir die Systeme zwingen, Zusammenhänge in den Daten aufzudecken und so tiefere Konzepte zu erkunden. Irgendwann werden diese Modelle extrem gut und agieren ähnlich wie Menschen. Viele Forscher:innen sehen die Entwicklung, dass noch andere Architekturen entstehen werden, die vielleicht menschenähnlicher werden und sogar effizienter werden könnten.

Julian Madrid hat sich auf Multiagentensysteme spezialisiert. | Foto: Charité Berlin, Katharina Kiebacher

Das birgt wiederum Gefahren. Es ist bereits bekannt, dass solche Systeme bestimmte Vorurteile entwickeln können. Wie stellen Sie sicher, dass diese Systeme neutral bleiben und somit eine gute Diagnose stellen können?
Die Thematik Robustheit von solchen Systemen ist sehr wichtig, denn letztendlich machen Daten diese aus. Wenn Systeme nur Daten aus einer Kategorie gesehen haben, dann werden diese Systeme schlecht in einer anderen Fachdisziplin funktionieren. Eine sehr große Menge an Daten macht die Systeme erst tatsächlich robust. Eine zweite große Frage ist die moralische Vorstellung. Wenn man nur männliche Probanden aus westlichen Ländern mit stark repräsentierten Sprachen heranzieht, entstehen Vorurteile. Die Forschung hat gezeigt, dass Vorurteile, die wir in unserer Bevölkerung haben, auch die Systeme beeinflussen. So können veraltete moralische Vorstellungen wie Rassismus und Sexismus immer noch mit Latenz in den Systemen stecken. Um dieses Problem zu lösen, nutzen wir Human Reinforcement Learning. Bei diesem Verfahren bewerten Menschen die Antworten der KI, sodass wir die Systeme auf gleiche Wertvorstellungen bringen können. Ich denke, es wird wichtig sein, über eine Diversität von Modellen zu verfügen.

Blicken wir zehn Jahre in die Zukunft: Welchen Stellenwert hat KI in der Medizin bzw. hier an der Charité?
Zuerst werden diese Technologien in Bereiche integriert, die nicht stark reguliert sind. In der Informatik sind KI-Agenten bereits allgegenwärtig und die Arbeitsweise von Programmierern hat sich in den letzten fünf Jahren völlig verändert. Grundsätzlich ist es so, dass die Medizin einer der reguliertesten Bereiche ist und sie historisch gesehen immer einige Jahre mehr braucht, um Entwicklungen zu integrieren. Außerdem wird es in Zukunft unbedingt nötig sein, dass Menschen und KI-Agenten zusammenarbeiten. Wir werden in Zukunft einen enormen Mangel an Ärzt:innen und Pflegenden haben. Bei der aktuellen Datenflut wird es für uns Menschen allein nicht mehr umsetzbar sein. Manche Patienten generieren pro Aufenthalt 500 Seiten an Daten.

Welchen Mehrwert wird das haben?
In erster Linie können so menschliche Fehler reduziert werden. Ärzt:innen haben mehr Zeit mit den Patient:innen und müssen weniger administrative Arbeiten übernehmen. In einem solchen Szenario könnten alle Beteiligten profitieren. Im Hintergrund wird man über ein komplettes Team an Künstlichen Intelligenzen verfügen, die die Daten aufbereiten und den Ärzt:innen dann so ausspielen, dass der Arzt die richtige Entscheidung treffen kann. Ärzt:innen werden in Zukunft nicht im Detail programmieren, sie werden aber verstehen müssen, wie diese Systeme funktionieren. Langfristig werden immer mehr Roboter als Unterstützung in die Pflege integriert werden.

Wir sind gespannt, was uns in den nächsten Jahren erwartet. Vielen Dank für das Gespräch!

Mehr aus der Gruppe KI in der Medizin