Künstliche Intelligenz: Das Risiko trägt der Patient

Künstliche Intelligenz ist die Verheißung auf bessere Entscheidungen, schnellere Prozesse und Einsparung von Personalkosten. Den ultimativen Preis für Fehler zahlen aber Patienten.  Wie geht die Life Sciences Industrie mit diesem Risiko um?

Soll das autonome Auto lieber eine Berufsanfängerin überfahren oder zwei 80jährige Rentner? Diese Ethikdebatten rund um KI werden regelmäßig medienwirksam beleuchtet. Für die Life Sciences Industrie sind vergleichbare Risikobetrachtungen das tägliche Brot.

Die Life Sciences Industrien haben den Anspruch, das Leben ihrer jeweiligen Kunden und Patienten zu verbessern. Strenge gesetzliche Vorgaben sorgen dafür, dass auf den Wegen zu diesem Ziel unnötige oder schwer kontrollierbare Gefährdungen ausgeschlossen werden. Die Erbringung der erforderlichen Nachweise erfordert u. a. umfangreiche Tests (Stichworte sind hierfür Qualifizierung und Validierung) und erfordert Dokumentationen, die gerichtsfest über einen Zeitraum von Jahrzehnten aufzubewahren sind.

Innovation vs. Sicherheit

Dass Produktlebenszyklen unter dem Wettbewerbsdruck und auch unter den Erwartungen der Kunden ständig verkürzt werden, ist eine Tatsache, die so gut wie alle Branchen herausfordert. Wer kennt nicht das rasch nachgeschobene Korrektur-Update nach dem Update der Lieblings-App oder des PC-Programms, weil neu bereitgestellte Funktionen nicht reibungslos liefen oder gar bestehende Funktionen gestört wurden? Als Verbraucher muss man darauf hoffen, dass in den Life Sciences Industrien ähnliche Schnellschüsse ausbleiben und das Krebsmedikament oder der Herzschrittmacher verlässlich ihre Aufgaben erfüllen.

Doch diese Sicherheit kostet während der Produktentwicklung wertvolle Zeit. Notgedrungen werden auch hier Kosten gegen Nutzen abgewogen. Der Produzent mit den effizientesten und effektivsten Produktentwicklungs- und Qualitätssicherungsprozessen kann durch einen frühen Markteintritt den kommerziellen Erfolg seines Produktes begünstigen und den Wettbewerb durch die bessere Ausnutzung von Patentlaufzeiten über Jahre auf Distanz halten.

Digitalisierung: Chance und Challenge

Zur Kernkompetenz von Unternehmen der Life Sciences Branchen zählen Produktentwicklung und Marketing, aber bislang nur in seltenen Fällen die Beherrschung neuer IT-Technologien oder aller Möglichkeiten der Digitalisierung. Doch es zeigt sich inzwischen deutlich, dass gerade in diesen Bereichen durch die Effizienzgewinne Vorteile gegenüber den Wettbewerbern erzielt werden können. Mittel- und langfristig werden solche Unternehmen außerordentlich erfolgreich und damit auch überlebensfähig sein, die sich auch IT- und Digitalkompetenz zu eigen machen. Nicht ohne Grund verfügen die Platzhirsche der Branchen bereits über eigene „Digital Labs” oder beteiligen sich an Start-Ups in der Hoffnung auf den Zugriff auf hilfreiche und nutzbringende Innovationen.

Vor diesem Hintergrund wird es für bezüglich des Einsatzes neuer Technologien zurückhaltender agierender Firmen schwerer, mit den Produktentwicklungszyklen der moderner und zukunftsweisender aufgestellten Wettbewerber mitzuhalten.

Anwendung von Künstlicher Intelligenz im Bereich Life Sciences

Während viele digitale Techniken bereits erprobt und unter weitgehend standardisierten Bedingungen eingesetzt werden können, gibt es auch Entwicklungen (vor allem KI), die noch in den Kinderschuhen stecken. Die oben erwähnten „Digital Labs” beschäftigen sich intensiv mit KI, etwa mit der Zielsetzung Predictive Maintenance, um die Instandhaltungskosten ihrer teuren Produktionslinien zu senken.

Aktuell besteht die Sorge allerdings nicht darin, einem System beizubringen, ein richtiges Resultat zu erzeugen. Die Gefahr besteht vielmehr darin, verlässlich verhindern zu können, dass eine solche KI auch wirklich nichts Falsches produziert.

Bei aller Skepsis gegenüber dem Einsatz von Anwendungen unter Nutzung von Künstlicher Intelligenz sollte man sich einige Aspekte vor Augen führen:

  • Die amerikanische Gesundheitsbehörde FDA (die nicht selten als der „Goldstandard” bezüglich Zulassungen angesehen wird) hat bereits zahlreiche Anwendungen mit KI-Komponenten überprüft und zum Einsatz freigegeben. Absehbar ist die Anwendung von KI-Anteilen im Bereich Life Sciences gelebte Realität.
  • Von KI-Anwendungen wird meist Perfektion und Fehlerfreiheit erwartet. Doch gerade Unternehmen der Life Sciences Industrien sind üblicherweise den Umgang mit Restrisiken gewohnt. Bei der Zulassung neuer Medikamente und deren Bepreisung spielt Zusatznutzen eine wichtige Rolle. Weniger Todesfälle gegenüber einem etablierten Medikament sind ein gewichtiger Grund für die Zulassung. Analog betrachtet müssten KI-Anwendung also nur die „bessere Alternative” sein, um Nutzen zu bringen, auch unter Tolerierung von Fehlern (z. B. fehlerhafter Diagnosen).
  • Auch Aufsichtsbehörden greifen bei ihren Inspektionen inzwischen auf KI-Techniken zurück, um bei knapper Personaldecke ihrem Auftrag nachkommen zu können. Konnte man früher noch hoffen, dass ein unerfahrener Inspektor noch nicht alle „Kniffe” kennt, greift dieser inzwischen mit hoher Wahrscheinlichkeit auf die durch Künstliche Intelligenz verarbeitete Erfahrung seiner Kollegen zurück.

Das Ziel ist die Kontrolle Künstlicher Intelligenz

Die Werkzeuge zur Absicherung konventioneller Anwendungen haben die Life Sciences Industrien bereits in der Hand: Dokumentierte Validierung und Qualifizierung sind die Voraussetzungen für den Einsatz von Programmen, Anwendungen und Geräten in kritischen Bereichen. Diese Anforderungen gelten für die Nutzung Künstlicher Intelligenz zweifellos im gleichen Umfang. KI-spezifische Aspekte wie das Management der zum Training der KI notwendigen Daten sind dabei ebenso zu berücksichtigen wie die Risikoeinstufung je nach angestrebtem Anwendungsfall und Autonomie der KI.

Gerade weil KI-Anwendungen im Bereich Life Sciences Einfluss auf Menschenleben haben können, ist auch Transparenz ein Mittel zur Kontrolle: Potentielle Patienten sollten darüber in Kenntnis gesetzt werden, ob sie im Bereich der Diagnose und Behandlung den Ergebnissen von KI-Anwendungen vertrauen.

Strukturierte Risikoanalysen und daraus abgeleitete wirksame Maßnahmen werden komplexer und wichtiger werden. Die Entwicklung von KI-Systemen im Gesundheitsmarkt ohne Einbeziehung von Data Science-, Qualitäts-, Sicherheits- und Compliance-Experten ist vor diesen Hintergründen undenkbar.

Die Autoren: 
Dr. Claus Breer ist Gründer und Geschäftsführer der Thescon GmbH und  berät seit 20 Jahren  zum Thema  Patientensicherheit in  IT­-Anwendungen.     

 

 

Ingo Baumann ist Partner und Lead-­Consultant innerhalb der Thescon GmbH. Als Compliance-Experte begleitet er Klienten u. a. im Bereich von KI­-Anwendungen.  Die Thescon GmbH ist der Beratungsspezialist für Life Sciences Industrien mit den Schwerpunkten Qualitäts­- und  IT­-Management.