Dass wir für verschiedenste Lebenssituationen bewertet und beurteilt werden ist nichts Neues. Schulnoten, Bonität für Kredite und auch die Sicherheitspunktezahl für das Fahrverhalten in einem Tesla sind bekannte und neue Beispiele, wie wir versuchen, komplexe Zusammenhänge auf einfache Zahlen zusammenzufassen, um uns Zugang zu weiteren Ausbildungen, zu Krediten oder zu Software zu geben.

Neu ist allerdings, dass solche Beurteilungen auch immer mehr in andere Branchen üblich werden, durch künstliche Intelligenz errechnet werden, und zu ungeahnten Nebeneffekten führen können. So geriet die Bewertung der Rückfallwahrscheinlichkeit von Verbrechern ins Visier von Aktivisten, als sich herausstellte, dass COMPAS – so der Name der Software – vor allem Minderheiten benachteiligte und mehr die Armut aus der die Verbrecher stammten beurteilte, als deren tatsächliche Wahrscheinlichkeit, wieder rückfällig zu werden. Das hatte dramatische Konsequenzen für die Betroffenen: Richter, die diese Software zur Urteilsfindung heranzogen, bestraften diese Täter mit längeren Haftstrafen.

Nun kam ein weiterer solcher Risiko-Score ins Kreuzfeuer der Kritik, und dieser begann eigentlich mit den besten Absichten. Angesichts der Opioidkrise in den USA, bei denen bestimmte Schmerzmittel durch das dahinterstehende Pharmaunternehmen intensiv beworben und von den Ärzten großzügig verschrieben worden waren, führte das vorgeblich nicht abhängig machende Medikament zu einer Pandemie von Opioidsucht. Denn, wie sich herausstellen sollte, hatte das Pharmaunternehmen eigene Forschungsergebnisse zur Sucht unterdrückt, mit dem Effekt, dass die USA sogar von einer “Opioidkrise” sprechen.

Auf den Plan trat das Unternehmen Appriss, das umfangreiche Patienten- und Ärztedatenbanken anzapft und mittels KI aus den Daten einen Überdosisrisikoscore berechnet, anzeigen soll, wie hoch das Risiko eines Patienten ist, durch verschriebene Medikamente eine Überdosis an Schmerzmitteln verabreicht zu kriegen. War die Datenbank NarxCare vorerst nur als zusätzliches Hilfsmittel für die verschreibenden Ärzte gedacht, wurde sie mit der Zeit immer wichtiger. Mittlerweile wurden sie in allen bis auf einen US-Bundesstaat vorgeschrieben, und mit der Aufmerksamkeit der Medien und Politik zur Opioidkrise fühlt die Ärzte schafft den Druck, diesen Score stärker zu berücksichtigen. Klagen gegen Ärzte, die den Score ignorierten, stehen im Raum und das führt dazu, dass sie den Score unkritisch übernehmen.

Dabei wurde in etlichen Studien festgestellt, dass der Überdosisrisikoscore bei weitem nicht das hält, was er verspricht. Angefangen von einer zu kleinen und damit zu wenig aussagekräftigen Datenbasis, einem Überhang von männlichen Patienten im Datensatz, der Nichtberücksichtigung von beispielsweise Fällen von sexuellem Missbrauch bei weiblichen Patientinnen, die zu erhöhter Verschreibung von Antidepressiva führt, fließen auch ganz klar damit wenig zusammenhängende Daten in die Berechnung. Und das hat mit dem sogenannten “Doctor Shopping” zu tun. Darunter ist zu verstehen, dass manche Patienten das System zu missbrauchen versuchen, indem sie nicht nur bei einem Arzt Schmerzmittel verschrieben kriegen, sondern mehrere Ärzte, teilweise sogar in anderen Bundesstaaten, aufsuchen und versuchen sich bei allen Schmerzmittel verschreiben lassen.

Allerdings kommt es damit zu schmerzhaften Fehlern im Score. Patienten, deren Lage sich verschlimmert, oder die durch einen Unfall oder andere Krankheiten Operationen durchgehen, haben plötzlich eine Reihe von weiteren Ärzten, den Spezialisten, in ihrer Krankheitshistorie, die sich negativ auf den Überdosisrisikoscore. Die steigende Anzahl von behandelnden Ärzten wird unter die Kategorie “Doctor Shopping” eingefügt. Ja selbst Tierärzte werden dort angeführt. So berichtet das Wired Magzin von einer Patientin, die zwei ältere und kranke Hunde aus dem Tierheim adoptiert hat und die Schmerzmittel für ihre Behandlung vom Veterinärmediziner verschrieben bekommen haben. Da der Tierarzt aber die Medikamente auf den Namen der Tierbesitzerin und nicht die Hunde verschreibt, taucht der Veterinärmediziner und die verschriebenen Schmerzmittel in ihrem Score auf.

Das Ergebnis kann ernste Konsequenzen haben: die Ärzte und Apotheker vermuten, dass sie es weniger mit einem Patienten als viel mehr mit einer drogenabhängigen Person zu tun haben. Die Art, wie sie sich damit um den Patienten herum verhalten, ändert sich drastisch. Von aufrichtig fürsorglich zu vorwurfsvoll. Dieser Score führt nun dazu, dass die von Schmerzen geplagten Patienten keine Schmerzmittel mehr erhalten. Ja selbst manche Ärzte weigerten sich die jahrelang von ihnen betreuten Patienten weiterhin als Patienten zu versorgen. Sie ließen sie fallen.

Analysen haben ergeben, dass nach der Einführung des Überdosisrisikoscore zwar die Verschreibungen von Schmerzmitteln um 10 Prozent sanken, dafür aber Selbstmorde und Überdosen um ein Drittel anstiegen. Verzweifelte Patienten versuchten sich Schmerzmittel aus anderen Quellen zu besorgen. Ohne ärztliche Betreuung überdosierten die Schmerzmittel aus zweifelhaften Quellen. Oder sie waren so verzweifelt und konnten die Schmerzen nicht mehr aushalten, dass sie keinen anderen Ausweg mehr sahen, als sich umzubringen.

Somit wurde aus einer ursprünglich guten Idee mit der besten Absicht Ärzten ein Hilfsmittel zur Abschätzung des Überdosisrisiko bereitzustellen, durch die aktuelle Aufmerksamkeit zur Opioidkrise und der Einführung in alle Bundesstaaten als empfohlenes, wenn auch nicht von der amerikanischen Arzneimittelbehörde (Food and Drug Administration FDA) offiziell zugelassenen Datenbank, zu einem von Ärzten nur unter eigenes Risiko zu vernachlässigenden KI-Werkzeug.

Wie schon in andere Fällen haben auch hier wieder der Data Bias und eine unzulängliche Zusammensetzung von Faktoren zur Berechnung eines KI-basierten Scores ernsthafte Auswirkungen auf das Leben der Betroffenen. Mit dem steigenden Einsatz von KI in allen Bereichen unseres Lebens wird somit die Diskussion um den richtigen Einsatz von KI vordringlich.

Ein längerer Beitrag erschien (auf Englisch) im Wired Magazin im Oktober 2021.