News

Rassistischer Algorithmus: Wie Programme Menschenleben gefährden

Algorithmen sind mächtige Werkzeuge, die nur so schlau sein können, wie wir Menschen sie antrainiert haben. Sie werden mittlerweile in den unterschiedlichsten Bereichen eingesetzt: Als Bewerbungsprogramm, Propagandamaschine oder auch als Versicherungssoftware. Algorithmen lernen von Daten, die Forscher ihnen zur Verfügung stellen. Dadurch übernehmen sie aber auch deren Vorurteile. Warum das so gefährlich ist und wie kann man dem entgegen wirken kann – ein Kommentar zur programmierten Diskriminierung.

Ein gut gemeinter Ansatz

Der nun jüngste Fall eines fehlgeleiteten Algorithmus kommt aus US-Krankenhäusern und deren umsorgenden Krankenkassen. Um Kosten zu senken investieren immer mehr dieser Gesundheitseinrichtungen in die Vorsorge von Patienten. Ein Ansatz für ein Kategorisierungssystem stellt ein Algorithmus dar, der Patienten und Patientinnen je nach benötigtem Versorgungsgrad einteilt. Erstmal ein löblicher Gedanke: Das Ganze spart Zeit und Geld.

Zur Einteilung werten diese Algorithmen Daten aus den Patientenakten aus: Diagnosen, Behandlungen, Medikationen. Aus den Ergebnissen wird dann ein Risikowert berechnet, der vorhersagt, wie der Gesundheitszustand einer Person sich innerhalb des nächsten Jahres entwickeln wird. Basierend auf diesem Ergebnis wird dem Patienten eine bessere Vorsorge und Gesundheitsversorgung angeboten. Rechnet der Algorithmus also aus, dass Diabetes, Hypertonie und die chronische Nierenerkrankung eine tödliche Kombi ergeben, gilt es Vorsorge zu betreiben. Der Arzt könnte dem Patienten vorsorglich auf ein intensives Programm zur Senkung des Blutzuckers setzen. Problem gelöst, Algorithmen retten Menschenleben!

Diskriminierender Algorithmus

Leider nicht ganz. In einer neuen Studie untersuchten Ziad Obermeyer, ein Forscher für Gesundheitspolitik an der University of California und seine Kollegen die Wirksamkeit eines solchen Risikovorhersageprogramms in einem großen Forschungskrankenhaus. Sie wollten herausfinden, wie gut sich die Vorhersagen des Algorithmus mit der Realität decken. Das Team bemerkte bald, dass das Programm vielen dunkelhäutigen Patienten trotz ihrer sich verschlechternden Gesundheit einen „seltsam niedrigen“ Risikowert zuordnete.

Vergleicht man dunkelhäutige und hellhäutige Patienten, denen der Algorithmus ähnliche Risikowerte zuwies, so stellte man fest, dass die dunkelhäutigen Menschen deutlich kränker waren. Sie hatten beispielsweise einen höheren Blutdruck oder einen nicht gut eingestellten Diabetes, trotzdem scheinen diese Aspekte nicht bei dem Algorithmus anzuschlagen. Das Ergebnis war abzusehen: Die Betroffenen wurden aufgrund ihrer Hautfarbe von einem zusätzlichen Vorsorgeprogramm ausgeschlossen. Und das nur, weil ein von einem Algorithmus berechneter Wert nicht ausreicht.

Für die veröffentlichte Studie durchsuchten die Forscher fast 50.000 Datensätze, mit denen der Algorithmus lernt und sich weiterentwickelt. Dabei stellten sie fest, dass das Programm Rechnungen und Versicherungsauszahlungen als Indikator für den allgemeinen Gesundheitszustand einer Person verwendete – eine herkömmliche Anlerntaktik in akademischen und kommerziellen Gesundheitsalgorithmen. Bedeutet im Klartext: Der Algorithmus schaut vor allem auf die Kosten, die Patienten und Patientinnen verursacht hatten.

Tatsächlich sagt das System also gar nicht voraus, wie sich der Gesundheitszustand einer Person innerhalb des nächsten Jahres entwickeln wird. Im Prinzip war der Wert ein Anhaltspunkt dafür, wie viele Kosten dieser Patient im nächsten Jahr verursachen würde. Warum das nun wieder mit der Hautfarbe eines Menschen korreliert, ist auch schnell erklärt. In den Abrechnungsdaten, die der Algorithmus zum Lernen bereitgestellt bekommen hat, steht im Grunde, dass schwarze Patienten geringere Kosten verursachen, weil sie weniger medizinische Behandlung bekommen. Folglich wird ihnen auch kein hoher Risikowert zugesprochen.

Rate der Amputationen ist bei schwarzen Patienten höher

Natürlich steckt dahinter kein rassistischer Algorithmus, der ein Problem mit dunkelhäutigen Menschen hat. Aus dem ganzen Trubel lässt sich ein viel größeres und vor allem gesellschaftliches Problem ableiten. Gesundheitskosten für schwarze Patienten sind tendenziell niedriger, unabhängig von ihrem tatsächlichen Wohlbefinden. In den USA stehen rassische und ethnische Minderheiten bei der medizinischen Versorgung teilweise vor Herausforderungen. Selbst, wenn sie eine Gesundheitsversorgung erhalten, ist ihre Qualität möglicherweise nicht gleichwertig mit denen anderer Personengruppen. Das Thema ist sehr komplex und umfasst Bereiche, wie Zahlungsfähigkeit, Patientenpräferenzen, differenzierte Behandlung durch Ärzte und geografische Schwankungen.

So zeigte beispielsweise eine Studie an 400 Krankenhäusern in den USA, dass schwarze Patienten mit Herzerkrankungen ältere, billigere und konservativere Behandlungen erhielten als Patienten mit heller Haut.  Nach Operationen werden sie früher aus dem Krankenhaus entlassen und schwarze Frauen erhalten weniger Strahlentherapie bei Brustkrebs. Sogar die Rate der Amputationen ist bei schwarzen Patienten höher. In Dayna Bowen Matthews Buch „Just Medicine: Eine Heilung für rassische Ungleichheit im amerikanischen Gesundheitswesen“ von 2015, versucht die Autorin die niedrige Gesundheitsversorgung auf indirekte Vorurteile der Ärzte zu schieben.

Natürlich könnte diese These die Behauptung stützen, doch schaut man sich das Gesundheitssystem in den USA an, offenbaren sich haarsträubende Geschichten. Sowohl Einwanderer ohne Papiere als auch aufgenommene Einwohner, die seit weniger als fünf Jahren in den USA leben, bekommen keine staatliche Krankenversicherung. Es gibt ein zweistufiges Gesundheitssystem, das allumsorgende Pflege für privat Versicherte anbietet und mittelmäßige Pflege für diejenigen ohne. Außerdem leben dunkelhäutige Menschen tendenziell weiter von den Krankenhäusern entfernt, als weiße Menschen. Dieser Umstand gestaltet regelmäßige Besuche schwierig. Sie neigen auch dazu, weniger flexible Arbeitszeiten und mehr Verantwortung für die Kinderbetreuung zu haben.

Bessere Entscheidungen mit Algorithmen?

Es gibt keine wirklich objektiven Entscheidungen, die wir Menschen treffen können. Um dem entgegenzuwirken, werden zunehmend Maschinen und Algorithmen programmiert, die uns von Vorurteilen und subjektiven Wahrnehmungen befreien sollen. Dieses und viele andere Beispiele zeigen jedoch: Wenn wir Vorurteile reinstecken, kommt auch nichts Objektives raus.

Dass sich Software nicht nur irrt, sondern erstaunlich konsequent Bevölkerungsgruppen diskriminiert, ist auf zwei Ursachen zurückzuführen. Natürlich stammt ein solcher Algorithmus von Menschenhand – was wir als Trainingsdaten auswählen, wird das System erlernen. Wenn aber bereits die Trainingsdaten von den Entwicklern unzureichend ausgewählt wurden, reproduzieren die Algorithmen das Problem einfach weiter. Es sind nicht die rassistischen Computerprogramme, die möglicherweise ein Eigenleben und Meinungen über verschiedene Personengruppen entwickelt haben – sie können nur anhand der Daten diskriminierende Ergebnisse hervorbringen.

Das zweite Problem mit falsch angelernten Algorithmen ist weniger der Input, sondern der Output. Oft erkennen wir fehlerhafte Trainingsdaten erst dann, wenn ein System Zusammenhänge erkennt und Muster zieht. Bei Bewerbungen werden zunehmend Programme zur automatischen Auswahl von Kandidatinnen und Kandidaten eingesetzt. Bei einem Beispiel fand ein Algorithmus einen Zusammenhang zwischen steigender Entfernung vom Wohn- zum Arbeitsplatz und einem Wechsel der entsprechenden Angestellten. Folglich schlug er Bewerberinnen und Bewerber vor, die in der Nähe des Unternehmens wohnten, was wiederum vermehrt dunkelhäutige Personen ausschloss. Diese leben häufiger in Außenbezirken.

Und die Lösung des Problems?

Eine positive Sache kann man der ganzen Geschichte der Krankenhäuser in den USA schlussendlich abgewinnen. Sie hält der Gesellschaft einen Spiegel vor, weil wir der Ursprung der Diskriminierung sind. Doch was kann man tun, damit in Zukunft keine diskriminierenden Algorithmen mehr Entscheidungen treffen? Alle Faktoren entfernen, die auf eine dunkle Haut schließen lassen könnten? Würde man alle Attribute aus Trainingsdaten entfernen, aus denen das System auf die Hautfarbe schließen könnte, löscht man im Prinzip alle Daten. Es gibt nun einmal ethnische Gruppen, die wir nicht ausschließen, sondern mit einberechnen müssen. Und denen ihre Hautfarbe nicht zum wiederholten Male zum Stolperstein wird.

Ein guter Ansatz könnten also Algorithmen sein, die sich selbst erklären. Das System als Blackbox öffnen, um nachzuverfolgen, wie Algorithmen zu ihren Entscheidungen kommen. Das jüngste Konzept für eine solche Vorgehensweise ist die Non-Profit-Organisation OpenAI: Sie wollen zwei Algorithmen dazu bringen, in menschlicher Sprache über ihren Entscheidungsprozess zu diskutieren. Die Entwickler könnten dieses Gespräch dann nachverfolgen und den Systemen jene Faktoren entlocken, auf denen ihre Entscheidung basiert.

Hinterfragen, ist sicherlich ein guter Anfang, doch auch hier liegt der Hund nicht begraben. Tobias Matzner ist Technikethiker und Informatiker an der Uni Paderborn. Er hält es für falsch, durch Technik Objektivität herstellen zu wollen. Die Blackbox namens Algorithmus einfach nur zu öffnen und zu überprüfen, ob das „Richtige“ drinsteht, hält er für falsch. Es würde suggerieren, dass wir Menschen wissen, was richtig ist. Und er hat Recht. Woher wissen wir, dass wir die richtige Entscheidung treffen und die Weisheit mit Löffeln gegessen haben?

Allein der Versuch Vorhersagen über Menschen auf Grundlage aller verfügbaren Daten über sie zu treffen, beflügelt kategorisierte Vorurteile. Nach dem Motto: Menschen, die das tun, tun auch das. Plötzlich entdecken Algorithmen bestimmte Muster aus den Daten und Menschen werden aufgrund ihrer Informationen verdächtig. Ist dies die neue Schubladen-Gesellschaft, in der wir zukünftig leben? Ich denke, wir müssen dringend eine Debatte darüber starten, wieso und ob wir tatsächlich das Bedürfnis haben, dass angeblich objektive Algorithmen Urteile über Menschen fällen. Wir lagern die Verantwortung einer Entscheidung schlussendlich nur aus. Mit Sicherheit können Algorithmen in einigen Jahren soweit sein, uns manches Urteil abzunehmen. Bis dahin sollten wir Menschenleben jedoch nicht als Versuchskaninchen handhaben.

Vera Bauer

Ich bin 24 Jahre alt und wohne in der Nähe von Wolfsburg. Hier habe ich mich als Bloggerin und YouTuberin selbstständig gemacht. Technik begleitet mich durch meinen ganzen Alltag - studiert habe ich beispielsweise "Interactive Media Design", ein Studiengang, der Technik und Design miteinander verbindet. Auf meinem YouTube-Kanal nehme ich meine Zuschauer zu Techevents mit und stelle Geräte in kreativen Reviews vor :)

Ähnliche Artikel

Schreibe einen Kommentar

Schaltfläche "Zurück zum Anfang"