Weit verbreitet Gesundheits-Vorhersage-Algorithmus gefunden, um Vorurteile gegen schwarze

Von der Vorhersage, wer Wiederholungstäter ist, wer ist der beste Kandidat für einen job, computer-algorithmen sind jetzt dabei, komplexe Entscheidungen anstelle des Menschen. Aber auch zunehmend viele dieser algorithmen gefunden werden, um replizieren die gleiche Rasse, sozioökonomischen, soziokulturellen oder geschlechtsspezifischen Vorurteile, die Sie errichtet wurden, zu überwinden.

Diese rassistische Voreingenommenheit erstreckt sich auch auf software, die weit verbreitet in der health care Branche, die potenziell Auswirkungen auf den Zugang zur Gesundheitsversorgung für Millionen von Amerikanern, entsprechend einer neuen Studie von Forschern an der University of California, Berkeley, der University of Chicago Booth School of Business und Partners HealthCare in Boston.

Die neue Studie, veröffentlicht Okt. 25 in der Zeitschrift Wissenschaft, gefunden, dass eine Art von software-Programm, das bestimmt, wer Zugang bekommt, um mit hohem Risiko heath care-management-Programme können routinemäßig gesünder das weiße in den Programmen vor schwarzen, die sind weniger gesund. Die Festsetzung dieser bias in den Algorithmus könnte mehr als die doppelte Anzahl an schwarzen Patienten automatisch zugelassen, um diese Programme, wie die Studie ergab.

„Wir haben festgestellt, dass sich eine Klasse von algorithmen, die sich auf Gesundheitsversorgung Entscheidungen für über hundert Millionen Amerikaner zeigt signifikante racial bias“, sagt Sendhil Mullainathan, das römische Familie University Professor of Computation and Behavioral Science an der Chicago Booth und senior-Autor der Studie.

„Die algorithmen Kodieren racial bias durch die Verwendung von Gesundheits-Kosten zu ermitteln, Patienten „Risiko“, oder wer war am meisten profitieren von care-management-Programme“, sagte Ziad Obermeyer, handeln, außerordentlicher professor der Gesundheitspolitik und management an der UC Berkeley und Hauptautor des Papiers.

„Weil die strukturellen Ungleichheiten, die in unserem Gesundheitssystem, blacks auf einer bestimmten Ebene der Gesundheit am Ende erzeugen geringere Kosten als weiße,“ sagte Obermeyer. „Als Ergebnis, schwarzen Patienten waren viel kränker auf einer bestimmten Ebene des Algorithmus vorhergesagten Risiko.“

Durch änderungen im Algorithmus verwenden, andere Variablen vorherzusagen Risiko für den Patienten, wie Kosten, die vermieden werden könnten durch vorbeugende Pflege, die Forscher waren in der Lage, richtig viel von der Vorspannung, die ursprünglich gebaut in den Algorithmus.

„Algorithmen an sich sind weder gut noch schlecht,“ Mullainathan sagte. „Es ist lediglich eine Frage der Pflege, wie Sie gebaut sind. In diesem Fall, das problem ist bestens Fixier—und mindestens ein Hersteller zu sein scheint an einem Update arbeitet. Wir möchten andere dazu ermutigen, das zu tun.“

Generell, sagte Obermeyer, Einbeziehung routine audits in Algorithmus Entwickler-workflows helfen würde. „Für algorithmen, genau wie für Medizin,“ sagte er, „es wäre uns lieber, um Probleme zu verhindern, anstatt Sie zu heilen.“

Graben die Wurzeln der algorithmischen bias

Die Aufdeckung Algorithmische bias—sei es in der Strafjustiz, in Personalentscheidungen oder im Gesundheitswesen—oft behindert durch die Tatsache, dass viele von der Vorhersage-algorithmen im Einsatz sind heute entworfen, von privaten Unternehmen und proprietär, so dass es schwierig für Daten-Wissenschaftler und Forscher, um Sie zu analysieren.

Um diesem problem zu begegnen, Mullainathan und Obermeyer gemeinsam mit Forschern an einem akademischen Krankenhaus, das war mit einem Risiko-basierten Algorithmus, um zu bestimmen, welche Patienten erhielten bevorzugten Zugang zu einem hoch-Risiko-care-management-Programm. Programme wie diese sind entworfen, um die Verbesserung der Versorgung für Patienten mit komplexen medizinischen Bedürfnissen, indem Sie Ihnen zusätzliche Aufmerksamkeit und Ressourcen.

Für 43,539 weißen Patienten und 6,079 schwarzen Patienten im Krankenhaus, die Forscher erhalten den Algorithmus vorhergesagt, Risiko-score und im Vergleich zu direkter Maßnahmen für die Gesundheit des Patienten, einschließlich der Anzahl der chronischen Erkrankungen und anderen Biomarkern.

Sie fanden, dass, für eine gegebene Risiko-score, der schwarzen hatte deutlich schlechtere Gesundheit als Ihre weißen Pendants.

„Statt ausgebildet zu finden, das krasseste, in einem physiologischen Sinne, [algorithmen] endete ausgebildet zu finden, die sickest im Sinne derer, denen wir verbringen die meiste Geld auf,“ Mullainathan sagte. „Und es gibt systemische Rasse Unterschiede in der Gesundheitsversorgung, in die wir Geld ausgeben.“

Patienten, deren Risiko erzielt landete in der top-97% wurden automatisch ermittelt, die für eine Aufnahme in das Pflege-management-Programm. Durch die Korrektur für die Gesundheit Disparitäten zwischen schwarzen und weißen, die Forscher festgestellt, dass der Anteil der schwarzen in der automatischen Teilnehmer-Gruppe sprang von 18% auf 47%.

Aber es gibt Raum für Hoffnung, sagte Obermeyer. Die Ausbildung der Algorithmus zum berechnen des Risikos, basierend auf andere messbare Variablen, wie beispielsweise die vermeidbaren Kosten, oder die Anzahl der chronischen Erkrankungen, der Behandlung benötigt, in einem Jahr, deutlich reduziert die racial bias.

Und wenn alarmiert, um die Neigung integriert der Algorithmus, der software-Hersteller war sehr motiviert, das Problem anzugehen, sagte Obermeyer.