Algorithmische Fairness

Algorithmische Fairness untersucht, ob und wie KI-Systeme diskriminierende Entscheidungen treffen. Wenn ein Algorithmus auf historischen Daten trainiert wird und diese Daten gesellschaftliche Ungleichheiten widerspiegeln, reproduziert das System diese Ungleichheiten. Amazon stellte 2018 ein KI-Bewerbungstool ein, das systematisch Frauen benachteiligte, weil es auf überwiegend männlichen Bewerberdaten trainiert worden war.

Das Problem ist mathematisch tückisch: Verschiedene Definitionen von Fairness schließen sich gegenseitig aus. Ein System kann nicht gleichzeitig für alle demografischen Gruppen die gleiche Fehlerquote, die gleiche Trefferquote und die gleiche Vorhersagegenauigkeit haben. Welche Definition von Fairness die richtige ist, hängt vom Kontext ab und ist letztlich eine politische Entscheidung.

Betroffen sind Kreditvergabe, Strafjustiz (COMPAS-Algorithmus in den USA), Gesichtserkennung (höhere Fehlerquoten bei dunkler Hautfarbe), Personalauswahl und Versicherungswesen. ProPublicas Untersuchung des COMPAS-Systems (2016) zeigte, dass der Algorithmus schwarze Angeklagte systematisch als höheres Rückfallrisiko einstufte.

In der Science-Fiction wird algorithmische Diskriminierung zunehmend thematisiert. In Minority Report (2002) trifft ein Vorhersagesystem Entscheidungen über Schuld, bevor eine Tat begangen wird. In Psycho-Pass (Anime) bestimmt ein Score über die Freiheit einer Person. Die Frage, wer die Regeln macht, nach denen eine Maschine über Menschen urteilt, verbindet das technische Problem mit uralten Fragen der Gerechtigkeit.

Das mathematische Kernproblem der algorithmischen Fairness wurde 2016 durch eine akademische Arbeit von Jon Kleinberg, Sendhil Mullainathan und Manish Raghavan formalisiert: Es ist unmöglich, alle gängigen Definitionen von Fairness gleichzeitig zu erfüllen, wenn die Basisraten in verschiedenen Gruppen unterschiedlich sind. Das ist kein technisches Versagen, sondern ein mathematisches Theorem. Fairness muss deshalb definiert werden, bevor ein System gebaut wird, und diese Definition ist eine normative, politische Entscheidung.

Die praktischen Konsequenzen sind weitreichend. Der COMPAS-Algorithmus, der in amerikanischen Gerichten als Rückfallrisiko-Prognose eingesetzt wird, schätzt schwarze Angeklagte systematisch als gefährlicher ein als weiße mit vergleichbaren Einträgen. ProPublica zeigte das 2016 quantitativ. Die Hersteller von COMPAS antworteten, dass ihre Definition von Fairness (gleiche Kalibrierung) mathematisch korrekt sei, und das war sie auch. Nur war es eine andere Definition als die, die ProPublica verwendete, und beide waren statistisch verteidigbar.

Für SF-Autoren ist dieses Kernproblem eine Goldmine. Ein gerechter Algorithmus ist keine technische Frage, sondern eine politische. Wer entscheidet, welche Definition von Gerechtigkeit in ein System eingebaut wird? Das ist eine Machtfrage, die sich durch technische Sprache verschleiert, aber nicht verschwindet.