Algorithmische Herrschaft

Algorithmische Herrschaft beschreibt eine Gesellschaft, in der automatisierte Systeme Entscheidungen treffen, die traditionell von Menschen gefällt wurden: Wer bekommt einen Kredit? Wer wird bei einer Bewerbung eingeladen? Welches Viertel wird verstärkt polizeilich überwacht? Wer gilt als Sicherheitsrisiko?

Das Konzept hat seinen Ursprung in der realen Technologiekritik der 2010er Jahre. Cathy O'Neils Weapons of Math Destruction (2016) dokumentierte, wie algorithmische Systeme bestehende Ungleichheiten verstärken, weil sie auf historischen Daten trainiert werden, die bereits Vorurteile enthalten. Chinas Sozialkreditsystem, das Bürger anhand ihres Verhaltens bewertet und mit Einschränkungen oder Privilegien belohnt, gab dem Konzept ein konkretes Gesicht.

In der Science-Fiction ist algorithmische Herrschaft ein zentrales Thema geworden. Dave Eggers' The Circle (2013) zeigt ein Technologieunternehmen, das totale Transparenz als Utopie verkauft. Die TV-Serie Black Mirror (besonders die Episode Nosedive) inszeniert eine Gesellschaft, in der soziale Bewertungen das gesamte Leben bestimmen. Malka Olders Centenal Cycle beschreibt eine Welt, in der ein algorithmisches System namens Information die globale Demokratie verwaltet.

Die zentrale Frage lautet: Wenn Algorithmen nachweislich besser vorhersagen können als Menschen (und in vielen Bereichen tun sie das), warum sollte man sie dann nicht entscheiden lassen? Die Antwort der Literatur ist komplex: Effizienz und Gerechtigkeit sind nicht dasselbe, und ein System, das auf Optimierung ausgelegt ist, kann Werte zerstören, die sich nicht quantifizieren lassen.

Die SF-Tradition der Algorithmus-Kritik ist reicher als oft angenommen. Yevgeny Zamyatins Wir (1924), der Urtext der Dystopie, beschreibt einen Staat, in dem alles auf mathematische Harmonie reduziert ist und in dem Menschen als Zahlen agieren. Das ist algorithmische Herrschaft avant la lettre. Wir kann heute als Prophezeiung eines datengesteuerten Totalitarismus gelesen werden, ohne dass der Text auch nur einen Computer erwähnt.

Die realen Versionen sind subtiler, aber nicht weniger problematisch. Amazons Warenempfehlungssystem entscheidet mit, welche Bücher gelesen werden, was implizit entscheidet, welche Ideen zirkulieren. Youtubes Empfehlungsalgorithmus hat messbar zur Radikalisierung von Nutzern beigetragen, nicht durch Absicht, sondern durch Optimierung auf Watchtime. Spotify bestimmt, welche Musik gespielt wird, und damit, welche Musiker eine Karriere machen können. Diese Systeme herrschen nicht durch Zwang, sondern durch Aufmerksamkeitssteuerung.

Für Autoren, die dystopische Zukünfte entwerfen, ist algorithmische Herrschaft deshalb produktiver als klassische Orwell-Diktaturen. Ein Diktator ist offensichtlich böse. Ein Algorithmus, der einfach optimiert, was seine Nutzer möchten, ist schwerer zu bekämpfen, weil er keinen Feind hat, sondern nur Metriken.