Wer hat zu Unrecht Arbeitslosengeld oder Sozialhilfe bezogen? Das soll in Australien ein Computerprogramm ermitteln. Im Verdachtsfall verschickt es automatisch Mahnungen. Eine erste Analyse zeigt: Mindestens 20.000 Mal lag das System daneben. Betroffene müssen oft Monate kämpfen, um Fehler zu korrigieren.

Es ist zwei Wochen vor Weihnachten als der Brief eintrifft, der alles durcheinanderbringt. Laut dem Mahnbescheid schuldet eine alleinerziehende Mutter dem australischen Staat 24.000 Dollar Sozialgelder – Schulden von denen sie nichts weiß. Berechnet hat diese Summe ein neu eingeführtes Computerprogramm der Regierung, das zudem selbstständig Mahnbriefe verschickt.

Noch bevor sie die Entscheidung der Software anfechten kann, muss die Frau mit der Rückzahlung von 60 Dollar pro Woche beginnen. Die Nachricht stürzt sie in eine Episode von Existenzängsten: „Ich kann das Geld einfach nicht aufbringen. Werde ich das für die nächsten zehn Jahre zurückzahlen? Wie soll ich jemals aus dieser Sache rauskommen?“, schildert sie ihre Situation dem Guardian.

200.000 Mahnschreiben, 20.000 Fehler zu Lasten der Betroffenen

Zwischen Juni 2016 und März 2017 wurden in Australien rund 200.000 solcher automatisierter Mahnschreiben verschickt. Viele Empfänger hatten dabei falsche Berechnungen erhalten, wie der Guardian berichtet. Laut den neuesten Daten waren die tatsächlichen Schulden in über 13.000 Fällen wesentlich niedriger als errechnet. Und in 7.000 Fällen gab es tatsächlich keine Grundlage für die von der Software eingeforderten Rückzahlungen.

„Früher haben wir für 20.000 Interventionen ein Jahr gebraucht, nun schaffen wir das in einer Woche.“

Wie konnte es zu diesem Massenversand von falschen Mahnbescheiden kommen?

Im Sommer 2016 startete die australische Regierung ein Algorithmen-Experiment in großem Stil. Centrelink, ein Teil des Ministeriums für Sozialleistungen (Department of Human Services), setzte erstmals eine Software zur Überprüfung der Rechtmäßigkeit von Sozialleistungsbezügen ein.

Der verantwortliche Minister Alan Tudge zeigte sich begeistert von der Effizienzsteigerung durch automatisierte Entscheidungen. Man könne nun viel mehr Mahnungen an Menschen verschicken, die zu hohe Leistungen bezogen hätten: „Früher haben wir für 20.000 Interventionen ein Jahr gebraucht, nun schaffen wir das in einer Woche.“

Das dazu eingesetzte Online Compliance Intervention System (OCI) gleicht automatisch die bei Centrelink registrierten Leistungsbezüge einer Person mit deren beim Finanzamt aufgezeichneten Einkommensangaben ab. Im Falle einer Diskrepanz zwischen Steuererklärung und bezogenen Sozialleistungen verschickt die Software automatisch eine Mahnung.

4.500 Dollar soll ein Rentner zurückzahlen – ein Mensch korrigiert die Forderung auf 63,17 Dollar

Zum Jahreswechsel 2016/2017 berichteten mehrere australische Medien über angeblich ungerechtfertigte Mahnschreiben. Laut Recherchen des TV-Senders ABC hatte die Regierung in den ersten sechs Monaten des Einsatzes 200.000 Schreiben wegen Widersprüchen beim Datenabgleich (data matching) verschickt. Bei etwa 80 Prozent dieser Fälle lautete das Ergebnis der algorithmischen Entscheidungsfindung: Menschen schulden dem Staat Geld. Australische Medien nutzten dafür schon bald einen neuen Begriff: Robo-Debt, Roboter-Schulden.

Mittlerweile wurden viele dieser Mahnschreiben angefochten und es stellte sich heraus, dass rund 20.000 der Mahnschreiben falsch waren.

Australische Medien berichten von Einzelfällen wie diesen: Eine 76-jährige Ethnographin wurde aufgefordert, 7600 australische Dollar Rente (umgerechnet ca. 5000 Euro) zurückzahlen. Sie arbeitet ehrenamtlich weiter an ihrer alten Universität und vermutlich hatte das System Forschungsgelder als Einkommen angerechnet.

Ein pensionierter Grundschullehrer wurde wegen Schulden in Höhe von 4500 australischen Dollar (ca. 3300 Euro) benachrichtigt. Nach einer mehrmonatigen Überprüfung korrigierten menschliche Sachbearbeiter den Betrag auf 63,17 Dollar (ca.42 Euro). Warum und wie es zu der Fehlberechnung kam, weiß niemand so genau. Fest steht nur, dass der Lehrer kurz vor der Rente ein untypisches Erwerbsleben hatte. Er leidet an Depression, hörte vor der Pensionierung auf zu unterrichten, arbeitete geringfügig beschäftigt als Platzwart, bezog vor seiner Pensionierung wegen des niedrigen Gehalts anteilig Sozialleistungen.

Die Software unterstellt Einkommen während eines Klinikaufenthalts

Welche psychischen Folgen der Erhalt einer falschen Schuldenmahnung haben kann, wird am Fall von Charmaine Cole aus Sidney deutlich. Wie viele andere Australier erhielt sie kurz vor Weihnachten 2016 einen Centrelink-Brief, der sie über Schulden in Höhe von 2000 Dollar (ca. 1300 Euro) unterrichtete. Das darauf folgende Telefongespräch mit der zuständigen Behörde war nach Coles eigenen Aussagen „schlimmer als der Brief“ denn man gab ihr das Gefühl, etwas falsch gemacht zu haben. „Zum Ende des Gespräches begann ich zu weinen, weil ich völlig überfordert war“, berichtet sie ABC News und auch, dass sie nach dem Telefonat mit der Einnahme von Medikamenten gegen Angststörungen begann.

Das Software-System hatte in Coles Fall fälschlicherweise angenommen, dass sie während eines Krankenhausaufenthaltes 2011 zur Behandlung von klinischer Depression ein Einkommen erzielt hatte.

Viele weitere solcher Berichte sind auf Twitter unter dem Hashtag #notmydebt zu finden.

Was bei Centrelink schief gelaufen ist

Wie genau es zu dem massiven Ausmaß an Fehlentscheidungen kommen konnte, ist nicht abschließend geklärt. Die australische Regierung zeigt kein Interesse, dies öffentlich zu erörtern. Im Bericht des amtierenden australischen Ombudsmanns heißt es nur, dass die falschen Berechnungen zum Teil auf den Umgang des OCI Systems mit fehlenden Steuerdaten zurückzuführen seien.

Laut Recherchen von ABC News können mindestens zwei Probleme die Software in die Irre führen. Erstens werde vorausgesetzt, dass Centrelink-Klienten ihre Einkommensdaten ständig aktualisieren, vor allem bei längerer Krankheit oder Elternzeit. Ist diese Information nicht vorhanden, so ermittelt die Software das durchschnittliche Einkommen eines Jahres und wendet dies auch auf Zeiten an, in denen keines erzielt wurde. Wenn während des Arbeitsausfalls Sozialleistungen in Anspruch genommen wurden, entsteht so der Eindruck eines unrechtmäßigen Bezugs.

Eine weitere Fehlerquelle können falsche Angaben zum Arbeitgeber sein. Ein kleiner Tippfehler beim Namen erweckt beim Datenabgleich den Eindruck, jemand habe zwei Arbeitsstellen.

Trotz dieser Hinweise bleibt der Robo-Debt Fall undurchsichtig. Es gibt keine genauen Informationen über die genutzte Software. Es gibt keinen wissenschaftlich unabhängigen Vergleich der Entscheidungsqualität des neuen maschinellen und des alten auf menschlicher Einschätzung basierenden Verfahrens.

Drei Lehren aus dem Robo-Debt-Fall

Robo-Debt ist ein Paradebeispiel für den missglückten Einsatz algorithmischer Systeme in gesellschaftlich relevanten Zusammenhängen und doch lässt sich daraus etwas lernen.

 

  1. Effizienz immer am gesellschaftlich Sinnvollen messen

Einer der Hauptgründe für die Einführung des OCI Systems war die Leistungssteigerung in der Bearbeitung. Das Centrelink-Debakel macht jedoch deutlich, dass das verlockende Versprechen der erhöhten Effizienz nicht Anlass für den verfrühten Einsatz einer Software sein darf. Besonders wenn ein Algorithmus Menschen bewertet, sind die Anforderungen an dessen Zuverlässigkeit außerordentlich hoch und das Sicherstellen von Teilhabe muss das oberste Ziel sein. Menschliche Arbeitskraft durch Software zu ersetzen darf somit kein Selbstzweck sein, sondern Kernbestandteil eines Technikeinsatzes, der die faire Partizipation aller Individuen am gesellschaftlichen Leben in den Vordergrund stellt.

 

  1. Ziele und Umsetzung vor dem Einsatz öffentlich diskutieren und prüfen

Um Teilhabe zu ermöglichen, muss vor der Einführung einer Software sichergestellt werden, dass das Wohl des Einzelnen nicht im Namen der Effizienz riskiert wird. Wenn ein solches System in gesellschaftlich sensiblen Fragen entscheidet, ist Transparenz über dessen Einsatz unumgänglich. Das Ziel muss klar benannt werden, ebenso wie Kriterien zu dessen Qualitätsprüfung. Im Falle von Centrelink wäre dies zum Beispiel ein wissenschaftlich solider Vergleich der Fehlerquoten menschlicher und maschineller Entscheidung gewesen. Nur auf Basis solcher Informationen kann ein öffentlicher Diskurs entstehen, der die Verbesserung von ADM Prozessen zum Ziel hat.

Wenn Menschen bewertet werden, darf dies nicht durch eine sogenannte „Bananen-Software“ geschehen, die unfertig auf den Markt gebracht wird und im Einsatz reift. Für Trial und Error ist der Einsatz zu hoch.

 

  1. Effektive Beschwerde- und Korrekturmöglichkeiten für Betroffene schaffen

Es ist ironisch, dass der verantwortliche Algorithmus in Australien ausgerechnet im Department für Human Services eingesetzt wurde, denn genau darin scheiterte er: sich in den Dienst des Menschen zu stellen.

Die OCI Software operiert nach einem heuristischen Prinzip – ihre Wirkungslogik ist nicht perfekt, führt aber in der Mehrzahl von Fällen zu einem richtigen Ergebnis. Das ist auch der Grund, warum sie in Australien bis heute eingesetzt wird . Allerdings führt die erhöhte Effizienz durch den Algorithmus auch zu einer absolut höheren Anzahl von Fehlurteilen.

Fehlurteile sind auch in menschlicher Bearbeitung unvermeidbar, doch wenn sie in großer Zahl auftreten muss diesem Umstand Rechnung getragen werden. Nur wenn die Beschwerde- und Korrekturmöglichkeiten im gleichen Maße steigen wie die Effizienz in der Bearbeitung, kann die skalierte Fehlerquote abgefangen werden. Überlastete Hotlines wie bei Centrelink sind hingegen das Resultat einer einseitigen Effizienzsteigerung.

Kürzlich kündigte die australische Regierung an, nun einen Verweis auf das Recht zur Anfechtung der maschinellen Entscheidung in das Mahnschreiben aufzunehmen. Das zuständige Komitee des australischen Senates fordert darüber hinaus die Zusammenstellung eines Teams von Experten, dass die Prüfung der Mahnbescheide übernimmt.

Im Robo-Debt Fall wurde die Beweislast umgedreht und Sozialhilfeempfängern eine Bringschuld aufgebürdet. Kritiker wie Helen Davidson bezeichnen die Forderung nach ständiger Aktualisierung von Einkommensdaten als „überzogen“. Der dafür erforderliche gute Internetzugang, wie auch relevante digitale Kompetenzen sind nicht vorauszusetzen. Auch in der Anfechtung von Fehlentscheidungen war es an den Centrelink Klienten, die Maschine zu widerlegen – teilweise für Bezüge, die sechs Jahre zurücklagen.

Wenn eine Software mit unsauberen Daten rechnet und die Anzahl der Entscheidungen massiv erhöht wird, darf nicht gelten: „guilty until proven innocent“. Die Machtlosigkeit des Einzelnen gegenüber der Maschine ist ein dystopisches Technologie-Szenario. Wenn algorithmische Systeme über Menschen entscheiden, muss sichergestellt sein, dass sie für den Menschen und nicht gegen ihn arbeiten. Im Zweifel für den Angeklagten.

Sie wollen eine Benachrichtigung erhalten, wenn neue Beiträge in diesem Blog erscheinen? RSS-Feed oder hier den E-Mail-Newsletter abonnieren.

Weitere Quellen: