Die niederländische Regierung hat in den vergangenen Jahren einen geheimen Algorithmus zur Bekämpfung von Sozialleistungsbetrug verwendet. Im Februar 2020 entschied ein Gericht die sofortige Einstellung wegen Verletzung der Privatsphäre und Intransparenz. Zivilgesellschaftliche Organisationen fordern, dass Bürger:innen besser darüber informiert werden, wofür ihre Daten im öffentlichen Sektor verwendet werden. Diese von Koen Vervloesem zusammengetragenen Erkenntnisse machen unsere zweite Station der AlgoRail-Sommerreise durch Europa aus, auf der wir mehr darüber erfahren wollen, wie algorithmische Systeme in unserer europäischen Nachbarschaft eingesetzt werden.

In ihrem Kampf gegen Betrug gleicht die niederländische Regierung seit 2014 persönliche Daten von Bürger:innen in verschiedenen Datenbanken ab. Dieses System mit dem Namen SyRI (für „System Risiko Indikation“) will „unwahrscheinliche Bürgerprofile“ finden, die eine weitere Untersuchung rechtfertigen. Trotz erheblicher Einwände war SyRI eingeführt worden, ohne den Bürger:innen transparent zu machen, was mit ihren Daten geschieht.

Die Idee hinter SyRI: Wenn bestimmte Regierungsbehörden den Verdacht haben, dass in einer Nachbarschaft Betrug mit Leistungen, Zulagen oder Steuern vorliegt, können sie SyRI verwenden, das dann darüber entscheidet, welche Bürger:innen in der Nachbarschaft weiter untersucht werden müssen.

Fälschlich positiv?

Es ist ein detailliertes Verfahren für Regierungsbehörden vorgegeben, die SyRI verwenden wollen. Die Behörde, die um die Analyse bittet, kann nicht einfach die Bürger:innen bestrafen, die wegen einer unwahrscheinlichen Kombination von Daten gekennzeichnet wurden. Zunächst werden die gekennzeichneten Bürger:innen im Ministerium für Soziales und Beschäftigung auf fälschlich positive Kennzeichnung untersucht. Diese Daten werden dann nicht weitergegeben.

Keine Transparenz

Aber selbst mit diesen Vorprüfungen ist der Mangel an Transparenz immer noch ein großes Problem. Die Bürger:innen werden nicht automatisch gewarnt, wenn sie von SyRI als mögliche Betrüger:innen gekennzeichnet werden, und sie haben keinen Zugang zu den Gründen, warum sie gekennzeichnet wurden, welche Daten SyRI verwendet werden und wie. Aus der rechtlichen Grundlage für SyRI ist nur bekannt, dass das System Querverweise auf Daten über Arbeit, Bußgelder, Strafen, Steuern, Immobilien, Wohnen, Bildung, Ruhestand, Schulden, Leistungen, Zulagen, Subventionen, Genehmigungen und Befreiungen und vieles mehr erstellen kann. Anfang 2018 reichte die Plattform Bescherming Burgerrechten eine Klage gegen den niederländischen Staat ein, um die Nutzung von SyRI zu stoppen.

Black Box

SyRI pseudonymisiert die verwendeten Datenquellen mit einer „Black Box“-Methode, so dass für jede Datenquelle, die verknüpft wird, alle Namen der Bürger:innen durch einen eindeutigen Identifikator für jede Person ersetzt werden.

Es ist immer noch unklar, was in dieser „Black Box“ geschieht, und die niederländische Regierung blockierte alle Versuche, Licht in diese Angelegenheit zu bringen. Im Jahr 2017 beschloss das Sozialministerium, dass die von ihm verwendeten Risikomodelle geheim gehalten werden sollten. Ein Grund dafür war, dass potenzielle Täter ihr Verhalten anpassen könnten, wenn der Staat die Risikomodelle von SyRI offenlegen würde.

Selektive Nutzung

Es gibt noch ein weiteres Problem beim Einsatz von SyRI: Es hat sich herausgestellt, dass SyRI vor allem in einkommensschwachen Vierteln eingesetzt wurde. Dies verschärft Verzerrungen und Diskriminierung: Wenn die Regierung die Risikoanalyse von SyRI nur in Stadtvierteln verwendet, die bereits als Hochrisikoviertel für Betrugsversuche gelten, ist es kein Wunder, dass sie dort auch mehr Betrüger:innen ausfindig macht.

SyRI nicht notwendig

Nach Ansicht von Herrn Huissen von der Plattform Bescherming Burgerrechten braucht die Regierung diese Art der Massenüberwachung auch nicht, um Betrug zu verhindern: „Der Regierung liegen bereits Informationen darüber vor, wem welches Haus gehört, so dass sie dies überprüfen könnte, bevor sie der Person eine Mietzulage gewährt. Bei allen großen Betrugsskandalen in der Sozialversicherung, die wir in den vergangenen Jahrzehnten erlebt haben, wurde im Nachhinein klar, dass sie mit einfachen Kontrollen im Vorfeld hätten verhindert werden können. Das geschieht viel zu wenig. Es ist verlockend mit geheimen Algorithmen, die große Datensätze analysieren, nach Lösungen zu suchen, aber oft ist die Lösung viel einfacher.“

Kein fairer Ausgleich

Am 5. Februar 2020 ordnete das niederländische Gericht in Den Haag die sofortige Einstellung von SyRI an, weil es gegen Artikel 8 der Europäischen Menschenrechtskonvention verstößt, der das Recht auf Achtung des Privat- und Familienlebens schützt. Artikel 8 verlangt, dass jede Gesetzgebung einen „fairen Ausgleich“ zwischen sozialen Interessen und jeglicher Verletzung des Privatlebens der Bürger:innen findet.

Das Ziel oder „soziales Interesse“ von SyRI ist es, Betrug zu verhindern und zu bekämpfen. Der niederländische Staat behauptete, dass die SyRI-Gesetzgebung ausreichende Garantien dafür biete, dies zu tun und gleichzeitig die Privatsphäre der Bürger:innen zu schützen, doch das Gericht stimmte dem nicht zu. Die Gesetzgebung sei nicht ausreichend transparent und überprüfbar, und es gebe nicht genügend Garantien gegen Eingriffe in die Privatsphäre, schrieben die Richter.

Das größte Problem von SyRI ist nicht, dass es Betrug bekämpfen will, sondern dass das System zu undurchsichtig ist. Wenn die Regierung dieses Problem „beheben“ wolle, müsse sie mehr Transparenz schaffen.

Eine neue Art des Umgangs mit Algorithmen

Öffentliche Organisationen in den Niederlanden haben auf die Entscheidung des Gerichts reagiert, indem sie ihre eigenen algorithmischen Systeme zur Betrugserkennung neu bewertet haben. Tijmen Wisman, Vorsitzender der Plattform Bescherming Burgerrechten, hofft, dass die Regierung mehr tun wird. „Nur die Anpassung von SyRI hin zu mehr Transparenz wird immer noch zu einer Informationsasymmetrie führen. Die Bürger:innen wollen ihrer Regierung keine Informationen mehr geben, wenn sie diese Informationen auf alle möglichen Arten gegen sie verwenden kann“. „Daten dürfen nicht mehr frei herumtreiben, sondern müssen in einer authentischen Datenquelle aufbewahrt werden. Jede Organisation sollte jedes Mal, wenn ihre Daten konsultiert werden, Protokolle darüber führen.  Bürger:innen sollten leicht auf diese Protokolle zugreifen können, denn dadurch wird ihnen klar, wozu ihre Daten verwendet werden, und sie könnten diese Verwendung im Zweifel auch anfechten.“

Das war’s für den zweiten Stopp unseres AlgoRails! Genießt den nachdenklich stimmenden Einblick bei der großartigen Aussicht auf niederländische Windmühlen, während wir unsere Reise Richtung Belgien fortsetzen.

Diese Story wurde von Julia Gundlach gekürzt und ins Deutsche übersetzt. Der ungekürzte Beitrag wurde auf der Webseite von AlgorithmWatch veröffentlicht.

Die Blogreihe AlgoRail ist Teil des Automating Society Reports 2020 von der Bertelsmann Stiftung und AlgorithmWatch, der im Herbst dieses Jahres veröffentlicht und von Dr. Sarah Fischer koordiniert wird. Neben journalistischen Geschichten wie dieser, gibt der Report einen Überblick über verschiedene Anwendungsbeispiele algorithmischer Systeme sowie aktuelle Debatten, Policy Responses und wichtige Akteure in 15 Ländern. Eine erste Ausgabe des Reports ist im Januar 2019 erschienen.

Dieser Text ist lizenziert unter einer Creative Commons Namensnennung 4.0 International Lizenz.