Computergestützte Entscheidungen können die Welt verbessern. Der Staat müsste eigentlich Vorbild sein. Doch das ist keine Trivialität, wenn man auf die Praxis schaut – Systeme werden zur Anwendung gebracht, die aus ganz unterschiedlichen Gründen eigentlich so nicht einsetzbar sind. Dieser Blogbeitrag ist Teil der Statusupdate-Kolumne (mehr dazu am Ende des Beitrags).

Es sind gleich zwei Fälle staatlicher Anwendung die derzeit die Gemüter erregen. Einmal der Fall eines Mannes, der gerne ein Haus bauen würde, dem aber der Grundstückserwerb mehrfach verweigert wurde. Mehrere Medien griffen den Fall in den vergangenen Tagen auf. Unter Verweis auf die staatliche „Finanz-Sanktionsliste“ (FiSaLis), die seit 2002 geschäftliche Aktivitäten von Al-Qaida-Unterstützern verhindern soll und seitdem um weitere Sanktionsbetroffene erweitert wurde, wurde dem Mann der Eintrag in das Grundbuch verweigert. Das Fisalis-Onlineportal hatte in seiner Namensliste eine hundertprozentige Trefferquote errechnet: alle Bestandteile seines Namens waren darin aufzufinden. Tatsächlich hatte sich der Mann aber nichts zuschulden kommen lassen: Weder stand er jemals im Verdacht der Terrorismusunterstützung noch gab es eine tatsächliche Übereinstimmung der Einträge – wenn man mehr als nur die reine Trefferquote der Namensbestandteile in die Entscheidung einbezogen hätte.

Nur ein Anwendungsfehler?

Ist dies als Anwendungsfehler durch den bearbeitenden Sachbearbeiter zu bewerten? Das scheint mehr als streitbar. In jedem Fall ist das System (das jeder einsehen und ausprobieren kann) unzulänglich gestaltet. Für Anwender:innen gibt es keine Anleitung für den richtigen Einsatz, und auch keinen Hinweis dafür, wie die Trefferquote generiert wird. Sucht man alleine nach dem Vornamen „Vladimir“, gibt es ebenfalls eine hundertprozentige Trefferquote. Natürlich könnte man von jemandem, der bei einer derartig weitreichenden Entscheidung auf diese Liste vertraut, auch erwarten, sich dafür Hilfe zu holen, sich zu informieren. Nachvollziehbar erscheint das Sachbearbeiterversagen dennoch: Hier sind diejenigen, die das Werkzeug eingeführt haben, ihren Sorgfaltspflichten nicht nachgekommen, den späteren Anwendern auch tatsächliche Hilfestellung zu leisten. Nun könnte man glauben: FiSaLis gibt es seit langer Zeit, inzwischen sollten Gesetzgeber und Anwender doch viel weiter sein. Doch ein zweiter Fall lässt daran zweifeln.

Broken by Design: die Fluggastdatenspeicherung

Wer in Deutschland ein Flugzeug besteigt oder verlässt und dabei die Außengrenze überschreitet, hat Dank der Passagierdatenspeicherung (PNR) fortan einen digitalen Schatten. Über eine EU-Richtlinie haben sich die Mitgliedstaaten dazu verpflichtet, von Fluggesellschaften erfasste und gespeicherte Daten zu allen Reisenden zu prüfen. Was das genau umfasst? Das „Fluggastdatengesetz“ von 2017, die Umsetzung des Europarechts, stellt in §2 eine sehr exakte Liste dazu auf, welche Daten an die „Fluggastdatenzentrale“ übermittelt werden müssen:

(2) Fluggastdaten sind folgende Daten:

      1. Familienname, Geburtsname, Vornamen und Doktorgrad des Fluggastes,
      2. Angaben zum Fluggastdaten-Buchungscode,
      3. Datum der Buchung und der Flugscheinausstellung,
      4. planmäßiges Abflugdatum oder planmäßige Abflugdaten,
      5. Anschrift und Kontaktangaben, einschließlich Telefonnummer und E-Mail-Adresse,
      6. Flugscheindaten, einschließlich Flugscheinnummer, Ausstellungsdatum, einfacher Flug und automatische Tarifanzeige,
      7. vollständige Gepäckangaben,
      8. etwaige erhobene erweiterte Fluggastdaten (Advance Passenger Information-Daten), einschließlich Art, Nummer, Ausstellungsland und Ablaufdatum von Identitätsdokumenten, Staatsangehörigkeit, Familienname, Vornamen, Geschlecht, Geburtsdatum, Luftfahrtunternehmen, Flugnummer, Tag des Abflugs und der Ankunft, Flughafen des Abflugs und der Ankunft, Uhrzeit des Abflugs und der Ankunft,
      9. sonstige Namensangaben,
      10. alle Arten von Zahlungsinformationen, einschließlich der Rechnungsanschrift,
      11. gesamter Reiseverlauf für bestimmte Fluggastdaten,
      12. Angaben zum Vielflieger-Eintrag,
      13. Angaben zum Reisebüro und zur Sachbearbeiterin oder zum Sachbearbeite
      14. Reisestatus des Fluggastes mit Angaben über Reisebestätigungen, Eincheckstatus, nicht angetretene Flüge und Fluggäste mit Flugschein aber ohne Reservierung
      15. Angaben über gesplittete und geteilte Fluggastdaten
      16. allgemeine Hinweise, einschließlich aller verfügbaren Angaben zu unbegleiteten Minderjährigen unter 18 Jahren, wie beispielsweise Namensangaben, Geschlecht, Alter und Sprachen der oder des Minderjährigen, Namensangaben und Kontaktdaten der Begleitperson beim Abflug und Angabe, in welcher Beziehung diese Person zu der oder dem Minderjährigen steht, Namensangaben und Kontaktdaten der abholenden Person und Angabe, in welcher Beziehung diese Person zu der oder dem Minderjährigen steht, begleitende Flughafenmitarbeiterin oder begleitender Flughafenmitarbeiter bei Abflug und Ankunft
      17. Sitzplatznummer und sonstige Sitzplatzinformationen
      18. Angaben zum Code-Sharing
      19. Anzahl und Namensangaben von Mitreisenden im Rahmen der Fluggastdaten und
      20. alle vormaligen Änderungen der unter den Nummern 1 bis 19 aufgeführten Fluggastdaten.

In der Fluggastdatenzentrale der Bundespolizei sollen all diese Daten dann daraufhin ausgewertet werden, ob jemand versucht auszureisen, gegen den ein Haftbefehl vorliegt. Oder ob jemand reisen möchte, der als Sicherheitsrisiko für den Luftverkehr eingeschätzt wird. Ob jemand reist, der mit Terrorismus oder organisierter Kriminalität in Verbindung steht. Fünf Jahre lang werden diese Daten gespeichert – eine Speicherungspflicht, die auf der einen Seite Flugbewegungen später verdächtig gewordener Menschen nachvollziehbar macht. Zum anderen ist sie aber auch eine anlasslose, massenhafte Vorratsdatenspeicherung wie jene der Verbindungsdaten im Bereich der Telekommunikation ist, die höchstrichterlich umstritten ist. Seit dem 29. August 2018 ist das System nun in Betrieb. Und bis Ende März 2019 wurden, so die Auskunft der Bundesregierung an den Linken-Innenpolitiker Andrej Hunko, 3,5 Millionen Fluggastdatensätze an die dafür bei der Bundespolizei eingerichtete Stelle übermittelt – von denen bislang 1,2 Millionen im System erfasst wurden.

94.098 mal, also bei etwa jedem 13. Passagier, schlug das System dabei an. Diese Treffer wurden anschließend von Menschen geprüft. Am Ende blieb dabei eine geringe Trefferquote übrig: Gerade einmal 277 echte Treffer resultierten aus der Speicherung der Daten von 1,2 Millionen Menschen. Um also einen einzigen Treffer zu landen werden fast 4.400 Personendatensätze gerastert, 339 Menschen werden für einen Treffer von den dabei angewandten Algorithmen zu Unrecht verdächtigt, erfahren davon jedoch nie etwas. Eine Auskunftspflicht an die zu Unrecht Verdächtigten ist im Fluggastdatengesetz genau wie in der EU­­-PNR-Richtlinie nicht vorgesehen. Auch eine allgemeine Information bei Flugbuchung, dass ein solches System zum Einsatz kommt, ist nicht vorgeschrieben. Den allermeisten Passagieren dürfte die Fluggastdatenspeicherung daher vollkommen unbekannt sein. Das wäre aber Grundvoraussetzung, um sich konkret gegen solche aus dem angewandten System erwachsenden Verdächtigungen juristisch zur Wehr setzen zu können und eine Überprüfung der grundrechtlichen Verträglichkeit des konkreten Systems herbeizuführen, selbst dann, wenn am Ende die Reise nicht versagt wurde.

Der Staat ist ein schlechtes Vorbild

Beide Fälle zeigen: Bei einem gesamtgesellschaftlich sinnvollen Einsatz von Algorithmen – und dazu kann auch der Bereich der öffentlichen Sicherheit gehören – steht der Staat noch ganz am Anfang. Derzeit werden die Bürger als Versuchskaninchen für Feldversuche genutzt, bei denen die Verhältnismäßigkeit der Speicherung und Verarbeitung zu den damit erreichbaren Ergebnissen offenbar keine Rolle spielt. Was bei Unternehmen zurecht für Kritik sorgt, kann beim Staat nicht billig sein: Irgendein System macht irgendetwas und am Ende steht eine Entscheidung. Ausgerechnet der Staat, der ja eigentlich eine Vorbildfunktion haben sollte und der aufgrund seiner Garantenstellung für die Bürger besonderen Sorgfaltspflichten unterliegt, zerstört damit Grundvertrauen in die Möglichkeiten automatisierter oder algorithmengestützter Entscheidungsfindungen.

Angemessen wäre es, wenn gerade bei solch heiklen Systemen der Staat seiner Vorbildfunktion gerecht würde. Zum einen, indem er nicht nur die Datengrundlagen benennt, sondern auch die Verwendung und Funktionsweise. Indem er darauf achtet, dass Datenerhebung und Verarbeitung in einem angemessenen Verhältnis zum Nutzen stehen. Dass die Nutzer in Verwaltung und Behörden beigebracht bekommen, was für Systeme sie anwenden und welche Probleme diese haben. Und indem er darauf achtet, dass Bürger in die Lage versetzt werden, eine unabhängige, richterliche Überprüfung der Systeme herbeizuführen. Kann das wirklich schon zu viel verlangt sein?

Statusupdate – Automatisierte Entscheidungen sind ein wesentlicher Treiber der digitalen Veränderungen. Viele Aspekte der Debatte rund um künstliche Intelligenz sind dabei Teil der größeren Diskussion über Digitalisierung: wie verändern wir die Welt zum Guten? Wie lassen sich technologischer Fortschritt, Werte und Weltsichten miteinander in Einklang bringen? Welche Prämissen sind es, die jenseits technologischer Determinanten eine Rolle spielen? Viele Fragen, für die politische Akteure regelmäßig Antworten finden sollen und müssen. In der Kolumne Statusupdate werden die Entwicklungen der Digitalpolitik beobachtet und kommentiert.

 

Dieser Artikel ist lizenziert unter einer Creative Commons Namensnennung 4.0 International Lizenz.