Erlesenes: Ethnic Profiling, automatisierte Übersetzungssoftware, Bias in Trainingsdatensets

In dieser Erlesenes-Ausgabe zeigen gleich zwei Beispiele, welche problematischen Auswirkungen KI-Systeme auf das Leben von Migrant:innen haben können: Zum einen warten die Niederlande abermals mit einem diskriminierenden System – diesmal im Bereich der Visavergabe – auf, das dank einer Investigativrecherche von Lighthouse Reports offengenlegt wurde. Das zweite Beispiel befasst sich mit dem Einsatz von KI-Übersetzungsprogrammen für die Kommunikation mit afghanischen Geflüchteten und den menschlichen Tragödien, die ungenaue Übersetzungen ohne ausreichend menschliche Kontrolle auslösen können. Außerdem: was algorithmenethik.de mit dem Training von Sprachmodellen zu tun hat.

Viel Spaß beim Lesen wünschen
Teresa und Michael

Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns immer über Feedback – der Newsletter lebt auch von Ihrer Rückmeldung und Ihrem Input. Melden Sie sich per E-Mail an teresa.staiger@bertelsmann-stiftung.de oder bei Twitter unter @reframeTech. 

„Bitte bewerten Sie Ihren Schulalltag mit 0 bis 5 Sternen…“

Teachers in Denmark are using apps to audit their students’ moods, MIT Technology Review, 17.4.2023

In Schulen werden Daten und deren Auswertung zunehmend eingesetzt, um Lehrpläne zu erstellen oder das Wohlbefinden der Kinder sicherzustellen. Im Artikel fasst Journalist Arian Khameneh die Erfahrungen zusammen, die insbesondere in skandinavischen Ländern mit solchen Systemen gemacht werden. So wird beispielsweise in über 600 Schulen in Dänemark die Anwendung Woof eingesetzt. Sie empfiehlt Lerninhalte abhängig von einer datenbasierten Auswertung des Wohlbefindens der Schüler:innen. Die Daten dafür werden durch regelmäßige Umfragen gesammelt und in der Gruppe besprochen. Das erlaubt es Lehrkräften, schneller zu reagieren, als es bei groß angelegten Umfragestudien der Fall ist. Expert:innen sehen aber solche Systeme kritisch: Einerseits sei ihre Wirksamkeit nicht nachgewiesen, andererseits machen ständige Umfragen Selbstüberwachung zur Gewohnheit.

Der Risikotourist kommt aus Nepal, ist ledig und zwischen 35 und 40 Jahren alt

Ethnic Profiling, Lighthouse Reports, 24.4.2023

Wieder gibt uns eine investigative Recherche von Lighthouse Reports einen Einblick in den staatlichen Einsatz von Künstlicher Intelligenz (KI). Dieses Mal geht es um ein System zur automatisierten Profilbildung von Migrant:innen in den Niederlanden. Seit 2015 werden dabei bei Visaanträgen Daten über die Antragssteller:innen ausgewertet, darunter auch die Nationalität, Alter oder Gender. Wird im Profil ein hoher „Risikoscore“ berechnet, bedeutet das für die Betroffenen längere Wartezeiten, Ausforschungen durch die Behörden oder gar eine Ablehnung ihres Asylantrags. Gerade wenn ausländische Familienangehörige von Niederländer:innen kurz zu Besuch kommen wollen, können so unnötige Verzögerungen entstehen. Die Recherche deckte dabei nicht nur das bisher geheime System als solches auf, sondern auch, dass das niederländische Außenministerium hier durchaus die Gefahr von Diskriminierungen sieht. Versuche, den Einsatz des Systems zu stoppen, blieben aber bislang erfolglos. Nicht zuletzt aufgrund dieser Risiken fordern zivilgesellschaftliche Organisationen, dass der Einsatz von KI im Migrationsbereich in der KI-Verordnung separat reguliert und teilweise verboten werden sollte.

Antrag übersetzt – Antrag abgelehnt

AI translation is jeopardizing Afghan asylum claims, Rest of World, 19.4.2023

Bleiben wir im Migrationsbereich: Netzkultur-Journalist Andrew Deck berichtet darüber, wie bei der Bearbeitung von Asylanträgen zunehmend automatisierte Übersetzungssoftware eingesetzt wird. Doch diese Werkzeuge produzieren immer wieder Fehler oder stellen Kontexte nicht korrekt dar (Erlesenes berichtete). In mehreren Asylverfahren in den USA scheint es dabei insbesondere bei den in Afghanistan gesprochenen Sprachen Pashto und Dari Probleme zu geben. In einem Fall wurde der Antrag abgelehnt, weil angeblich die schriftliche Bewerbung nicht mit den Angaben im Interview übereinstimmte. Der Fehler lag dabei darin, dass die automatische Übersetzung das Pronomen „ich“ durchgehend durch „wir“ ersetzte. Nicht immer scheint Behörden oder den durch sie beauftragen Privatunternehmen bewusst zu sein, dass Übersetzungssoftware für weniger verbreitete Sprachen wie Pashto nicht so gut funktioniert wie etwa für Englisch oder Spanisch. Nichtregierungsorganisationen (NGOs), die in solchen Fällen die Anliegen von Asylbewerber:innen vertreten, fordern daher effektive menschliche Kontrolle der Übersetzungen.

Grenzen der KI bedeuten Chancen für Robotik

For Smarter Robots, Just Add Humans, WIRED, 23.3.2023

Eigentlich bietet Robotik gepaart mit KI-gestützter Steuerung viele Potenziale: Sie kann Arbeiter:innen anstrengende, langweilige oder auch gefährliche Aufgaben abnehmen oder bei diesen unterstützen. Warum ist denn dann noch nicht jede Produktionsstraße von Robotern besetzt? KI-Reporter Will Knight schlüsselt die Gründe auf. Dazu gehört, dass manche Aufgaben je nach Situation leicht angepasst werden müssen und Menschen auf diese Veränderungen besser reagieren können als einmal trainierte KI-Systeme. Deshalb braucht es Zwischenschritte: Menschen könnten etwa Roboter für medizinische Operationen zunächst fernsteuern und die damit gesammelten Bewegungsmuster könnten dann erst für das Training eines KI-Systems genutzt werden. Diese Überlegungen zeigen auf, dass der Übergang zwischen Bereichen, wo KI-Systeme eingesetzt werden können und wo nicht, durchaus fließend sein kann.

Wurden Sprachmodelle auch mit deiner Webseite trainiert?

Inside the secret list of websites that make AI like ChatGPT sound smart, The Washington Post, 19.4.2023

Große Sprachmodelle werden auf Grundlage von Abermillionen von Texten trainiert. Diese kommen meist aus dem Netz und werden gewonnen, indem die Texte von Webseiten kopiert werden. Doch welche Webseiten sind da genau dabei? Das haben sich nun Journalist:innen der Washington Post und Forscher:innen des Allen Institute for AI genauer angeschaut. Sie analysierten das C4-Datenset, das beispielsweise für das Training der Sprachmodelle T5 (Google) und LLaMA (Meta) verwendet wurde. Das liefert uns einen einzigartigen Einblick darüber, welche Webseiten – und damit auch welche Informationen, Wertevorstellungen oder Verzerrungen – im Trainingsdatensets Eingang fanden. Die Wikipedia wurde beispielsweise von der Patentdatenbank von Google auf Platz zwei verwiesen. Unter den 20 größten Webseiten, die verschiedene Glaubensrichtungen repräsentieren, waren 14 christlich und nur eine muslimisch. Übrigens: Es gibt auch eine Suchfunktion, mit der nach Webseiten in diesem Datensatz gesucht werden kann. Unsere ehemalige Domain algorithmenethik.de ist auf Rang 7.061.286 und stellt 0.0000008 Prozent des Trainingsdatensatzes dar.

Follow-Empfehlung: Nalinee Maleeyakul

Nalinee Maleeyakul ist Investigativreporterin bei Lighthouse Reports. Auf ihrem noch jungen Twitterkanal berichtet sie von ihren Erkenntnissen über den staatlichen Einsatz algorithmischer Systeme.