Automatisierte Sozialbetrugserkennung – was kann da schon schiefgehen? Wie wir wissen, leider jede Menge (Erlesenes berichtete). Forscher:innen und Journalist:innen haben nun die Trainingsdaten und den Algorithmus analysieren können und die ernüchternden Ergebnisse veröffentlicht. Außerdem gibt es ein überraschendes Beispiel aus China, bei dem Algorithmen Schutzräume für Trans-Personen ermöglichen. Das alles und mehr erwartet Sie in dieser Ausgabe von Erlesenes.

Viel Spaß beim Lesen wünschen 
Teresa
 und Michael 

Der Newsletter macht eine Osterpause – neuen Lesestoff gibt es von uns wieder am 20. April 2023. Wir wünschen allen Leser:innen frohe und erholsame Ostertage!

Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns immer über Feedback – der Newsletter lebt auch von Ihrer Rückmeldung und Ihrem Input. Melden Sie sich per E-Mail an teresa.staiger@bertelsmann-stiftung.de oder bei Twitter unter @reframeTech.  


Bad Practice

Generalverdacht für Sozialbetrug gegen junge, alleinstehende Mütter

Inside the Suspicion Machine, Wired, 6.3.2023

Das kommt nicht so oft vor: Ein Konsortium von Forscher:innen und Journalist:innen hat einen – so noch nie dagewesenen – Zugang zu einem System erhalten, das in den Niederladen Sozialbetrug aufdecken soll. Das System wurde von Accenture gebaut und war 2017 bis 2021 in Rotterdam im Einsatz. Eine externe Prüfung hatte dann zum vorzeitigen Stopp des Einsatzes geführt. Eine jahrelange Analyse der Trainingsdaten und des Algorithmus zeigt, dass das nicht ohne Grund war: Das vermeintliche „Risiko für Sozialbetrug“ war für Personen mit Kind, Singles, Frauen, Menschen unter 30 Jahren und solche, die nicht so gut Niederländisch sprechen, höher. Ein höherer Risikoscore konnte zu erheblichen Auswirkungen führen: von unangenehmen Befragungen und falschen Verdächtigungen bis hin zu Hausdurchsuchungen. Die ausführliche Analyse wurde in einer Artikelserie visualisiert und aufbereitet.


ChatGPT soll Ungleichheit zwischen Arbeiter:innen abbauen

Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence, MIT, 2.3.2023

ChatGPT wurde mit großen Versprechen für höhere Produktivität und bessere Arbeitsprozesse gelaucht – aber kann es diese auch einhalten? Zwei Forscher:innen des MIT haben nun Experimente durchgeführt, um die Effekte auf Produktivität zu messen, und die Ergebnisse in diesem Arbeitspapier veröffentlicht, für die die Peer-Review noch aussteht. Aber auch die vorläufigen Ergebnisse sind spannend: So erhöhte die Nutzung von ChatGPT bei den Teilnehmer:innen dieser Studie Studienteilnehmenden die Produktivität und auch die Qualität der erledigten Aufgaben. Dabei verlagerten sich die Aufgaben mehr auf die Generierung von Ideen und die Bearbeitung von Texten, während erste Entwürfe mithilfe von ChatGPT verfasst wurden. Besonders interessant ist, dass die Produktivität insbesondere bei denjenigen erhöht wurde, die zuvor vergleichsweise wenig produktiv waren. Die These der Forscher:innen ist daher: ChatGPT verringert Ungleichheiten zwischen Arbeiter:innen.


Algorithmen schaffen Schutzräume für Trans-Personen in China

Xiaohongshu becomes an online oasis for trans people in China, Rest of World, 7.3.2023

Die starken Zensur- und Überwachungsmaßnahmen von Onlineplattformen in China machen es nicht immer einfach, kritische oder von der Regierung unerwünschte Themen zu diskutieren. Die Plattform Xiaohongshu, eine Art Instagram, hat sich aber zu einem sicheren Raum für Trans-Personen entwickelt, wie Xinrou Shu berichtet. Allein der Hashtag #Transgender hat über 4,2 Millionen Aufrufe. Dafür gibt es insbesondere zwei Gründe: Einerseits ist dies der Empfehlungsalgorithmus, der Inhalte maßschneidert und Nutzer:innen nach selbstgewählten Gruppen sortiert. Dies macht es marginalisierten Gruppen leichter, sich zu bilden und auszutauschen oder auch Aktivist:innen, wie die in Frankfurt aktiven Gruppe Queer Squad, über die Plattform zu bewerben. Möglich ist das aus dem zweiten Grund: Die staatlichen Zensurvorschriften für LGBTQI+-Inhalte sind sehr vage und uneindeutig, sodass die Internetunternehmen die Regeln nach ihren eigenen internen Richtlinien auslegen. Xiaohongshu entschied sich dann bewusst dafür, die Regeln tolerant umzusetzen.


Bad Practice

Gefeuert wegen diskriminierenden Algorithmus?

AI is starting to pick who gets laid off, The Washington Post, 20.2.2023

Dass algorithmische Systeme eingesetzt werden, um Bewerber:innen zu filtern, ist bereits bekannt. Doch auch am anderen Ende der beruflichen Laufbahn wird Automatisierungspotenzial vermutet. Bei einer im Januar durchgeführte Umfrage unter 300 Personalleitungen von US-Unternehmen gaben 98 Prozent an, dass sie algorithmische Systeme in diesem Jahr einsetzen werden, um zu entscheiden, wer entlassen werden soll und wer nicht. Grundlage dafür sind beispielsweise algorithmisch erstellte „Kompetenzinventare“, die darstellen sollen, welche Arbeitserfahrungen und Weiterbildungen besonders stark mit hoher Jobperformance korrelieren. Ein anderes System soll prognostizieren, wie hoch die Wahrscheinlichkeit ist, dass eine Person demnächst kündigen wird. Diese Systeme werden aber oft mit den Personaldaten des Unternehmens trainiert. Wenn nun eine Firma Probleme mit Diskriminierung hat und viele deshalb die Firma verlassen, könnte das algorithmische System dieses Muster übernehmen und allen Nichtweißen einen höheren Kündigungsscore zuteilen, was dann zu deren Entlassung beitragen kann.


Regulierung

Allzweck-KI passt nicht ganz ins System der KI-Verordnung

ChatGPT broke the EU plan to regulate AI, Politico, 3.3.2023

Manche KI-Systeme haben keinen festen Verwendungszweck. Zur sogenannten Allzweck-KI (General Purpose AI) gehören beispielsweise große Sprachmodelle wie ChatGPT oder Bildergeneratoren. Diese Systeme zu regulieren ist eine Herausforderung, wie Erlesenes berichtete: Der Entwurf der KI-Verordnung der EU stellt Regeln für den Einsatz von KI-Systemen auf, abhängig davon, für welchen Zweck bzw. in welchem Bereich sie eingesetzt werden. Diese Diskussion ist schon längt im EU-Parlament angekommen, wo der Entwurf aktuell diskutiert wird. Abgeordnete schlugen nun vor, dass KI-Systeme, die komplexe Texte ohne menschliche Aufsicht produzieren, grundsätzlich als „Hochrisikosysteme“ eingestuft werden sollten. Der Vorschlag stößt auf Kritik, da nicht alle Einsatzmöglichkeiten solcher Systeme immer besonders risikoreich sind. Journalist Gian Volpicelli berichtet, wie nun auch große Techkonzerne dafür lobbyieren, Allzweck-KI-Systeme von den Verpflichtungen auszunehmen.


Follow-Empfehlung: Gian Volpicelli

Gian Volpicelli ist Journalist bei Politico. Er berichtet regelmäßig über Technologiepolitik und twittert mal mehr, mal weniger ernst zu Themen rund um KI und neue Technologien.


Verlesenes: Sind Stirnfalten das nächste veraltete Anwendungsfeld für KI?


Die Kurzzusammenfassungen der Artikel sind unter einer Creative Commons Namensnennung 4.0 International Lizenz.