Der Hype rund um das textbasierte Dialogsystem ChatGPT reißt nicht ab, aber abermals ist ein vermeintlich automatisiertes Programm auf die akribische Arbeit von schlecht bezahlten Arbeitnehmer:innen angewiesen. Der Time-Artikel deckt auf, wie OpenAI – das Unternehmen hinter ChatGPT – in seinen Bemühungen, den Chatbot weniger toxisch zu machen, auf ausbeuterische Praktiken zurückgreift. Des Weiteren zeigt das Beispiel der automatischen Gesichtserkennung im Iran, mit deren Hilfe die Verhüllungsgesetzte des Landes kontrolliert werden, die Gefahren dieser Technologie. Diese und weitere spannende Artikel erwarten Sie in dieser Ausgabe von Erlesenes.

Viel Spaß beim Lesen wünschen 
Teresa und Michael 

Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns immer über Feedback – der Newsletter lebt auch von Ihrer Rückmeldung und Ihrem Input. Melden Sie sich per E-Mail an teresa.staiger@bertelsmann-stiftung.de oder bei Twitter unter @reframeTech.  

Bad Practice

Automatisierte Betrugserkennung zurück von den Toten

The Algorithm Addiction, Lighthouse Reports, 20.12.2022

Im Jahr 2020 wurde das niederländische System „Risk Indication“ (SyRI), das zur Aufdeckung von Betrug bei Sozialleistungen, Zulagen und Steuern eingesetzt wurde, als Verstoß gegen die EU-Menschenrechtskonvention eingestuft. Die niederländische Regierung ließ daraufhin den Einsatz des Systems beenden, gestand „institutionellem Rassismus“ beim Einsatz des Systems ein und trat zurück. Nun ist das System scheinbar wieder da. Eine Anfrage an die örtlichen Behörden zeigte nun auf, dass die Stadt Utrecht in einem nördlichen Stadtteil mit besonders niedrigem Durchschnittseinkommen ein algorithmisches System einsetzt, um Betrug bei Sozialleistungen aufzudecken. Die zugrunde liegende Technologie, der Algorithmus und die verwendeten Daten sind dabei SyRI sehr ähnlich.  Die Regierung hat zugesagt, eine externe Überprüfung des Vorfalls durchzuführen.

Bad Practice

Schädliche Inhalte von OpenAI werden unter ausbeuterischen Bedingungen entfernt

Exclusive: OpenAI Used Kenyan Workers on Less Than $2 Per Hour to Make ChatGPT Less Toxic, TIME, 18.1.2023

Das Training von großen KI-Modellen verlangt eine Unmenge menschlicher Arbeit. Wie Erlesenes bereits berichtete, verlassen sich Technologiefirmen dabei auf günstige Arbeitskräfte in Ländern, in denen Arbeiter:innen kaum vor ausbeuterischen Praktiken geschützt werden. Journalist Billy Perrigo hat nun aufgedeckt, dass auch OpenAI dazugehört. Für die Entwicklung seines textbasierten Dialogsystems ChatGPT hat es auch Arbeiter:innen in Kenia eingesetzt, die weniger als $ 2 pro Stunde verdienten. Ihre Aufgabe war es, besonders gefährliche und schädliche Inhalte herauszufiltern. Sie sahen sich tagtäglich mit detaillierten Beschreibungen von sexuellem Kindesmissbrauch, Mord oder Selbstverletzung konfrontiert. Eine Arbeitskraft beschrieb die traumatischen Arbeitsbedingungen als „Folter“. Der Artikel beschreibt auch die vertraglichen Details zwischen OpenAI und dem für die Filterung beauftragten Subunternehmen Sama.

Bad Practice

Gesichtserkennung soll Kleidungsvorschriften durchsetzen

Iran Says Face Recognition Will ID Women Breaking Hijab Laws, Wired, 10.1.2023

Im Rahmen der KI-Verordnung der EU wird über ein mögliches Verbot von Gesichtserkennung in Europa diskutiert. Welches Risiko diese Technologie für die Freiheit hat, zeigen heute schon Anwendungen in anderen Ländern. Die iranische Regierung beispielsweise setzt bei der Überwachung der Verhüllungsgesetze auf Gesichtserkennung. Der Iran hat über die vergangenen Jahre eine nationale Identitätsdatenbank mit biometrischen Daten aufgebaut. Diese kann nun genutzt werden, um „unangemessenes und ungewöhnliches Verhalten zu identifizieren“, wie eine Regierungsbehörde in einem Interview im September zugab. Nach der Erkennung könnten Geld- oder Haftstrafen folgen. Ein Teil der Technologie, auf die sich der Iran verlässt, stammt vom chinesischen Überwachungsunternehmen Tiandy, dessen Technologie auch zur Unterdrückung der uigurischen Muslime in China eingesetzt wird.

Lasst uns neu über Diskriminierung nachdenken

A Home for Digital Equity: Algorithmic Redlining in Property Technology, California Law Review, 11.1.2023

Algorithmenvermittelte Diskriminierung zu erkennen oder gar nachzuweisen stellt eine Herausforderung dar. In einem demnächst erscheinenden Law-Review-Artikel stellt Nadiyah J. Humber dar, welche Nachweise bei Diskriminierungsklagen im Wohnungsmarkt in den USA möglich sind: Laut dem „Fair Housing Act“ kann dies nämlich über ungleiche Auswirkungen oder segregative, also trennende Effekte belegt werden. Erstere besagen, dass eine Politik oder Praxis eine rechtlich geschützte Gruppe schädigt und eine ungleiche Auswirkung verursacht, während zweitere eine Gemeinschaft schädigen, indem sie segregierte Wohnungsmuster schaffen, verstärken oder aufrechterhalten. Ein segregativer Effekt kann also bereits durch Blick auf Wohnungsmuster nachgewiesen werden und fokussiert sich auf die Auswirkungen. Damit ist dieser Ansatz auch besonders für algorithmenvermittelte Diskriminierung geeignet, wo es schwierig sein kann, den Ursprung einer Diskriminierung genau nachzuweisen.

Ein Plädoyer gegen Reibungslosigkeit

The Importance of Friction in AI Systems, Mozilla, 16.1.2023

Durch die Digitalisierung soll alles immer einfacher, schneller und unkomplizierter werden. In ihrem Blogpost plädiert Bogdana Rakova, Senior Fellow Trustworthy AI bei Mozilla, für das Gegenteil: mehr Reibung. Für sie können bestimmte Arten von Reibung Entschleunigung, Selbstreflexion, Konfliktlösung, offene Zusammenarbeit, Lernen und Fürsorge ermöglichen. Zu diesen Methoden zählt auch Nudging, beispielsweise der Hinweis, einen Artikel zu lesen, bevor dieser auf Sozialen Medien geteilt wird. Bogdana Rakova arbeitet aktuell an einem Projekt, das untersucht, wie Reibung an der Schnittstelle zwischen Mensch und KI-Systemen operationalisiert werden kann. Sogenanntes „Design Friction“ könnte dabei verbesserte menschliche Handlungsfähigkeit und Transparenz schaffen, indem neue Arten von Feedbacks zwischen Nutzer:innen und KI-Entwickler:innen möglich werden.

 

Follow-Empfehlung: Bogdana Rakova

Bogdana Rakova ist Senior Fellow Trustworthy AI bei Mozilla und arbeitet gerade an einem Projekt, das versucht, das Instrument der Terms of Service neu zu konzipieren.

Verlesenes: KI wird unsere Jobs übernehmen!?

Die Kurzzusammenfassungen der Artikel sind unter einer Creative Commons Namensnennung 4.0 International Lizenz.