Erlesenes #28: Von französischem Risikoscoring, AMS-Chatbot und KI-gestützter Flutvorhersage

Neues Jahr, altbekannte Vorurteile in KI-Systemen: Kann ein Chatbot, der auf Daten mit geschlechterspezifischem Bias trainiert wurde, sich diesen Vorurteilen entziehen? Werden wir irgendwann einmal über eine algorithmische Betrugserkennung berichten können, die nicht diskriminiert? Das System der französischen Sozialhilfebehörde CNAF fällt leider nicht in diese Kategorie: abermals hat eine lesenswerte Untersuchung gezeigt, dass u.a. Menschen mit Behinderungen und alleinerziehende Mütter häufiger verdächtig werden, Sozialleistungen unrechtmäßig zu nutzen. Außerdem: Braucht es ein “Bio-Label“ für menschlichen Content?  

 Wir wünschen allen Leser:innen ein frohes neues Jahr und hoffen weiterhin auf Fortschritte in der Entwicklung und im Einsatz von KI-Systemen, die frei(er) von Vorurteilen und Diskriminierung sind. 

 Viel Spaß beim Lesen wünschen

Teresa und Michael

P.S. Sie wollen Erlesenes alle zwei Wochen als Newsletter im Postfach haben? Hier geht es zum Abo: https://www.reframetech.de/newsletter/

Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns immer über Feedback – der Newsletter lebt auch von Ihrer Rückmeldung und Ihrem Input. Melden Sie sich per E-Mail an teresa.staiger@bertelsmann-stiftung.de, bei LinkedIn unter @reframe[Tech] – Algorithmen fürs Gemeinwohl oder bei Bluesky unter @reframetech.bsky.social.

Erlesenes ist 100% Bio

Bioqualität! Nicht nur KI-Generiertes kennzeichnen, sondern auch menschengemachte Texte und Fotos, Konrad Lischka Blog, 3.1.2024

Eine Herausforderung KI-generierter Texte und Bilder ist, dass diese dazu genutzt werden können, Desinformationen zu verbreiten. Daher besteht seit Längerem eine Diskussion darüber, ob KI-generierte Inhalte gekennzeichnet werden sollten (Erlesenes berichtete). Konrad Lischka, ehemaliger Leiter des Vorgängerprojekts von reframe[Tech], stellt in seinem Blogbeitrag das Problem auf den Kopf: Wenn ich als Nutzer:in automatisiert generierte Inhalte von Menschengemachtem unterscheiden können will, kann auch Letzteres gekennzeichnet werden. Seine Argumentation: Während es für maschinell erstellte Inhalte gerade für böswillige Akteure große Anreize gibt, deren Ursprung zu vertuschen, haben Menschen in aller Regel großes Interesse daran, dass ihre Inhalte auch als solche erkennbar sind. Schließlich wollen Autor:innen, dass ihre Werke geschützt werden. Das würde es auch einfacher machen, gute, nämlich nicht KI-generierte Trainingsdaten für die Entwicklung neuer KI-Modelle zu identifizieren. Es gibt auch erste technische Ansätze, diese Kennzeichnung als Metadaten fest in digitale Medieninhalte zu integrieren. 

AMS-Chatbot kann Bias nur reduzieren

Diese sexistischen Antworten liefert der KI-Chatbot des AMS, Futurezone, 4.1.2024

Der Arbeitsmarktservice (AMS) in Österreich liefert unter anderem Beratung für Arbeitssuchende und versucht, ihnen passende offene Stellen zu vermitteln. Der neue Chatbot „Berufsinformat“ soll etwa personalisiert Tipps geben, welche Berufe passend sein könnten. Eine Herausforderung für den AMS war dabei, dass sie ein System eingekauft haben, das auf ChatGPT basiert, und immer wieder dessen sexistische Muster sichtbar werden. Der AMS gibt an, dieses Problem behoben zu haben – scheint dabei aber nur teilweise erfolgreich gewesen zu sein, wie Journalist Florian Christof aufzeigt. So wird in einem Beispiel einem Mann auch Restaurantfachmann oder Raumpfleger vorgeschlagen, oben auf der Liste steht aber Softwareentwickler. Einer gleich qualifizierten Frau wurden zusätzlich Berufe im Gesundheits- und Pflegebereich vorgeschlagen. Auch bei Fragen nach flexiblen Arbeitszeitmodellen gibt es kleine, aber feine Unterschiede: Diese sollen Männern helfen, „Beruf und Familie besser zu koordinieren“, während Teilzeit Frauen ermöglichen soll, „sich um das Kind zu kümmern und gleichzeitig beruflich aktiv zu bleiben“. Der Berufsinformat zeigt, dass es gar nicht so einfach ist, Gender Bias aus Chatbots komplett zu entfernen, wenn dieser bereits in den Trainingsdaten enthalten ist. 

Der nächste Sozialhilfebetrugsalgorithmus, der diskriminiert 

How We Investigated France’s Mass Profiling Machine, Lighthouse Reports, 4.12.2023

Lighthouse Reports hat bereits in der Vergangenheit KI-Systeme investigativ analysiert und so Diskriminierungen aufdecken können (Erlesenes berichtete). Nun haben sie die nächste Untersuchung veröffentlicht, die verschiedene Algorithmen untersucht, die die französische Sozialhilfebehörde CNAF verwendet hat und verwendet, um Betrug vorherzusagen. Jedes Jahr wird fast die Hälfte der französischen Bevölkerung durch dieses System geprüft. In Zusammenarbeit mit anderen zivilgesellschaftlichen Organisationen verschafften sie sich Zugang zu dem Quellcode des Systems und konnten es eigenständig testen. In diesem Artikel beschreiben die Journalist:innen ihr Vorgehen und ihre Ergebnisse: Wie in ähnlichen Betrugserkennungssystemen führen auch hier Eigenschaften wie eine körperliche Beeinträchtigung, Alter oder Kinder direkt zu einem höheren Risikoscore. Die Recherche ist auch in einer Artikelserie bei Le Monde aufbereitet. 

Die US-Antwort zur Regulierung von Foundation Models

AI companies would be required to disclose copyrighted training data under new bill, The Verge, 22.12.2023

Im Entwurf der KI-Verordnung der EU werden auch Anforderungen an Foundation Models beschrieben (Erlesenes berichtete). Einige ähnliche Bestimmungen finden sich nun auch in einem Gesetzesentwurf wieder, den zwei demokratische Abgeordnete im US-Repräsentatenhaus vorgeschlagen haben. Der Vorschlag fokussiert sich auf Transparenz: Entwickler:innen von Foundation Models müssten demnach die Quellen ihrer Trainingsdaten, ihre Relevanz für das Modell sowie Standards und ihre Umsetzung veröffentlichen. Das soll unter anderem Künstler:innen helfen, zu erfahren, wann ihre geschützten Werke unerlaubt für das Training eines KI-Modells verwendet wurden. Außerdem müssen Entwickler:innen ihre Modelle gründlich prüfen, Risiken beschreiben und „ungenaue oder schädliche” Ausgaben vermeiden. Der Gesetzesentwurf schließt damit inhaltlich zwar auf die Exekutivanordnung zu KI an (Erlesenes berichtete), wäre aber im Gegensatz dazu rechtlich verpflichtend. 

Flutvorhersage mit KI in Indien

India harnesses AI to enhance weather predictions amid climate challenges, The Economic Times, 25.12.2023

Unwetterkatastrophen haben auch im vergangenen Jahr immer wieder zu vielen Opfern geführt. Schon länger versuchen verschiedene Unternehmen, mithilfe von KI-Methoden das Wetter präziser vorherzusagen und Warnsysteme insbesondere für Extremwetter zu entwickeln. Auch in der indischen meteorologischen Behörde wird daran nun gearbeitet. Dort werden KI-Modelle aktuell in einem eigenen Testzentrum getestet. Der Behörde will außerdem die Erfassung von Wetter- und Klimadaten auf jedes indische Dorf ausweiten, da präzise und detaillierte Daten für einen erfolgreichen Einsatz von KI notwendig seien. Ziel ist es, mithilfe der neuen Vorhersagemodelle Ereignisse wie Dürren, Überschwemmungen oder Starkregen vorherzusagen und so die Bevölkerung besser vorzuwarnen. 

Follow-Empfehlung: Emilia David

Emilia David ist Journalistin bei The Verge und berichtet über KI, Regulierung und Anwendungen in der Privatwirtschaft. 

Verlesenes: ChatGPT hat Wimmelbilder noch nicht ganz verstanden

Die Kurzzusammenfassungen der Artikel sind unter einer Creative Commons Namensnennung 4.0 International Lizenz.