Erlesenes #20: Feministische KI-Ethik, personalisierte Medizin & vertrauenswürdige KI

Der Sommer ist da und damit auch die letzte Erlesenes-Ausgabe (aber keine Sorge: am 7. September geht es weiter). Diesmal stehen folgende Fragen im Fokus: Wie kann KI-gestützte personalisierte Medizin Ärzt:innen unterstützen und zu einer besseren Gesundheitsversorgung beitragen? Wird die EU in ihren Förderprogrammen dem eigenen Anspruch, nämlich verstärkt „vertrauenswürdige“ Künstliche Intelligenz (KI) zu fördern, gerecht? Was bedeutet fehlende Transparenz in der Kontrolle über öffentlich eingesetzte algorithmische Entscheidungssysteme? Außerdem: Leseempfehlungen aus der feministischen KI-Ethik für die Sommerlektüre.

Viel Spaß beim Lesen wünschen
Teresa und Michael

Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns immer über Feedback – der Newsletter lebt auch von Ihrer Rückmeldung und Ihrem Input. Melden Sie sich per E-Mail an teresa.staiger@bertelsmann-stiftung.de oder bei Twitter unter @reframeTech.  

Transparency by accident?

It Takes a Small Miracle to Learn Basic Facts About Government Algorithms, The Markup, 1.4.2023

Algorithmische Systeme, die die öffentliche Hand einsetzen, sind selten transparent. Nur wenige Untersuchungen über Risiken dieser Anwendungen konnten wirklich mit den Systemen selbst, den Modellen oder den Trainingsdaten arbeiten. Eine der Ausnahmen bildet die Untersuchung des Systems zur Risikobewertung für Sozialhilfebetrug in Rotterdam (Erlesenes berichtete). Journalist Todd Feathers beschreibt in diesem Artikel, dass solche Reportagen oft nur durch Zufall entstehen. Im Falle von Rotterdam erhielten die Journalist:innen zwar Informationen durch Informationsfreiheitsanfragen, aber einige wichtige Daten wurden ihnen versehentlich von der Stadtverwaltung übermittelt. Das Problem der fehlenden Transparenz wird zusätzlich dadurch verschärft, dass z. B. Städte häufig auf algorithmische Systeme zurückgreifen, die von Privatunternehmen entwickelt werden. Dann greifen öffentliche Anfragen nicht oder es können Geschäftsgeheimnisse einer wirklichen Überprüfung im Wege stehen. Letztendlich gefährdet dies die öffentliche Rechenschaftspflicht, wie Feathers betont.

Gibt es doch die Gott-Maschine?

India’s religious AI chatbots are speaking in the voice of god — and condoning violence, Rest of World, 9.5.2023

Wir haben schon ausführlich über ChatGPT und diverse Anwendungsfälle berichtet. Bisher zumindest in Deutschland eher unbekannt ist aber der Einsatz des großen Sprachmodells in der religiösen Beratung. Im Januar 2023 startete in Indien GitaGPT, ein Chatbot, der auf Grundlage einer der zentralen Schriften des Hinduismus trainiert wurde. GitaGPT nimmt dann die Rolle von Krishna an und berät spirituell – ebenso wie eine Handvoll weitere Chatbots. Leider scheinen nicht alle Antworten ganz gewollt zu sein: So soll Töten erlaubt sein, wenn es die Ehre befiehlt, und Rahul Gandhi, Oppositionsführer in Indien, sei unfähig, das Land zu regieren. Einige sind besorgt, dass Nutzer:innen diese Antworten als Predigten wahrnehmen, die sich direkt aus der Schrift ableiten. Die Entwickler:innen verweisen aber auf einen Disclaimer auf ihrer Webseite, demnach „das experimentelle KI-Projekt keine Entscheidungsgrundlage“ sein sollte. Weitere Ableger wie BibleGPT oder Ask Quran sind auch schon online. Es bleibt abzuwarten, welche Auswirkungen solche religiösen Anwendungen haben werden.

Geld ist Macht – auch und gerade bei KI

How Public Money is Shaping the Future Direction of AI: An Analysis of the EU´s Investment of AI Development, eticas, 28.3.2023

Die EU hat sich eigentlich hohe Ziele gesetzt: Sie will vor allem „vertrauenswürdige KI“ fördern. Doch folgt die EU auch in ihren Förderprogrammen diesem Anspruch? Deshalb haben sich die Forscherinnen Gemma Galdon-Clavell und Virginia Bertelli von Eticas Tech im Auftrag des European AI & Society Fund genauer angeschaut, wie die EU ihre etwa zehn Milliarden Euro Fördergelder verteilt. Die Ergebnisse sind ernüchternd: Obwohl die EU Vertrauenswürdigkeit ins Zentrum stellt, ist das nur bei weniger als einem Drittel der Förderaufrufe der Fall. Vertrauenswürdigkeit, Privatsphärenschutz oder Ethik sind dann eher Themen der zu fördernden Aktivitäten selbst, anstatt dass diese Anforderungen horizontal einfach in alle KI-Förderprogramme eingebaut sind. Lediglich 1,1 Prozent der Aufrufe beschäftigen sich mit Nachhaltigkeit. Die beiden Autorinnen bemängeln außerdem, dass über die Programme hinweg kein Impact Assessment, d. h. keine Wirkungsanalyse stattfindet, sondern nur auf die Erfüllung vertraglicher Pflichten geachtet wird. Da ist noch viel Raum nach oben, um Vertrauenswürdigkeit wirklich als Grundlage für KI-Förderprogramme zu etablieren.

Die feministische Revolution in der KI-Ethik

The AI Ethics Revolution— A Brief Timeline, Medium, 4.4.2023

In der Algorithmenethik geht es oft auch darum, denjenigen zuzuhören, die nicht der klassischen, weißen, männlichen per entspringen. Mit diesem Artikel gibt Mia Dand einen Überblick über die Geschichte von Frauen* in der KI-Ethik und ihrer zentralen Werke. Sie startet 2014 und 2016 mit Julia Angwin und Cathy O’Neil und geht über Timnit Gebru und Joy Boulamwini bis zu Frances Haugen. Der Überblick erinnert uns nicht nur daran, dass wir ohne diese Menschen nie so weit gekommen wären, sondern auch, dass Stimmen, die nicht männlich und weiß sind, noch immer zu wenig Gehör finden. Vielleicht lohnt es sich, einmal in den Sommerferien hier durchzublättern und das ein oder andere Paper (erneut) zu lesen. Und für alle, die noch Buchempfehlungen suchen, hat Dand in einer separaten Liste weitere Literaturempfehlungen gesammelt.

Personalisierte Medizin dank KI?

AI-powered personalised medicine could revolutionise healthcare (and no, we’re not putting ChatGPT in charge), The Guardian, 26.6.2023

KI wird häufig als Lösung für die vielfältigen Herausforderungen in der Gesundheitsversorgung angepriesen, der Einfluss in der Realität ist aber nach wie vor begrenzt. Nun verfolgt ein Labor an der Universität Cambridge einen „realitätszentrierten“ Ansatz für KI und entwickelt in Zusammenarbeit mit Ärzt:innen und Krankenhäusern KI-Anwendungen, die über die Bildanalyse und die Arzneimittelentwicklung hinausgehen. Durch KI-gestützte personalisierte Medizin kann – so die Hoffnung – eine wirksamere Behandlung durch Anpassung der Therapien an die individuellen medizinischen Faktoren sowie an den Lebensstil der Patient:innen erreicht werden. Zum Beispiel könnten Ärzt:innen den besten Zeitpunkt und die Dosierungen von Medikamenten für jeden einzelnen Patienten optimieren. Auch könnten Patient:innen anhand ihrer individuellen Gesundheitsprofile bewertet werden, anstatt allein nach allgemeinen Kriterien wie Alter und Geschlecht. Das transformative Potenzial von KI liege darin, medizinisches Fachpersonal zu stärken, anstatt es zu ersetzen, so Mihaela van der Schaar, Direktorin des Cambridge Centre for AI in Medicine. Das Ziel sollte deswegen sein, menschliche, kognitive und Entscheidungsfähigkeiten durch maschinelles Lernen zu verbessern.

Follow-Empfehlung: Todd Feathers

Journalist Todd Feathers schreibt bei The Markup und auf Twitter über Algorithmen und Überwachung, mit einem Fokus auf den Bildungsbereich.

Verlesenes: AI vs. Papagei – wer gewinnt?

Die Kurzzusammenfassungen der Artikel sind unter einer Creative Commons Namensnennung 4.0 International Lizenz.