Erlesenes #17: Audits, KI am Gericht und in der Astronomie

Transparenz ist ein Schlüsselwort, wenn es um gemeinwohlorientierte algorithmische Systeme und Künstliche Intelligenz (KI) geht. In dieser Ausgabe fragen wir uns: Müssen nicht auch Audits, also Prüfverfahren algorithmischer Systeme, selbst öffentlich gemacht werden, damit ihre Ergebnisse überprüfbar und nachvollziehbar sind? Und wie müssen Audits von Sprachmodellen zukünftig gestaltet werden, um deren vielschichtigen Anwendungen und Implikationen angemessen überprüfen zu können? Außerdem: wie die kurdische Sprache Sorani dank ehrenamtlichen Engagements in Google Translate aufgenommen wurde.

In eigener Sache: Die nächste Ausgabe von Erlesenes wird sich ganz auf den EU AI Act fokussieren, der demnächst im Plenum des Europäischen Parlaments verhandelt wird. Stay tuned!

Viel Spaß beim Lesen wünschen
Teresa und Michael

Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns immer über Feedback – der Newsletter lebt auch von Ihrer Rückmeldung und Ihrem Input. Melden Sie sich per E-Mail an teresa.staiger@bertelsmann-stiftung.de oder bei Twitter unter @reframeTech.  

Darum ist die Transparenz von Algorithmen entscheidend

Algorithms’ Transparency Problem is Everyone’s Problem, Data & Society: Points, 10.5.2023

Transparenz gehört zu einer der zentralen Anforderungen, wenn es um die Vertrauenswürdigkeit algorithmischer Systeme geht. US-Forscher Ben Winters betont, dass Transparenz vor allem dafür wichtig ist, Rechte von Bürger:innen und Konsument:innen in der Praxis umzusetzen. Anhand konkreter Beispiele zeigt er, dass gerade über Audits und ihre Ergebnisse Transparenz hergestellt werden muss. Als beispielsweise 2021 die Bewerbungssoftware HireVue geprüft wurde, blieben die Audits geheim und das Unternehmen erklärte öffentlich, dass die Software frei von Bias sei. Eine wirkliche Prüfung dieser Aussage war aber nicht möglich. Deshalb sollten Audits und alle damit verbundenen Informationen komplett öffentlich sein, um auch von Nichtregierungsorganisationen (NGOs) überprüfbar zu sein. Dafür brauche es in den USA gesetzliche Vorgaben, sowohl für den öffentlichen Sektor als auch für Privatunternehmen. Für Winters ist das essenziell, um Schaden durch den Einsatz algorithmischer Systeme abzuwenden.

Google Translate spricht auch Sorani – dank Freiwilliger

The mission to preserve Sorani Kurdish by getting it onto Google Translate, Rest of World, 15.5.2023

Übersetzungssoftware wie Google Translate oder DeepL funktioniert besonders gut für weitverbreitete Sprachen wie Englisch oder Spanisch. Doch der Iraker Bokan Jaff störte sich daran, dass das von ihm gesprochene Sorani, eine Variante des Kurdischen, nicht verfügbar war. 2019 fasste er den Beschluss, das eigenständig zu ändern. Er baute eine Community an Interessierten in Kurdistan auf, die gemeinsam mit ihm ehrenamtlich Tausende von Stunden Arbeit investierten. Gemeinsam bauten sie eine Datenbank für Sorani auf, indem sie Texte übersetzten, Übersetzungen verifizierten und gemeinsam mit den Entwickler:innen bei Google ein Sprachmodell bauten. Der faszinierende Artikel zeigt, wie Jaff und die Gruppe der Freiwilligen es so geschafft haben, Sorani breiter verfügbar zu machen. Eine Kritik der Community ist aber, dass Google das Projekt nicht finanziell unterstützte.

So können Sprachmodelle geprüft werden

Auditing large language models: a three-layered approach, AI and Ethics, 30.5.2023

Über die verschiedenen Risiken, die vom zunehmenden Einsatz großer Sprachmodelle ausgehen, haben wir schon mehrfach berichtet. Eine Gruppe Forscher:innen der Universität Oxford hat sich näher angeschaut, ob und wie Audits für diese Systeme funktionieren können. Eine Herausforderung besteht nämlich darin, dass die Einsatzmöglichkeiten von Sprachmodellen sehr breit sein können, was eine klare Prüfung der Auswirkungen schwierig macht. Sie schlagen daher eine Überprüfung auf drei Ebenen vor: Neben der Prüfung des Sprachmodells an sich, wo es insbesondere um die Performance des Systems geht, sollte auch die Governance der bereitstellenden Organisation geprüft werden. Das kann durch prozessuale Prüfschritte wie der Überprüfung interner Dokumentationen oder in Gesprächen mit den Entwickler:innen geschehen. Ein dritter Schritt ist die Prüfung des Anwendungskontexts. Hier werden die auf Grundlage des Sprachmodells gebauten Programme und die Auswirkungen ihres Einsatzes geprüft. Auch wenn die Studie zeigt, wie wichtig die Prüfung dieser Ebenen ist, betonen die Forscher:innen, dass es hinsichtlich der Prüfung von Sprachmodellen weiterhin offene Fragen gibt.

Mit KI werden Gerichtsentscheidungen härter

Study: AI models fail to reproduce human judgements about rule violations, MIT News, 10.5.2023

Eigentlich funktioniert das Training von Systemen mit maschinellem Lernen ganz eindeutig: Große Mengen an Daten werden nach Mustern analysiert, um diese dann zu replizieren. Wenn also große Mengen an Entscheidungen vor Gericht analysiert werden, sollten eigentlich die darin enthaltenen Muster vom System reproduziert werden.  Entsprechende Software wird beispielsweise dafür eingesetzt, einen Risikowert dafür zu ermitteln, wie hoch die Wahrscheinlichkeit einer erneuten Straftat bei Verdächtigen ist. Untersuchungen solcher Systeme wie z. B. COMPAS haben bereits gezeigt, dass dabei auch rassistische oder sexistische Muster übernommen werden. Eine Forschungsgruppe an der Michigan Technological University (MIT) hat im Rahmen einer Studie  nun herausgefunden, dass solche Systeme zusätzlich höhere Risikoscores vergeben, was zu härteren Strafen oder Urteilen führen kann – und das durch die Bank weg. Entsprechend trainierte Modelle schätzen die Wahrscheinlichkeit einer erneuten Gesetzesverletzung höher ein. Grund dafür ist, dass beim Labeln von Daten Menschen dazu tendieren, härtere Urteile zu treffen, als sie es in einer realen Situation tun würden.

Mit KI auf der Suche nach ET

Analysis: How AI is helping astronomers study the universe, PBS, 8.5.2023

In Chile wird demnächst das Vera-Rubin-Observatorium fertiggestellt – ein Spiegelteleskop, das den kompletten Himmel im Laufe von drei Nächten abfotografieren kann. Innerhalb von zehn Jahren Laufzeit soll es etwa ein halbes Exabyte (eine halbe Trillion) an Daten produzieren. Die Analyse dieser Daten klingt nicht nur nach einer perfekten Aufgabe für KI-Systeme, sondern sie ist es auch. Astronomieprofessor Chris Impey zeigt in diesem Artikel auf, in wie vielen Bereichen in der Astronomie bereits KI im Einsatz ist. Solche Systeme werden nicht nur dafür trainiert, auf Bildern von Teleskopen wie dem in Chile neue Galaxien zu entdecken und zu klassifizieren. Sie werden auch dafür eingesetzt, Strahlung von Sternen zu analysieren, um um sie kreisende Exoplaneten zu identifizieren. Und auch beim Projekt SETI, das nach Anzeichen außerirdischer Zivilisationen sucht, werden Aufnahmen von Radiowellen auf Anomalien untersucht. Mithilfe solcher Systeme können Astronom:innen die Genauigkeit ihrer Untersuchungen erhöhen und gleichzeitig mehr Daten analysieren, als es ihnen zuvor händisch möglich war.

Follow-Empfehlung: Ben Winters

Ben Winters ist Forscher bei der Privatsphäre-NGO EPIC in den USA. Er tweetet regelmäßig zu Risiken des Einsatzes algorithmischer Systeme und betreibt den Newsletter „algoharm“.

Verlesenes: Ratespiele mit ChatGPT könnten spannender sein

Die Kurzzusammenfassungen der Artikel sind unter einer Creative Commons Namensnennung 4.0 International Lizenz.