reframe[Tech] Erlesenes #6

Der COP27-Klimagipfel ist gerade mit dem Versprechen, einen Ausgleichsfonds für arme Staaten einzurichten, zu Ende gegangen. Passend dazu fragen wir uns in dieser Erlesenes-Ausgabe: Können maschinelle Audits menschliche Analysen dabei unterstützen, Klimaprojekte transparenter zu bewerten? Um Transparenz geht es auch in der Untersuchung zum Einsatz algorithmischer Entscheidungssysteme in Washington D.C. Außerdem: Kann das Konzept der „performativen Macht“ die Regulierung der Marktmacht großer Plattformen verbessern?

Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns immer über Feedback – der Newsletter lebt auch von Ihrer Rückmeldung und Ihrem Input. Melden Sie sich per E-Mail an teresa.staiger@bertelsmann-stiftung.de oder bei Twitter unter @reframeTech.  

Viel Spaß beim Lesen wünschen  

Teresa und Michael 

Brasilien löscht Falschmeldungen innerhalb von zwei Stunden

Brazilian authorities step in to catch fake news faster than Facebook, Rest of World, 28.10.2022

Falschnachrichten oder irreführende Meldungen spielten auch im Vorlauf der kürzlich stattgefundenen Präsidentschaftswahl in Brasilien eine große Rolle. Das Höchste Gericht in Brasilien (Supremo Tribunal Federal) hat daher Ende Oktober dem Wahlgericht das Mandat gegeben, die Löschung von nachweislichen Falschmeldungen anordnen zu können. Die Weisung kann dabei der Vorsitzende des Wahlgerichts, Alexandre de Moraes, eigenständig umsetzen. Soziale Medien müssen dann innerhalb von zwei Stunden löschen. Daniela Dib und Nicole Froio berichten, dass dieser Schritt notwendig war, nachdem die Plattformen alleine die Verbreitung von Desinformationen nicht einhegen konnten und auch andere Maßnahmen wie das „Recht auf Gegendarstellung“ nicht ausreichten. Mit diesen neuen Vollmachten ist eine Diskussion darüber entbrannt, ob so viel Entscheidungsmacht in den Händen einer Person der richtige Weg ist, Falschinformationen zu stoppen. Denn einerseits kann das brasilianische Rechtssystem nun wesentlich schneller reagieren, was gerade in Wahlkämpfen wichtig ist. Andererseits werden Stimmen lauter, die in dieser Machtkonzentration die Demokratie gefährdet sehen.

Mit Algorithmen die Klimaversprechen der Politiker:innen prüfen

Using Machine Learning to Track International Climate Finance, Climate Change AI Blog, 9.11.2022

An Klimakonferenzen wie beispielsweise 2009 in Kopenhagen haben sich Länder des Globalen Nordens dazu verpflichtet, Staaten mit niedrigem Einkommen finanziell zu unterstützen. Es ist schwierig, diese Versprechen zum Klimaschutz oder zur Bewältigung der Folgen der Klimakrise genau zu kontrollieren. Aktuelle Berichte sind intransparent und uneinheitlich. Um mehr Transparenz zu schaffen, entwickelten Forscher:innen in der Schweiz ClimateFinanceBERT. Mit diesem Textverarbeitungsmodell analysierten sie die Beschreibungen von über 80.000 Klimaprojekten, die insgesamt ein Volumen von etwa 80 Milliarden US-Dollar haben. Ihre Ergebnisse veröffentlichten sie in einer Studie: Nur etwa 36 Prozent dieser Projekte können tatsächlich als Klimaschutzprojekte bezeichnet werden. Die Autor:innen betonen, dass diese Form des maschinellen Audits menschliche Analyst:innen nicht ersetzen kann. Sie könne aber dabei helfen, gemeldete Projekte doppelt zu prüfen und Cluster zur weiteren Analyse zu bilden.

In Washington D.C. ist man mindestens 29 KI-Systemen ausgesetzt

Screened & Scored in the District of Columbia, Electronic Privacy Information Center, November 2022

Öffentliche KI-Register sind rar. Viele Artikel oder Studien betrachten lediglich einzelne Anwendungen. Insgesamt wissen wir noch nicht, wo überall algorithmische Systeme eingesetzt werden, auch nicht im öffentlichen Sektor. Das Electronic Privacy Information Center wollte deshalb alle algorithmischen Entscheidungssysteme sammeln, die vom öffentlichen Sektor in Washington D.C. eingesetzt werden. Die Recherche, die über ein Jahr andauerte, brachte 29 Systeme hervor. Das gewährt uns einen einmaligen Über- und Einblick: Die Einwohner:innen Washingtons werden täglich überprüft und bewertet, ohne dass dies transparent ist oder überwacht wird. Die Systeme sind dabei in den Sektoren Bildung, Gesundheit, Wohnungsmarkt, Wirtschaft und Sicherheit angesiedelt. Darunter beispielsweise Pondera, eine proprietäre Software, mit deren Hilfe die Sozialbehörde Empfänger:innen der Lebensmittelhilfe SNAP einen Score vergibt, der deren Betrugsrisiko darstellen soll. In teilhaberelevanten Bereichen wie diesen ist es besonders bedenklich, wenn der Einsatz algorithmische Entscheidungssysteme intransparent ist.

Mit KI wird Recruiting doch nicht diverser

Does AI Debias Recruitment? Race, Gender, and AI’s „Eradication of Difference“, Philosophy & Technology, 10.10.2022

Algorithmische Systeme werden auch zunehmend im Personalbereich eingesetzt, beispielsweise um Bewerbungen zu filtern oder Interviews mit Kandidat:innen zu analysieren. Eine Hoffnung vieler Firmen ist es, mit solchen Systemen den Einfluss menschlicher Bevorzugung und Vorurteile auf den Auswahlprozess zu verringern. Seitdem 2018 bekannt wurde, dass Amazon etwa ein System zur Analyse von Lebensläufen einsetzt, das Frauen systematisch aussortiert, gibt es begründete Zweifel an dieser These. Um sich über Einzelfälle hinweg ein Bild von den tatsächlichen Auswirkungen von KI-Systemen im Personalbereich zu machen, haben Forscher:innen der Universität Cambridge eine größer angelegte Studie durchgeführt. Eleanor Drage und Kerry Mackereth kommen dabei zu dem Schluss, dass KI-Anwendungen Bias nicht verringern und die Diversität in Bewerbungsprozessen nicht erhöhen. Stattdessen bauen beispielsweise Anwendungen zur Analyse der Stimme und Körpersprache von Kandidat:innen auf veralteten, rassistischen Annahmen auf, die einer kritischen Betrachtung nicht standhalten.

Die neue Macht der Plattformen

Performative Power, Machine Learning, 31.3.2022

Wenn es darum geht, Macht regulativ zu begrenzen, meinen wir meistens Marktmacht: Große Unternehmen können dann beispielsweise an einer Fusion gehindert werden, wenn dadurch der Wettbewerb verzerrt wird und Monopole entstehen. Dafür zuständig ist etwa das Kartellamt. Doch diese traditionellen Marktregulatoren haben Schwierigkeiten damit, die Macht großer Plattformen zu erfassen und zu begrenzen. Die Forscher:innen Moritz Hardt, Meena Jagadeesan und Celestine Mendler-Dünner schlagen deshalb ein neues Konzept vor, mit dem sich die Macht von Plattformen und ihren algorithmischen Systemen beschreiben lässt: Performative Macht. So soll die Fähigkeit eines Unternehmens, eine Gruppe Menschen zu „steuern“, messbar gemacht werden. Die Macht ist tendenziell größer, je empfindlicher diese Gruppe ihr Verhalten auf algorithmische Änderungen der Plattform anpasst. Mit diesem Konzept hoffen die Forscher:innen, digitale Märkte besser verstehen zu können. Hohe performative Macht könne dann dabei helfen, kritische Fälle für die Untersuchung durch Aufsichtsbehörden zu identifizieren.

Follow-Empfehlung: Karolina Iwańska

Karolina Iwańska arbeitet beim European Center for Not-for-Profit Law, das sich für den Schutz von Grundrechten einsetzt. Sie twittert u.a. zum Einsatz von KI im Migrationssektor.

Verlesenes: Das Labeling von Daten mit Captcha wird auch immer detaillierter

Die Kurzzusammenfassungen der Artikel sind unter einer Creative Commons Namensnennung 4.0 International Lizenz.