Je mehr Verantwortung wir an KI-Systeme übertragen, desto unklarer wird oft, wer eigentlich handelt und vor allem: in wessen Auftrag? Genau hier setzt Cyberpsychologin Elaine Kasket an. Sie fragt, was es bedeutet, wenn wir von „agentischer KI” sprechen: Wessen Agenda setzen wir dann eigentlich um?

Dass Fragen nach Verantwortung nicht nur theoretisch sind, zeigt der Fall Microsoft: Nachdem bekannt wurde, dass KI- und Cloud-Dienste zur Überwachung palästinensischer Zivilist:innen eingesetzt wurde, entzog das Unternehmen dem israelischen Militär den Zugriff auf diese Dienste.

Kommen wir zu etwas Erfreulicherem: Ein Beispiel aus der Praxis zeigt, wie KI zur besseren Koordinierung von Hilfen eingesetzt wird, etwa um nach einem verheerenden Erdbeben Informationen darüber zu gewinnen, wo Menschen vermisst oder Unterkünfte besonders dringend gebraucht werden. Außerdem: Das Paper der Open Government Partnerships fragt, wie Kommunen KI so einsetzen können, dass sie demokratische Werte stärkt, statt sie zu schwächen. Anhand konkreter Beispiele aus Schottland, Texas und Argentinien wird gezeigt, wie das gelingen kann.

Viel Spaß beim Lesen wünschen
Elena und Teresa

P.S. Ihnen wurde dieser Newsletter weitergeleitet? Hier geht es zum Abo: https://www.reframetech.de/newsletter/

Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns immer über Feedback – der Newsletter lebt auch von Ihrer Rückmeldung und Ihrem Input. Melden Sie sich per E-Mail an teresa.staiger@bertelsmann-stiftung.de oder bei LinkedIn unter @reframe[Tech] – Algorithmen fürs Gemeinwohl.

Agentisch, aber wessen Agenda?

A Cyberpsychologist’s Perspective on Agentic AI – in Fact, a Rebuttal, House of Beautiful Business, 3.10.2025

In ihrem Artikel stellt Cyberpsychologin Elaine Kasket eine unbequeme Frage: Wenn wir von „agentischer KI” sprechen, wessen Agenda setzen wir dann eigentlich um? Im Lateinischen bedeutet „agentum agens” nämlich „das Handelnde” und „agendum” bedeutet „etwas, das zu tun ist”, so die Autorin. Das ließe vermuten, dass KI-Systeme „Wesen“ sind, die im Auftrag von jemandem handeln, um etwas zu erreichen: sie hätten also eine Agenda. Diese Agenda würde jedoch von mächtigen Menschen definiert, deren Werte und Interessen nicht unbedingt von allen geteilt würden, so Kasket. Sie nutzt selbst KI-Systeme, doch irgendwann sei ihr bewusst worden, dass hinter jeder KI-Interaktion unsichtbare Menschen stehen. Content-Moderator:innen, Lithiumbergarbeiter:innen und sogar Arbeiter:innen bei sogenannter „Fauxtomation“, bei der scheinbar automatisierte Aufgaben tatsächlich von Menschen erledigt werden. Wenn Unternehmen glauben, nur „digitale Agenten” zu verwalten, die keine Pausen benötigen, übersehen sie die reale menschliche Ausbeutung, die dahintersteckt. Kasket teilt auch eine interessante Einschätzung über die Verwendung des Begriffs „Ökosysteme von Agenten”. Laut Kasket verschleiert er, dass wir in reale Ökosysteme eingebettet sind. Abschließend wünscht sie sich verstärkt die Entwicklung von KI-Systemen, die die menschliche Handlungsfähigkeit, Kreativität und Verbindung zu ökologischen und sozialen Systemen stärken, statt sie einzuschränken.

KI im Einsatz, aber bitte mit Vorsicht

AI-Driven Disaster Response and Displacement Monitoring, ACM, 19.9.2025

Wenn Erdbeben ganze Regionen zerstören oder Bürgerkriege Menschen in die Flucht treiben, fehlen Hilfsorganisationen oft verlässliche Echtzeit-Daten. Zwei Projekte aus der Türkei und Syrien zeigen, wie KI-Systeme diese Lücke schließen können. Nach den Erdbeben in beiden Ländern im Februar 2023, bei denen über 62.000 Menschen starben, nutzte das Forschungsteam um Wissenschaftler Muhammad Imran ein SprachmodellSprachmodell Eine Art von KI-Modell, das darauf spezialisiert ist, menschliche Sprache zu verstehen und zu generieren. Sprachmodelle werden auf großen Textkorpora trainiert und können Aufgaben wie Textgenerierung, Übersetzung und Zusammenfassung bewältigen, indem sie Muster und Strukturen in der Sprache erlernen., um aus den verfügbaren Social-Media-Daten konkrete Informationen zu filtern. Wo werden Menschen vermisst? Wo werden Unterkünfte gebraucht? Die Ergebnisse flossen in Karten ein, die dem UN-Entwicklungsprogramm dabei halfen, Hilfe gezielter zu koordinieren. Ein zweites Projekt verfolgt Binnenvertreibungen im syrischen Bürgerkrieg mithilfe von Satellitenbildern: Weniger Autos auf Satellitenbildern deuten etwa auf Bevölkerungsbewegungen hin. Das Team entwickelte ein spezielles Erkennungsmodell und analysierte über 1.800 historische Aufnahmen aus 28 syrischen Städten. Tatsächlich sanken die Fahrzeugzahlen parallel zu den dokumentierten Vertreibungen und stiegen nach einem lokalen Waffenstillstand im Jahr 2018 in Aleppo wieder an. Die Forscher:innen machen jedoch deutlich, dass diese KI-Systeme, obwohl sie Datenlücken schließen können, keine perfekten Ergebnisse liefern, nicht einfach auf andere Regionen übertragbar sind und die Daten durch andere Quellen validiert werden müssen.

Vom Skalieren zum Verstehen

The limits of AI in social change, idr, 25.9.2025

Wenn KI-Systeme im sozialen Sektor eingesetzt werden, versprechen sie schnellere und effizientere Abläufe. Doch was in marktbasierten Systemen funktioniert, kann in Systemen, die auf Vertrauen und Beziehungen basieren, mehr zerstören als helfen. Jahrzehntelang funktionierten Spar- und Kredit-Selbsthilfegruppen in Indien nach dem Prinzip „Beziehungen zuerst, Produkte später”. Gruppen bildeten sich aus Gemeinsamkeiten und Regeln entstanden aus dem Kontext heraus. Dann kam die Kommerzialisierung, Mikrokredite wurden standardisiert und Wachstum wurde zum messbaren Ziel. Dadurch wurde die soziale Infrastruktur, die einst finanzielle Inklusion ermöglichte, verdrängt. Genau dieses Muster droht sich mit dem Einsatz großer Sprachmodelle zu wiederholen. Diese Systeme leben von Abstraktion, das heißt, sie reduzieren menschliche Interaktion auf Datenpunkte. Wenn Probleme jedoch komplexer werden, funktionieren sie nicht mehr. So kann ein System beispielsweise nicht unterscheiden, ob eine Pause aus Nachdenklichkeit oder aus Ablehnung entsteht. Die Autorin schlägt deswegen ein Orientierungsmodell vor, das zwischen „eng gefassten“ und „breit gefassten“ Anwendungen unterscheidet. Eng gefasste Anwendungen sind spezifisch und zielgerichtet und lösen klar abgegrenzte Probleme. Breit gefasste Anwendungen sind dagegen verallgemeinernd und skalierbar. Ihr Fazit: Sprachmodelle können durchaus eine Rolle im sozialen Sektor spielen, sie müssen jedoch eng gefasst, unterstützend und auf soziale Beziehungen ausgerichtet bleiben.

Wenn die Cloud zur Waffe wird

Microsoft blocks Israel’s use of its technology in mass surveillance of Palestinians, The Guardian, 25.9.2025

Täglich wurden Millionen Telefonanrufe palästinensischer Zivilist:innen im Gazastreifen und im Westjordanland von der israelischen Militäreinheit „Unit 8200” abgehört und gespeichert. Das riesige Archiv der abgehörten Anrufe mit bis zu 8.000 Terabyte an Daten wurde in einem Rechenzentrum des Techkonzerns Microsoft in den Niederlanden gespeichert. Geheimdienstquellen berichteten, dass die Plattform auch bei der Gaza-Offensive eingesetzt wurde, um die Vorbereitung von Luftangriffen zu unterstützen. Nach der Veröffentlichung der gemeinsamen Recherche durch The Guardian und israelisch-palästinensische Medien ordnete Microsoft eine externe Untersuchung an. Brad Smith, Vizevorsitzender und Präsident von Microsoft, teilte anschließend den Mitarbeiter:innen mit, dass das Unternehmen den Zugang der „Unit 8200” zu Cloud-Speicher und KI-Diensten gesperrt habe. Innerhalb weniger Tage nach der Veröffentlichung wurden die Überwachungsdaten offenbar aus den Niederlanden – vermutlich auf die Cloud-Plattform von Amazon – übertragen. Die Sperrung erfolgte unter dem Druck von Microsoft-Mitarbeiter:innen und Investor:innen. In seiner Mitteilung an die Belegschaft dankte Smith den Journalist:innen, da die Berichterstattung „Informationen ans Licht gebracht habe, auf die wir aufgrund unserer Verpflichtungen zum Schutz der Privatsphäre unserer Kund:innen keinen Zugriff hatten”.

Demokratie by Design

Artificial Intelligence and Open Government: Local Perspectives, Open Government Partnership, 23.9.2025

Können Kommunen KI so einsetzen, dass demokratische Werte gestärkt werden? Eine neu erschienene Studie zeigt, wie die drei Kernprinzipien „offener Regierungsführung“ dabei helfen können, staatliches Handeln mithilfe von KI transparenter, rechenschaftspflichtiger und partizipativer zu gestalten. Demnach müssen Kommunen transparent machen, wann und wie diese Systeme in Entscheidungsprozessen eingesetzt werden. Schottland hat beispielsweise ein öffentliches Register aufgebaut, in dem alle KI-Systeme im öffentlichen Sektor dokumentiert sind. Die Rechenschaftspflicht verlangt, dass Verantwortliche ihr Handeln begründen und die Konsequenzen für Fehler tragen. Die Stadt Austin entwickelt deshalb praktische Mechanismen, mit denen Mitarbeiter:innen und Einwohner:innen Fehler und Verzerrungen erkennen und melden können. Beteiligungsformate motivieren Bürger:innen schließlich, sich einzubringen, und ermöglichen so, dass Regierung und Verwaltung besser auf ihre Anliegen regieren können. Die Stadt Buenos Aires nutzt dafür den Chatbot Boti, der nicht nur Antworten auf Fragen generiert, sondern auch ungelöste Anfragen an Mitarbeiter:innen weiterleitet. Zudem wird ein Risikobewertungsmodell vorgeschlagen, das sich an der europäischen KI-Verordnung (Erlesenes berichtete) orientiert. Allerdings warnen die Autor:innen vor einer Entmenschlichung des Staates, denn selbst wenn KI-Systeme rein operative Aufgaben ausführen, bleiben Regierungen weiterhin für ihre Entscheidungen verantwortlich.

Follow-Empfehlung: Elaine Kasket

Cyberpsychologin und Autorin unseres Perspektivenartikels Elaine Kasket

Verlesenes: Definiere Eigentor.

Die Kurzzusammenfassungen der Artikel sind unter einer Creative Commons Namensnennung 4.0 International Lizenz.