Die nächste Generation von Desinformation und apokalyptische KI-Schwärme, die koordiniert Hass im Netz verbreiten: Düstere Szenarien, wie Künstliche Intelligenz Meinungsmanipulation, Hate Speech und digitalen Angriffen einen Raketenantrieb verschafft.
Das Projekt Civic.net der Amadeu Antonio Stiftung stellt aber eine andere Frage: Kann nicht ausgerechnet diese Technologie auch Moderator*innen digitaler Communities helfen? Denn der Alltag der Menschen, die beruflich oder ehrenamtlich mit dem Hass in den Kommentarspalten umgehen müssen, ist geprägt von menschenfeindlichen Kommentaren, die rund um die Uhr hereinklickern und bedrohlichen Nachrichten im Posteingang – von echten Menschen verfasst, oft unter ihrem bürgerlichen Namen.
Kann KI gegen Hass im Netz helfen?
Unsere Antwort ist kein Schwarm gegen die Schwärme, keine Firewall auf KI-Steroiden, sondern ein kleines, ruhiges Werkzeug. Ein Tool, das Engagierten hilft, Antworten zu finden, die sonst nur Moderator*innen mit jahrelanger Berufserfahrung oder den Ressourcen einer großen Organisation haben.
Sechs Monate lang haben wir ModSupport 2.0 entwickelt und auf Herz und Nieren getestet. Die Basis: Eine kuratierte Datenbank mit Wissen aus fast zehn Jahren Beratungsarbeit gegen Hass im Netz, eigenen Shitstorm-Erfahrungen und täglicher Moderationspraxis.
Das Tool braucht keine komplexen Prompts: Kommentare in das Dialogfeld zu kopieren oder das Problem zu beschreiben, reicht aus. ModSupport 2.0 analysiert die Eingabe und schlägt konkrete und praxisnahe Strategien für den Umgang vor.
Der Selbstversuch: Ein Emoji, zwei Bedeutungen
Wie hilft ModSupport 2.0 genau? Als Selbstversuch schildern wir dem Tool im Prompt-Fenster eine Beobachtung, die wir derzeit in dutzenden Kommentarspalten machen:
Unter einem Posting zum Thema Geflüchtete posten viele Profile mit Deutschlandflagge im Profilnamen das „Ok“-Zeichen. Mir kommt das irgendwie komisch vor. Was bedeutet das?
Das Tool ordnet das „Ok“-Zeichen korrekt als mehrdeutige Emoji-Geste ein, die einerseits „alles okay“ bedeuten kann, aber in jüngerer Zeit von Rechtsextremen als Erkennungsgeste gekapert wurde. Ohne weitere Aufforderungen erhalten wir passende Handlungsoptionen, die der Komplexität einer solchen mehrdeutigen Situation gerecht werden. Es verweist außerdem auf Melde- und Beratungsstellen, die uns helfen, die Situation einzuordnen und weitere Schritte zu planen.
Das Tool liefert hier zwei verschiedene Dinge: Eine Einordnung – das OK-Zeichen wurde gekapert. Doch das ist nachschlagbar, diese Einschätzung spucken im Versuch mit dem gleichen Prompt auch die marktüblichen KI-Tools aus. ModSupport 2.0 geht aber einen Schritt weiter als ChatGPT & Co. und liefert eine konkrete Handlungsempfehlung für Moderierende und Aktivist*innen: wie sie reagieren, wann sie eskalieren und wann sie ihrem eigenen Unbehagen trauen sollten. Und das, ohne die Rolle des Tools erst mit einem komplexen Prompt festlegen zu müssen.
Zehn Jahre Beratungswissen als Fundament
Woher weiß die Anwendung so genau, welche besonderen Bedürfnisse und Herausforderungen die Zielgruppe hat und wie kann sie so eine maßgeschneiderte Antwort liefern? Weil sie nicht ausschließlich auf dem breiten Wissen eines großen Sprachmodells basiert. ModSupport 2.0 haben wir darüber hinaus mit kuratiertem Fach- und Erfahrungswissen ausgestattet. Seit beinahe zehn Jahren beraten wir im Projekt Civic.net zu dem Thema, führen intensive Workshops durch und treffen selbst täglich schwierige Moderationsentscheidungen auf den Kanälen der Amadeu Antonio Stiftung. Wir haben dieses Wissen in einer Datenbank so aufbereitet, dass das vergleichsweise kleine, europäische Sprachmodell MistralAI darauf zugreifen kann. Mit jeder Anfrage wertet das Modell die Datenbank neu aus.
Mehr dazu, wie ModSupport 2.0 technisch funktioniert
ModSupport 2.0 trägt das 2.0 im Namen, weil es bereits eine Version 1.0 gab: Der 2021 erschienene Vorgänger war ein scriptbasiertes Tool, in dem Nutzer*innen eine festgelegte Problembeschreibung auswählen konnten und darauf vorformulierte Antworten erhielten. Doch ein regelbasiertes Programm liefert nur Antworten auf bereits bekannte Fragen und Probleme. Und: Es ist auf eine Eindeutigkeit angewiesen, die es in der Realität nur selten gibt. Die Antwort, die das Modell heute geben kann, ist daher viel näher an der Ambivalenz, die wir auch häufig in Beratungsgesprächen erleben. Denn für einfache Fragen, auf die es eine eindeutige ja/nein-Antwort gibt, konsultieren die meisten Menschen nicht extra eine Beratungsstelle wie Civic.net, sondern die Suchleiste ihres Browsers. Der Mehrwert unserer KI-Anwendung liegt also im „es kommt darauf an“.
Was KI nicht ersetzen kann
Aber was bleibt auf der Strecke, wenn KI die Beratungsarbeit politischer Bildner*innen übernimmt? Chatbots gelten als notorische Ja-Sager. Das Tool bestärkt uns in dem Anwendungsbeispiel, unser Störgefühl bei uneindeutigen Situationen auch in Zukunft ernst zu nehmen:
So freundlich und hilfsbereit KI-Chatbots auch daherkommen mögen: Sie können Empathie nur simulieren. Sie können niemals das Gespräch mit einer menschlichen Beraterin oder einem Freund ersetzen. Eine Beraterin verknüpft ganz selbstverständlich einzelne problematische Kommentare mit anderen Posts in der Kommentarspalte – und mit den Haltungen und Wünschen der Beratungsnehmenden. Und sie kann die Folgen einer einzelnen Moderationsentscheidung auf größeren und abstrakteren Ebenen einschätzen. Sie verankert Entscheidungen damit in der realen Welt. Ein Freund kann zuhören, Fragen stellen, Trost spenden und ermutigen, für heute den Tab zu schließen, die Kommentarspalten einfach mal Kommentarspalten sein zu lassen und in den Feierabend zu gehen.
Unser Chatbot ModSupport 2.0 kann alle unterstützen, die sich gegen Hass im Netz und für bessere Debatten in Online-Communitys einsetzen. Er ersetzt aber kein menschliches Engagement. Er erweitert die Perspektive der einzelnen Anwender*in um das Beratungswissen aus Gesprächen mit Dutzenden anderen Organisationen und liefert ihnen damit neue Stärken und Möglichkeiten. Sie gegen Desinformation und Hate Speech einzusetzen, liegt immer noch an uns.
