Open-Source-Modelle erkennen russische Propaganda zunehmend schlechter

Die KI-Branche steht vor einer neuen, unbequem praktischen Hürde: Nicht nur das Erzeugen von Desinformation durch Sprachmodelle ist ein Problem, sondern auch deren Schutzfunktion. Eine estnische Untersuchung deutet darauf hin, dass quelloffene KI-Modelle bei der Erkennung russischer Propaganda zunehmend Defizite zeigen. Damit verschiebt sich der Fokus in der Abwehrarbeit: Es reicht nicht, Detektionsmodelle einzusetzen, man muss auch ihre Robustheit gegen reale, dynamische Einflusskampagnen prüfen. In der Praxis betrifft das nicht nur große Plattformen, sondern auch Behörden, Medienhäuser und zivilgesellschaftliche Stellen, die sich auf KI-gestützte Moderation verlassen.

Warum Detektion mit Open-Source-Modelle gerade jetzt riskanter wird

Quelloffene Modelle gelten in der Community häufig als transparent, anpassbar und damit potenziell „besser kontrollierbar“ als proprietäre Black-Box-Systeme. Die neue Bewertung aus Estland widerspricht dieser Intuition zumindest für den konkreten Use Case: Erkennen russischer Propaganda. Das Problem ist weniger ein einzelner Modellfehler als die Kombination aus Datenlage, Trainingszielen und dem typischen Verhalten von Sprachmodellen unter Zensur- und Stilvariation. Propaganda arbeitet häufig mit Metaphern, inkonsistenter Semantik, Mischformen aus Nachricht und Meinung sowie wechselnden sprachlichen Mustern – und genau diese Flexibilität kann klassische Detektionsansätze überfordern.

Fehlerbilder: Von „zu unsicher“ bis „zu überzeugt“

In der Untersuchung geht es dem Kern nach um die Frage, wie zuverlässig Systeme Inhalte als Propaganda erkennen. Dabei sind zwei Ausprägungen besonders heikel:

• False Negatives: KI stuft problematische Inhalte fälschlich als unkritisch ein, wodurch Desinformation trotz Prüfprozess weiter verbreitet wird.
• False Positives: KI markiert irrtümlich legitime politische oder journalistische Texte als Propaganda – was wiederum Vertrauensverlust bei Nutzern auslöst und Abwehrmechanismen untergräbt.

Je nachdem, wie ein System für Moderation oder Recherche eingesetzt wird, kann bereits der eine oder andere Fehler das Sicherheitsniveau spürbar senken. Gerade bei politischen oder sicherheitsrelevanten Themen ist die Schwelle zwischen „Alarm“ und „Fehlalarm“ hoch.

Was die Branche daraus ableitet: Detektion ist kein „Plug-and-Play“

Die Ergebnisse passen in ein größeres Muster, das sich in vielen KI-Themen aktuell zeigt: KI ist hilfreich, aber sie ist nicht automatisch verlässlich. Auch außerhalb der Propaganda-Erkennung zeigen Berichte aus dem Umfeld generativer KI immer wieder, dass Systeme in Grenzfällen aus dem Tritt geraten können. So beschreibt etwa Golem.de den Befund zu Open-Source-Modellen und Desinformation – und macht damit deutlich, dass Schutzmechanismen nicht nur technisch, sondern auch organisatorisch abgesichert werden müssen.

Kontrollen, die über das Modell hinausgehen

Wenn Detektion ausfällt oder unsicher wird, verschiebt sich die Verantwortung in Richtung Prozessdesign. In der Praxis heißt das:

• Mehrstufige Prüfketten: KI kann erste Hinweise liefern, die finale Bewertung sollte durch regelbasierte Verfahren, menschliche Prüfung oder domänenspezifische Modelle ergänzt werden.
• Regelmäßige Red-Team-Tests: Einflusskampagnen ändern Stil und Inhalt; Detektoren müssen gegen aktuelle Varianten getestet werden.
• Transparenz über Unsicherheit: Systeme sollten eher „Review erforderlich“ signalisieren, statt verdeckt zu entscheiden.

Das ist auch deshalb wichtig, weil der Einsatz von KI in realen Arbeitsabläufen oft zu einer ungleichen Erwartungshaltung führt: Nutzer vertrauen dem Output möglicherweise stärker als dem tatsächlichen Leistungsprofil. Wie heise.de im Kontext von KI-Tools im Job betont, hängt Wirkung stark davon ab, wie KI in Prozesse eingebunden ist. Übertragen auf Desinfodetektion heißt das: Fehlanwendung kann die Risiken multiplizieren.

Risikofaktor „Dynamik“: Propaganda entwickelt sich schneller als Benchmarks

Ein strukturelles Problem bei vielen Sicherheits-Setups ist, dass Benchmarks häufig Momentaufnahmen abbilden. Propaganda ist jedoch nicht statisch. Sie reagiert auf Gegenmaßnahmen, passt Formate an Plattformlogiken an und nutzt auch technische Schwachstellen im Zusammenspiel von KI-gestützter Verbreitung und menschlicher Bewertung. Genau diese Dynamik macht es so schwer, zuverlässige Erkennungsroutinen zu schaffen.

Warum gerade Open-Source-Modelle im Visier stehen

Quelloffene Modelle sind gut zugänglich und werden häufig schnell für neue Aufgaben angepasst. Das beschleunigt Innovation – kann aber auch die Fehlerverbreitung erhöhen. Wenn Organisationen ein Modell ohne ausreichende Domänenvalidierung für Propaganda-Erkennung nutzen, kann das Ergebnis je nach Datenbasis stark variieren. Zudem kann die Modellanpassung („Prompting“, Feintuning oder Retrieval-Setups) das Detektionsverhalten verändern, ohne dass der Sicherheitsgrad entsprechend nachgewiesen ist.

Damit entsteht ein neues Spannungsfeld: Open Source wird oft als Freiheits- und Sicherheitsversprechen verstanden. Die aktuellen Ergebnisse legen nahe, dass dieses Versprechen nur dann trägt, wenn ausreichende Sicherheits- und Qualitätsprüfungen mitlaufen – ähnlich wie bei anderen sicherheitskritischen Systemen.

Ausblick: Von der Modellerkennung zur ganzheitlichen Abwehrstrategie

Die KI-Branche steht vor einer klaren nächsten Aufgabe: Schutz vor Desinformation muss als Systemaufgabe verstanden werden – nicht als einzelne Modellfunktion. Dazu gehört, Detektionsmodelle nicht nur „einmal zu testen“, sondern fortlaufend zu überwachen und gegen neue Propagandamuster zu härten. Außerdem wird die Frage nach dem richtigen Zusammenspiel von KI und Menschen zentral: KI kann Muster erkennen und triagieren, aber die endgültige Einordnung bleibt in vielen Kontexten eine Aufgabe mit hoher Verantwortung.

Für Entscheider bedeutet das: Wer KI zur Desinfodetektion einsetzt, sollte Leistungskennzahlen, Fehlerkosten und Prozessgrenzen transparent definieren. Nur so lässt sich vermeiden, dass Schutzmaßnahmen durch scheinbare Automatisierung an Wirkung verlieren. Die neue estnische Einordnung ist damit weniger eine Panikmeldung als ein Weckruf – und ein Hinweis, dass sichere KI-Anwendungen dauerhafte Qualitätsarbeit erfordern.

Quellen: Der Befund zu Open-Source-Modellen und Desinformation wird u. a. von Golem.de zusammengefasst. Hintergrund zur praktischen Einbindung von KI-Tools liefert heise.de.