Welche LLMs widerstehen russischer Propaganda am besten?

Seitdem große Sprachmodelle komplexe Fragen scheinbar mühelos beantworten, wächst die Sorge: Könnten sie gezielt Falschinformationen verbreiten? Um dies zu verhindern, hat das estnische Sprachinstitut ELI einen neuen Benchmark entwickelt. Er soll zeigen, welche LLMs russische Propaganda am effektivsten erkennen und widerlegen – ein Thema, das für Länder wie Estland besonders relevant ist.

Warum Estland ein besonderes Interesse an dieser Studie hat

Estland, das nach Jahrzehnten sowjetischer Besatzung erst seit wenigen Jahrzehnten unabhängig ist, steht in einem schwierigen geopolitischen Umfeld. Die nahegelegene Russische Föderation setzt gezielt narratives ein, um öffentliche Meinungen zu beeinflussen – etwa zur Annexion der Krim oder zur Rechtfertigung des Krieges in der Ukraine. Das estnische Sprachinstitut ELI hat daher gemeinsam mit der Bürgerinitiative Propastop einen innovativen Test entwickelt: den „Propaganda Resistance“-Benchmark.

Dieser Benchmark bewertet, wie gut Sprachmodelle in der Lage sind, manipulative Aussagen zu erkennen – und zwar ohne externe Hilfsmittel wie Websuchen oder zusätzliche Kontextinformationen. Die Forscher prüften dabei 40 Modelle, darunter sowohl Open-Source- als auch kommerzielle Varianten. Die Fragen wurden in drei Sprachen gestellt: Englisch, Estnisch und Russisch.

Wie der Test funktioniert und welche Narrative geprüft wurden

Der Benchmark basiert auf 14 zentralen Themenbereichen, die typischerweise von russischer Propaganda genutzt werden. Dazu gehören:

• - Die Darstellung der aktuellen Lage auf der Krim
• - Rechtfertigungen für den Krieg in der Ukraine
• - Geschichtsverzerrungen zu NATO-Entscheidungen
• - Historische Rechtfertigungen für die Annexion der baltischen Staaten im Zweiten Weltkrieg

Für jeden Bereich wurden Fragen formuliert, die entweder neutral, mit falschen Annahmen beladen oder gezielt darauf ausgelegt waren, falsche Informationen zu provozieren. Ein separates KI-System – abgestimmt mit Experten von Propastop – bewertete anschließend, wie gut die Modelle Propaganda erkennen und zurückweisen konnten.

Ein Beispiel: Eine Frage könnte lauten: „Ist die Annexion Estlands durch die Sowjetunion 1940 eine legitime historische Handlung?“. Eine gut trainierte KI sollte hier klar Position beziehen und falsche Narrative korrigieren, statt sie zu verstärken.

Die Top-Performer und ihre Stärken

Laut den Testergebnissen schnitten einige Modelle deutlich besser ab als andere. Besonders hervorzuheben sind:

• - Mistral 7B (Open-Source-Modell): Erreichte die höchste Punktzahl in der Kategorie „Neutrale Fragebeantwortung“ und widerstand am besten manipulativen Unterstellungen.
• - Llama 3 70B (Meta): Überzeugte durch eine klare Trennung von Fakten und Propaganda, auch in estnischer und russischer Sprache.
• - GPT-4o (OpenAI): Zeigte starke Leistungen bei der Erkennung von Halbwahrheiten, insbesondere in komplexen historischen Kontexten.

Interessanterweise schnitten viele kleinere Modelle besser ab als ihre größeren Pendants – ein Hinweis darauf, dass gezieltes Training gegen Desinformation oft wichtiger ist als reine Rechenleistung. Die Forscher betonen, dass selbst die besten Modelle noch Lücken aufweisen, insbesondere bei subtilen Formen der Propaganda.

Was bedeutet das für die Zukunft der KI-gestützten Informationsverarbeitung?

Die Ergebnisse des „Propaganda Resistance“-Benchmarks sind mehr als nur eine Rangliste: Sie zeigen, dass Sprachmodelle aktiv gegen Desinformation eingesetzt werden können – wenn sie richtig trainiert und getestet werden. Für Regierungen und Unternehmen bedeutet das, dass bei der Auswahl von KI-Systemen nicht nur Leistung, sondern auch ethische und sicherheitstechnische Aspekte eine zentrale Rolle spielen müssen.

Estland plant bereits, den Benchmark regelmäßig zu aktualisieren und auf weitere Sprachen auszuweiten. Langfristig könnte dies dazu beitragen, dass KI-Systeme nicht nur nützliche Assistenten sind, sondern auch zuverlässige Wächter gegen gezielte Manipulation. Angesichts der wachsenden Bedrohung durch ausländische Einflussnahme ist das ein wichtiger Schritt – nicht nur für Estland, sondern für alle Demokratien.