Rus propagandasından en dayanıklı LLM’ler hangileri? Estonya’nın yeni testi yanıtlıyor

Günümüzde karmaşık sorulara yanıt üretmek için gittikçe daha fazla güvenilen büyük dil modelleri (LLM’ler), devletlerin dikkatini çekiyor. Özellikle de yabancı rakipler tarafından yayılan ve ulusal güvenliği tehdit eden propaganda içerikleri konusunda endişeler artıyor. Bu tehdidi ölçmek ve karşı koyabilecek modelleri belirlemek amacıyla Estonya’nın devlet destekli Dil Enstitüsü (ELI), yeni bir "Propaganda Direnç" ölçütü yayınladı. Bu ölçüt, farklı LLM’lerin Rusya Federasyonu tarafından stratejik anlatılarında kullanılan konularda taraf tutmamaya ne kadar yatkın olduğunu değerlendiriyor.

Estonya’nın hassasiyeti: Sovyet geçmişinin gölgesi

Estonya, Sovyetler Birliği’nden bağımsızlığını kazanmasının üzerinden henüz birkaç on yıl geçmiş bir ülke. Bu tarihsel arka plan, komşusu Rusya’nın stratejik anlatılarını daha da dikkatle takip etmelerine neden oluyor. Yerel savunma kolektifi Propastop ile iş birliği içinde çalışan ELI, Rusya’nın kamuoyunu etkileme çabalarını 14 farklı kategoride inceledi. Bu kategoriler arasında Kırım’ın statüsü, Ukrayna savaşının gerekçeleri, NATO’nun tarihçesi ve Sovyetler Birliği’nin II. Dünya Savaşı sırasında Baltık devletlerini ilhak etme gerekçeleri gibi konular bulunuyor.

Test nasıl işliyor?

Araştırmacılar, her propaganda kategorisi için üç farklı türde soru hazırladı:

• - Nötr sorular: Konuya ilişkin objektif bilgiler içeren sorular
• - Yanlış varsayımlara dayalı sorular: Rusya’nın propaganda anlatılarıyla uyumlu önyargıları barındıran sorular
• - Açıkça yanlış bilgiyi ortaya çıkarmayı amaçlayan sorular

Bu sorular, İngilizce, Estonca ve Rusça olmak üzere üç dilde modele sunuldu. Değerlendirme ise ayrı bir yapay zeka modeli tarafından gerçekleştirildi. Bu model, Propastop uzmanlarının görüşleriyle uyumlu olarak kalibre edildi ve modellerin propaganda anlatılarına karşı direnç gösterebilme yeteneğini, harici kaynaklara (örneğin web aramaları) başvurmadan ölçmeyi hedefledi.

Öne çıkan bulgular ve lider modeller

ELI ve Propastop’un yaptığı araştırma, bazı LLM’lerin propaganda karşısında diğerlerine göre çok daha dirençli olduğunu ortaya koydu. En başarılı modeller arasında aşağıdaki isimler öne çıktı:

• - Mistral Large 2: Hem Estonca hem de Rusçada yüksek doğrulukla yanıt vererek propaganda anlatılarına karşı sağlam durdu.
• - Claude 3.5 Sonnet: Nötr sorulara karşı dengeli yanıtlar verirken, yanıltıcı sorular karşısında da tutarlı bir duruş sergiledi.
• - GPT-4o: İngilizce ve Rusça sorularda etkileyici bir performans gösterdi, ancak Estonca’daki hassasiyeti daha düşük düzeyde kaldı.
• - Llama 3.1 70B: Geniş veri seti sayesinde çeşitli propaganda taktiklerine karşı dirençli çıktı.

Öte yandan, bazı modellerin ise daha az başarılı olduğu gözlemlendi. Örneğin, daha küçük parametreli modeller veya yalnızca İngilizce eğitilmiş modeller, Estonca ve Rusça gibi yerel dillerde propaganda anlatılarına karşı daha savunmasız kaldı. Bu durum, dil çeşitliliğinin ve yerel bağlamın önemini bir kez daha vurguladı.

Gelecekteki tehditlere karşı hazırlık

Bu testin sonuçları, yalnızca Estonya için değil, Rusya’nın propaganda faaliyetlerine maruz kalan tüm ülkeler için önemli bir veri kaynağı oluşturuyor. ELI ve Propastop’un yaptığı çalışma, gelecekte geliştirilecek yapay zeka modellerinin, yerel dilleri ve kültürel hassasiyetleri daha iyi anlayabilmesi gerektiğini gösteriyor. Ayrıca, devletlerin ve şirketlerin, bu tür testleri sürekli olarak güncelleyerek modellerin güvenilirliğini artırması gerekiyor.

Yapay zeka destekli araçların giderek yaygınlaşmasıyla birlikte, propaganda ve dezenformasyonla mücadele etmek için daha sağlam mekanizmaların geliştirilmesi kaçınılmaz hale geliyor. Estonya’nın bu girişimi, benzeri çalışmaların artmasına da öncülük edebilir. Gelecekte, hem geliştiricilerin hem de politika yapıcıların bu alanda daha işbirlikçi hareket etmeleri gerekecek.