AI Modelleri Yanlış Karşılaştırmayın: 700 Fonksiyonluk Güvenlik Analizi

Yapay zeka modellerini değerlendiren çoğu benchmark, sadece tek bir metrik üzerinden — doğruluk oranı, geçme oranı ya da güvenlik açığı oranı — değerlendirme yaparak sonuca gidiyor. Oysa bu yaklaşım, tıpkı bir hastanenin genel hasta sonuçlarına bakarak "en iyi sağlık kuruluşu" olduğunu iddia etmek kadar yanıltıcı olabiliyor.

Geçtiğimiz haftalarda yayınlanan bir araştırmada, beş farklı AI modeli — Claude ve Gemini serilerinden — 700 güvenlik fonksiyonu üzerinden karşılaştırıldı. İlk analizde, Haiku modeli %49’luk güvenlik açığı oranıyla "en güvenli", Gemini Pro ise %73’lük oranla "en riskli" model olarak sınıflandırıldı. Ancak araştırmacılar, bu kategorilerin derinlemesine incelenmesiyle bulguların nasıl değiştiğini ortaya koydu.

Neden Tekil Skorlar Yetersiz Kalıyor?

Tek bir güvenlik puanı üzerinden yapılan karşılaştırmalar, modellerin farklı görevlerdeki performanslarını gizliyor. Örneğin:

• Haiku gibi daha basit ve minimal kod üreten modeller, genellikle daha az güvenlik kuralı ihlaliyle karşılaşır.
• Gemini Pro gibi üretim düzeyinde karmaşık kod üreten modeller ise bağlantı havuzları, hata yönetimi ve yapılandırma yönetimi gibi özellikleri nedeniyle daha fazla güvenlik kuralına takılabiliyor.

Bu durum, modellerin güvenlik performansının aslında görev türüne göre büyük farklılıklar gösterdiğini ortaya koyuyor. Örneğin, bir model veritabanı işlemlerinde en güvenli iken, kimlik doğrulama konusunda yetersiz kalabiliyor.

Güvenlik Alanlarına Göre Model Performansı

Araştırmada incelenen beş güvenlik alanı ve her birindeki en iyi performans gösteren modeller şunlar:

1\. Veritabanı İşlemleri (PostgreSQL)

Veritabanı sorguları genellikle parametreli ve güvenli olsa da, karmaşık bağlantılar ve kimlik doğrulama yönetimi daha fazla güvenlik açığına yol açabiliyor.

• En düşük güvenlik açığı oranı: Haiku 4.5 (%39)
• En yüksek düzeltme oranı: Gemini 2.5 Pro (%93)

Haiku, basit ve parametreli sorgular üretirken, Gemini Pro bağlantı havuzları ve kimlik doğrulama yönetimi gibi özellikleri nedeniyle daha fazla güvenlik kuralına takılıyor. Ancak bu karmaşıklık, aslında bir zayıflık mı yoksa geliştirilmesi gereken bir özellik mi sorusu araştırmacılar tarafından tartışılıyor.

2\. Kimlik Doğrulama (JWT, bcrypt)

Kimlik doğrulama fonksiyonlarında, özellikle JWT token üretiminde yapılan hatalar oldukça yaygın.

• En düşük güvenlik açığı oranı: Haiku 4.5 (%29)
• En yüksek düzeltme oranı: Opus 4.6 (%100)

Dikkat çekici bir bulguysa, aynı prompt’a verilen yanıtlarda farklı modellerin %100 tutarlılıkla farklı sonuçlar üretmesi. Örneğin, Opus 4.6 JWT token üretiminde her seferinde hassas verileri payload’a eklerken, Gemini Flash her seferinde minimal payload’larla mükemmel sonuçlar üretiyor.

3\. Dosya İşlemleri (Yükleme, Okuma, Silme)

Dosya işlemlerinde kullanıcıdan gelen dosya adlarıyla yapılan işlemler, neredeyse tüm modellerde güvenlik kuralı ihlallerine yol açıyor.

• En düşük güvenlik açığı oranı: Gemini 2.5 Pro (%86)
• En yüksek güvenlik açığı oranı: Sonnet 4.5 (%100)

Bu durum, modellerin mimari olarak kullanıcıdan gelen dosya adlarını doğrudan dosya sistemi fonksiyonlarına geçirmemesi gerektiğini gösteriyor. En "güvenli" çözüm, aslında kullanıcıdan gelen dosya adlarını hiç almamak olsa da, bu da fonksiyonun amacını ortadan kaldırıyor.

4\. Komut Çalıştırma (Shell İşlemleri)

Shell komutlarıyla yapılan işlemler, tüm modellerde en yüksek güvenlik açığı oranlarına sahip.

• En düşük güvenlik açığı oranı: Haiku 4.5 (%50)
• En yüksek güvenlik açığı oranı: Opus 4.6 (%96)

Haiku’nun basitliği burada avantaj sağlıyor. Dosya sıkıştırma işlemlerinde bazen shell komutu yerine kütüphane fonksiyonlarını kullanması, güvenlik kuralı ihlallerini azaltıyor.

5\. Yapılandırma ve Sırlar Yönetimi

Veritabanı bağlantıları ve gizli anahtarların yönetimi, güvenlik açısından kritik önem taşıyor.

• En düşük güvenlik açığı oranı: Gemini 2.5 Flash (%21)
• En yüksek düzeltme oranı: Flash ve Opus (%100)

Bu alanda, daha basit ve minimal yapılandırmalar üreten modeller genellikle daha güvenli sonuçlar veriyor.

Pratik Çıkarımlar: Doğru Modeli Doğru Görevde Kullanın

Tek bir modelin tüm güvenlik alanlarında en iyi performansı göstermesi mümkün değil. Araştırma sonuçlarına göre:

• Veritabanı işlemlerinde Haiku ve Gemini 2.5 Pro öne çıkıyor.
• Kimlik doğrulama görevlerinde Haiku ve Opus en güvenli seçenekler.
• Dosya işlemleri en zorlu kategori olmaya devam ediyor, ancak Gemini 2.5 Pro diğerlerine göre daha iyi performans gösteriyor.
• Komut çalıştırma görevlerinde Haiku’nun basitliği avantaj sağlıyor.
• Yapılandırma yönetimi konusunda ise Flash ve Opus öne çıkıyor.

Bu bulgular, AI modellerinin güvenlik performansının değerlendirilmesinde tekil skorların ne kadar yanıltıcı olduğunu gösteriyor. Gelecekteki benchmark’ların, modelleri görev türlerine göre ayrı ayrı değerlendirmesi ve güvenlik açığı oranlarının yanı sıra düzeltme oranlarını da dikkate alması gerekiyor.

Araştırmacılar, bu yaklaşımın sadece AI modellerinin güvenliği konusunda değil, aynı zamanda geliştiricilerin hangi modeli hangi görev için seçmesi gerektiği konusunda da yol gösterici olacağını vurguluyor.