RAG Test Otomasyonu: AI Sistemleri Nasıl Güvenle Test Edilir?

Yedi yıldır kalite güvence otomasyonunda çalışıyorum. API testleri, performans testleri, kullanıcı arayüzü otomasyonu, veritabanı doğrulamaları — adını koyun, test ettim. Ancak yapay zeka sistemlerini ilk test ettiğimde her şeyin değiştiğini fark ettim.

Sorun karmaşıklık değildi. Test etmek için bildiğim her şey aniden geçersiz hale geldi.

Bu dizi, değişen kuralları anlamamıza yardımcı olacak. Kalite mühendislerinden otomasyon uzmanlarına kadar herkesin yeni bir test anlayışına ihtiyacı var. Önce RAG sistemlerini anlamaya başlayalım.

Büyük Dil Modelleri (LLM) Nedir?

Büyük Dil Modeli (LLM), milyarlarca sayfa metin — kitaplar, makaleler, web siteleri, araştırma makaleleri — tüketerek öğrenmiş bir yapay zeka sistemi olarak düşünebilirsiniz. Bir soru sorduğunuzda arama motoru gibi "cevabı bulmaz"; öğrendiği örüntülerden yeni bir cevap üretir.

ChatGPT, Claude, Gemini ve Llama gibi sistemler hepimizin bildiği LLM örnekleridir. Etkileyici olsalar da ciddi bir sorunları var: Geçmişe ait verilerle eğitildikleri için yeni bilgilere ulaşamazlar.

Geçen hafta yaşanan bir olayı sorduğunuzda "bilmiyorum" cevabı alabilirsiniz. Ancak şirketinizin iç dokümanları, ürün bilgileri veya destek politikaları hakkında soru sorduğunuzda hiçbir fikri olmadığı gibi, güya bildiklerini de uydurabilir.

İşte bu "uydurma" cevaplara hallüsinasyon deniyor ve üretim ortamında kullanılan AI sistemlerinde felaketle sonuçlanabilir.

RAG Nedir ve Neden Önemlidir?

RAG (Retrieval Augmented Generation), yani "Çıkartım Destekli Üretim", bu sorunun üstesinden gelmek için geliştirilmiş bir yöntemdir. Kelime anlamıyla:

• Çıkartım (Retrieval): Belirli bir kaynaktan ilgili bilgiyi bulma
• Destekleme (Augmented): Bulunan bilgiyi AI modeline ekleme
• Üretim (Generation): Modelin bu eklenen bilgiye dayalı cevap üretmesi

Basitçe ifade edersek, RAG sistemi kullanıcı sorusunu almadan önce güncel ve doğru bilgiyi bulur ve AI modeline sunar. Böylece model cevabını hem güvenilir hem de geçerli kaynaklara dayandırır.

Öğrenci Analojisiyle RAG

Bir sınav senaryosu düşünün:

• Öğrenci A (Salt LLM): Sınavdan önce çalışır, cevaplarını ezbere yazar. Konu sınırlarının dışında soru geldiğinde tahmin eder — bazen de yanlış cevap verir.

• Öğrenci B (RAG destekli LLM): Sınava açık kitapla girer. Cevap vermeden önce ilgili sayfaları okur ve cevabını doğrudan kaynağa dayandırır.

RAG’ın faydası açıktır: Cevaplar daha doğru, güvenilir ve kontrollü olur.

RAG Sistemleri Nasıl Çalışır? Adım Adım

Kullanıcı sorusu ile başlayıp nihai yanıta ulaşana kadar RAG sisteminde neler olduğunu basitleştirilmiş olarak inceleyelim:

1. Kullanıcı Sorusu

Örnek: "Premium üyelerin iade politikası nedir?"

2. Çıkartım Aşaması (Retriever)

Sistem, anında cevap üretmek yerine ilk olarak bir bilgi tabanından (dokümanlar, SSS, el kitapları, politika belgeleri) en alakalı parçaları bulur. Bu arama Google’daki gibi basit bir anahtar kelime eşleştirmesi değildir. Sistem, vektör gömülerini (vector embeddings) kullanarak kelimelerin anlamını değil, kavramsal benzerliği dikkate alır.

Örneğin, "Premium üyelerin 30 gün içinde para iadesi alabileceklerini" belirten bir belgeyi, "Premium üyelerin iade politikası nedir?" sorusuna tamamen uygun olarak tanımlar.

3. En İlgili Doküman Parçalarının Elde Edilmesi

Çıkartıcı, en alakalı doküman parçalarını getirir. Örnek:

"Premium üyeler satın alma tarihinden itibaren 30 gün içinde tam para iadesi alabilir. Talepler destek portalı üzerinden gönderilmelidir."

4. Bağlamın LLM’e Aktarılması

Elde edilen doküman parçaları, kullanıcı sorusu ile birlikte prompt’a eklenir. Örnek prompt:

Bağlam: "Premium üyeler satın alma tarihinden itibaren 30 gün içinde tam para iadesi alabilir. Talepler destek portalı üzerinden gönderilmelidir."

Soru: "Premium üyelerin iade politikası nedir?"

5. LLM’in Doğrulanmış Cevabı Üretmesi

Artık Large Language Model, verilen bağlama dayalı olarak cevap üretir:

"Premium üyeler, satın alma tarihinden itibaren 30 gün içinde tam para iadesi talep edebilir. Taleplerinizi destek portalı üzerinden iletmeniz gerekmektedir."

Bu cevap, hem doğru hem de kaynaklara dayalıdır.

RAG Mimarisi: Akış Şeması

Kullanıcı sorgusu sisteme girer. Sistem aşağıdaki adımları takip eder:

1. Soru, bir gömü modeli (embedding model) tarafından vektöre dönüştürülür
2. Vektör, vektör veritabanında en yakın doküman parçalarını bulmak için kullanılır
3. En alakalı parçalar seçilir ve bağlam olarak saklanır
4. Kullanıcı sorusu + bağlam, nihai prompt’a eklenir
5. LLM, bu zenginleştirilmiş prompt’tan cevap üretir
6. Son kullanıcıya cevap iletilir

Her bir adım potansiyel bir hata kaynağıdır. Ve işte bu noktada test süreci devreye girer.

Neden Geleneksel Test Yöntemleri RAG için Yetersiz Kalır?

Geleneksel yazılım testlerinde genellikle şuna benzer bir akış izlersiniz:

Girdi: "GET /api/user/123"
Beklenen çıktı: {"id": 123, "isim": "Ahmet", "rol": "yönetici"}
Gerçek çıktı: {"id": 123, "isim": "Ahmet", "rol": "yönetici"}
Sonuç: ✅ BAŞARILI

Çıktı belirlenebilirdir — aynı girdi her zaman aynı çıktıyı verir. Test senaryoları kolayca yazılabilir. Ancak RAG sistemlerinde durum farklıdır:

• Bağlamın kalitesi cevabın doğruluğunu doğrudan etkiler
• Doküman parçalarının alakalı olup olmadığı önemlidir
• LLM’in cevap üretirken verilen bağlamı ne kadar iyi kullandığı test edilmelidir
• Hallüsinasyon riski her zaman mevcuttur

RAG sistemlerinde test edilmesi gereken unsurlar:

• Doküman parçalarının doğru şekilde bulunup bulunmadığı
• Bağlamın prompt’a doğru şekilde eklenip eklenmediği
• LLM’in yalnızca verilen bağlama dayalı cevap üretip üretmediği
• Cevapların tutarlı ve güvenilir olup olmadığı
• Sistem yanıtlarının kullanıcı beklentilerini karşılayıp karşılamadığı

Geleceğe Bakış: RAG Test Otomasyonunun Önemi

Yapay zeka sistemlerinin üretime alınmasıyla birlikte, geleneksel test yaklaşımları yetersiz kalıyor. RAG sistemleri, sadece doğru cevap üretmekle kalmıyor; aynı zamanda güvenilir, izlenebilir ve denetlenebilir olması gereken sistemlerdir.

Bu dizi boyunca, sıfırdan bir RAG tabanlı test çerçevesi oluşturmayı adım adım ele alacağız. Bir QA mühendisi, otomasyon uzmanı veya geliştirici olarak, AI sistemlerini test etmek için gerekli araçlara ve bilgiye sahip olacaksınız.

RAG sistemlerinin geleceği parlak — ancak bu geleceğin temelinde güvenilir testler yatıyor. Doğru test stratejileri olmadan, AI sistemleri sadece birer "güzel konuşan botlar"dan öteye gidemez.