RAG Sistemlerinin Üretime Geçmeden Önce Nasıl Stres Testi Yapılır?

RAG (Retrieval-Augmented Generation) sistemleri geliştirilirken en yaygın yapılan hatalardan biri, yalnızca basit ve olumlu senaryolarla sınırlı testler yapmaktır. Bir kullanıcı "makine öğrenmesi nedir?" diye sorduğunda doğru yanıtı aldıktan sonra projeyi tamamlanmış kabul etmek, sistemin gerçek dünyada karşılaşacağı zorluklara hazır olmadığını gösterir. Üretime alınan RAG uygulamaları ise genellikle hayalcilik (hallucination), sınırları aşan sorgulara yanıt vermekte yaşanan tutarsızlıklar, saldırgan istemlere karşı savunmasızlık ve eş zamanlı kullanıcı yükü altında performans düşüşü gibi sorunlarla karşılaşır.

İşte tam da bu noktada RAG Pipeline Stress Tester devreye giriyor. Bu açık kaynaklı araç, RAG sistemlerinizi üretim öncesi olarak gerçek dünya koşullarında stres testine tabi tutarak zayıf noktalarınızı ortaya çıkarır. Sistematik bir yaklaşımla tasarlanan bu araç, çeşitli saldırgan senaryoları simüle ederek RAG uygulamanızın güvenilirliğini ve performansını doğrudan ölçer.

Düşük Riskli Üretim İçin Kritik Sorulara Yanıt Bulun

RAG sisteminizi üretime almadan önce dört temel sorunun yanıtını bilmelisiniz:

• Veri kümenizde yer almayan konularda sistem hayalcilik yapıyor mu?
• Sınırları aşan sorgulara uygun şekilde reddediyor mu?
• Aynı sorunun farklı ifadelerine tutarlı yanıtlar verebiliyor mu?
• 10, 25 veya 50 eş zamanlı kullanıcı altında performansı düşmeden çalışabiliyor mu?

Manuel testler, özellikle büyük ölçekli sistemlerde bu soruları yanıtlamak için yetersiz kalır. RAG Pipeline Stress Tester ise otomatik olarak bu boşlukları doldurarak, sisteminizin gerçek dünya koşullarındaki davranışını objektif olarak değerlendirir.

Yedi Farklı Saldırgan Senaryo Kategorisi

Araç, sisteminizi yedi farklı kategoride test etmek için özel olarak tasarlanmış saldırgan sorgular sunar. Her kategori, belirli bir zayıflık türünü hedef alır:

• Kapsam dışı sorgular (out_of_scope): Veri kümenizde yanıtı bulunmayan konularla ilgili sorular sorarak hayalcilik eğilimini ölçer.
• Saldırgan sorgular (adversarial):istem enjeksiyonu ve jailbreak girişimleriyle sistemin talimat takip yeteneğini test eder.
• Belirsiz sorgular (ambiguous): Birden fazla geçerli yoruma sahip sorgularla sistemin doğru seçim yapma yeteneğini değerlendirir.
• Çok dilli sorgular (multilingual): Farklı dillerdeki sorgularla dil destek yeteneklerini ölçer.
• Zamana duyarlı sorgular (temporal): Verinin güncelliğini sorgulayan zaman hassasiyetli sorularla sistemin veriyi doğru şekilde yorumlama yeteneğini test eder.
• Olumsuzlama sorguları (negation): "X değildir" tarzındaki sorgularla sistemin negatif ifadeleri doğru şekilde işleme yeteneğini değerlendirir.
• Bileşik sorgular (compound): Birden fazla bileşeni olan ve birden fazla veri çekme işlemi gerektiren sorgularla sistemin karmaşık sorgulara yanıt verme yeteneğini ölçer.

Bu kategorilerin her biri için özel sorgular hazırlanmış durumda. Ayrıca, kendi sorgularınızı oluşturmak için query_bank/ dizinine yeni dosyalar ekleyebilirsiniz.

Sağlık Skoruyla Üretim Kararlarınızı Doğrulayın

Her test çalışması sonunda sisteminizin genel performansını değerlendiren bir Sağlık Skoru (Health Score) hesaplanır. Bu skor 0 ile 100 arasında değişir ve beş farklı bileşenin ağırlıklı ortalaması olarak hesaplanır:

• Hassasiyet (Precision): Sistemin doğru yanıt verme oranı
• Hayalcilik (Hallucination): Yanlış veya uydurma yanıt verme eğilimi
• Reddetme kalitesi (Refusal Quality): Kapsam dışı sorgulara uygun şekilde reddetme yeteneği
• Tutarlılık (Consistency): Aynı soruya farklı ifadelerle verilen yanıtların tutarlılığı
• Gecikme (Latency): Eş zamanlı yük altında yanıt verme süresi (p50, p95, p99)

Sağlık Skoru şu şekilde yorumlanır:

• 80 ve üzeri (MÜKEMMEL): Üretime hazır
• 60-79 arası (İYİ): Küçük sorunlar var, dağıtımdan önce gözden geçirin
• 40-59 arası (ORTA): Önemli sorunlar var, ilk olarak bunları çözün
• 40 ve altı (KÖTÜ): Kritik hatalar var, dağıtıma göndermeyin

Kurulum ve Kullanım Kolaylığı

Aracı kullanmaya başlamak için gerekenler oldukça basit. Öncelikle Python 3.8 ve üzeri bir sürümünüzün olduğundan emin olun. Daha sonra aşağıdaki komutla gerekli bağımlılıkları yükleyin:

pip install -r requirements.txt

Test edeceğiniz RAG uygulamasının ise basit bir HTTP API uç noktasına sahip olması gerekiyor. Uç noktanın POST isteği kabul etmesi ve JSON formatında {"query": "..."} şeklinde sorguları alması gerekir. Yanıt olarak ise response veya answer alanlarından birini içeren bir JSON yanıtı göndermelidir. HTTP durum kodu olarak 200 dışında bir değer döndürülmesi durumunda bu bir hata olarak kaydedilir.

Üretim Öncesi Stres Testi Nasıl Yapılır?

Tam kapsamlı bir stres testi çalıştırmak için aşağıdaki komutu kullanabilirsiniz:

python3 main.py stress-test \
  --endpoint  \
  --concurrency 10 \
  --duration 60

Bu komut, belirtilen uç noktaya 10 eş zamanlı kullanıcıyla 60 saniye boyunca test yapar ve sonuçları reports/ dizinine kaydeder. Ayrıca, yalnızca belirli kategorilerde test yapmak için sorgularınızı filtreleyebilirsiniz:

python3 main.py stress-test \
  --endpoint  \
  --query-types out_of_scope,adversarial,multilingual

Test çıktıları, sistem performansınızı ayrıntılı olarak gösteren interaktif grafikler içeren HTML raporu ve makine tarafından okunabilir JSON raporu olarak kaydedilir.

Hızlı Sağlık Kontrolü İçin Quick Test

Tam bir stres testi yapmadan önce sisteminizin temel işlevselliğini hızlıca kontrol etmek için quick-test komutunu kullanabilirsiniz. Bu komut, her kategoriden beşer soru olmak üzere toplam 35 sorguluk bir test çalıştırır:

python3 main.py quick-test --endpoint 

Sonuç olarak, sisteminizin sağlık skoru ekrana yazdırılır. Bu sayede üretime almadan önce hızlı bir değerlendirme yapabilirsiniz.

Kendi Veri Kümenizden Özel Sorgular Üretin

Araç, kendi belge koleksiyonunuzdan özel sorgular üretmenizi de sağlar. analyze-corpus komutu ile .txt, .md veya .json formatındaki belgelerinizi analiz ederek, belirli alanlara özgü sorgular oluşturabilirsiniz. Bu sayede, sisteminizin özel kullanım senaryolarına karşı dayanıklılığını test edebilirsiniz.

RAG sistemlerinizin üretime geçmeden önce gerçek dünya koşullarına hazır olup olmadığını doğrulamak için bu aracı kullanarak hem performans hem de güvenilirlik açısından önemli kazanımlar elde edebilirsiniz. Otomatik testler sayesinde, elle yapılması mümkün olmayan ölçekte ve doğrulukta değerlendirmeler yaparak kullanıcı deneyimini riske atmadan sisteminizi optimize edin.