Üretimde LLM Çıktı Kalitesini Ölçmenin 3 Yöntemi

İnsanlar üretimde çalışan bir LLM modelinin çıktısını nasıl ölçümleyeceklerini merak ediyor. Bu sorunun cevabı, yapay zekanın deterministik yazılımlardan farklı davranışından kaynaklanıyor. Bir model, aynı girdiye farklı çıktılar verebiliyor ve "doğru" yanıtlar da çok sayıda varyasyona sahip olabiliyor. Bu durumda, geleneksel yazılım testlerine benzer yaklaşımlar yetersiz kalıyor. Peki, üretim ortamında LLM çıktılarını nasıl güvenilir şekilde değerlendirebilirsiniz?

LLM'lerin Üretimde Neden Farklı Bir Yaklaşım Gerektirdiği

Geleneksel yazılımlarda aynı girdi, aynı çıktı üretir. Örneğin, topla(2, 2) fonksiyonu her zaman 4 değerini döndürür. Bu durumda assertEqual gibi testler kolayca uygulanabilir. Ancak LLM'ler için durum farklıdır: Aynı soruya farklı yanıtlar verebilirler ve bu yanıtlar insan gözünde doğru kabul edilebilir. Örneğin, "2 artı 2 nedir?" sorusuna hem "4" hem de "Cevap 4'tür." yanıtları geçerli kabul edilebilir.

Bunun yanı sıra, LLM çıktılarının "doğru" olup olmadığına karar vermek de zorlaşır. Örneğin, bir özetleme özelliği için yüzlerce kabul edilebilir özet üretilebilir; ancak bu özetlerin hiçbiri standart bir yanıt değildir. Bu nedenle, geleneksel yazılım testlerinde kullanılan golden (altın standart) yanıtlara karşı karşılaştırma yapmak mümkün değildir.

LLM çıktılarını ölçümlemek için üç temel katman bulunmaktadır:

• Çevrimdışı değerlendirmeler: Her yeni model veya prompt değişikliğinden sonra sabit bir test seti üzerinde çalıştırılan değerlendirmeler.
• Referans gerektirmeyen kontroller: Canlı yanıtlardan anlam çıkararak yanlışlıkları tespit eden sistemler.
• Üretim izleme: Gerçek trafik akışını izleyerek kalite düşüşlerini, reddedilen yanıtları ve kaymaları tespit etmek.

Bu üç katman bir arada kullanıldığında, LLM çıktılarını güvenilir şekilde değerlendirmek mümkün hale gelir.

Golden Veritabanları: Geri Dönüş Testlerine Benzer LLM Kontrolleri

Golden veritabanları, LLM'lerde regresyon testlerine benzer bir rol oynar. Bu veritabanları, elle oluşturulmuş ve versiyon kontrollü girdi-çıktı çiftlerinden oluşur. Her yeni bir model değişikliği, prompt güncellemesi veya sıcaklık ayarı değişikliğiyle birlikte bu veritabanı çalıştırılır. Eğer çıktı kalitesi önceki seviyenin altına düşerse, sorun derhal tespit edilir ve üretime gönderilmez.

Golden veritabanlarının en önemli özelliği, elle seçilmiş olmalarıdır. Bu veritabanları, gerçek kullanım senaryolarının yanı sıra, nadir karşılaşılan ve zorlayıcı durumları da içerir. Örneğin, boş bir girdi, saldırgan bir prompt, çok dilli bir soru veya bir müşterinin verilerinin analizini zorlaştıran özel durumlar. Bu tür durumlar, rastgele seçilmiş 8.000 örnek yerine, yalnızca 80 adet elle seçilmiş örnekle daha iyi temsil edilebilir.

Aşağıda, golden veritabanını çalıştıran basit bir değerlendirme betiğinin Python ve TypeScript versiyonları yer almaktadır:

# eval_golden.py
import json

# golden.jsonl: her satır bir {