DSPy ile LLM'leri Doğrudan Programlama: Kaba Güce Yer Yok

Yapay zeka uygulamaları geliştirmek, son yıllarda yazılım mühendisliğinden çok dijital simyaya benziyordu. Geliştiriciler, sistem prompt'larını titizlikle inceliyor, "Adım adım düşün" ekliyor ya da modelin çıktısını JSON formatında vermesini rica ediyordu. Buna "prompt mühendisliği" denildi; ancak bu terim yanıltıcıydı. Gerçek mühendislikten çok, saat yapımcısının dişlileri elle işlemesi gibi bir zanaatkârlıktı.

Bu yaklaşımın temel sorunu, kırılgan, opak ve aktarılabilir olmamasıydı. Bir kelime değişikliği tüm sistemi çökertiyor, model farklı bir görevde halüsinasyon üretmeye başlıyor ya da çıktı formatı bozuluyordu. Üstelik bir modelden diğerine geçildiğinde, tüm emek yeniden başlıyordu. Stanford NLP tarafından geliştirilen DSPy (Declarative Self-improving Language Programs), bu sorunlara sistematik bir çözüm sunuyor: LLM'leri elle prompt'larla değil, programatik olarak tanımlamak ve otomatik optimize etmek.

Neden Manuel Prompt Mühendisliği Çöküyor?

Üretim ölçeğindeki yapay zeka sistemleri için manuel prompt mühendisliği, üç temel duvarla karşı karşıya kalıyor:

• Kırılganlık (Fragility): 500 kelimelik bir prompt'taki tek bir kelime değişikliği, tüm akışı bozabiliyor. Örneğin, çıktı formatını düzeltmek için eklediğiniz bir talimat, modelin başka bir görevde başarısız olmasına neden olabiliyor.

• Opaklık (Opacity): Neden bir prompt çalışıyor ya da çalışmıyor? Geliştiriciler, siyah kutu LLM'lerin içinde kayboluyor. Hataları gidermek için deneme-yanılma yoluyla "büyücü gibi" davranmaktan başka seçenekleri kalmıyor.

• Aktarılmazlık (Non-Transferability): GPT-4 için optimize edilen bir prompt, Claude 3.5 Sonnet'te zayıf kalırken LLaMA 3'te tamamen başarısız olabiliyor. Model değiştikçe, tüm emek sıfırdan başlıyor.

Bu sınırlamalar, yapay zeka ajanlarının zamanla öğrenip gelişmesini engelliyor. Oysa DSPy, prompt'ları elle yazılan metinlerden ziyade, derlenebilen, optimize edilebilen ve doğrulanabilen değişkenler olarak ele alıyor.

Donanımın Dilinden Yüksek Seviye Dile: DSPy'nin Felsefesi

DSPy'nin arkasındaki düşünce, bilgisayar biliminin tarihindeki bir devrime benziyor: makine dilinden yüksek seviye programlama dillerine geçiş.

1970'lerde, programcılar doğrudan makine diliyle çalışıyordu. Her komut, belirli bir CPU mimarisi için elle yazılıyordu. Hafıza adreslerindeki tek bir hata tüm sistemi çökertiyordu. Bir programı başka bir işlemciye taşımak, neredeyse baştan yazmayı gerektiriyordu.

Sonra derleyiciler geldi. Fortran ve C gibi diller, programcıların soyut mantık tanımlamasına izin verdi. Derleyici, bu soyut kodu donanım için optimize edilmiş makine komutlarına dönüştürdü. Artık geliştiriciler, değişkenler ve veri türleriyle çalışıyordu.

LLM çağına baktığımızda, prompt'lar yeni makine diline benziyor. Elle yazılan, model özelinde optimize edilmiş metinler, kırılgan ve aktarılabilir değil. DSPy ise bu prompt'ları yüksek seviye koda çeviren bir derleyici görevi görüyor. Geliştirici, soyut bir Python fonksiyonu tanımlıyor: girdi alanları, çıktı alanları ve iş akışı. DSPy, bu soyut programı, kullanılan LLM'ye göre en uygun prompt ya da ince ayar komutlarına otomatik olarak dönüştürüyor.

DSPy'nin Üç Temel Taşı: İmzalar, Modüller ve Derleyici

DSPy'nin nasıl çalıştığını anlamak için üç temel kavramı incelemek gerekiyor:

1. Tip Tanımlı İmzalar: AI Programları için Veri Türü Sistemi

Geleneksel yazılımda, bir veri türü, bir değişkenin hangi tür değerleri taşıyabileceğini tanımlar. DSPy'deyse tip tanımlı imzalar, AI modüllerinin veri türü sistemini oluşturuyor. Örneğin:

"doküman: str, maksimum_kelime: int -> özet: str"

Bu imza sadece söz dizimsel bir şeker değil; çok önemli roller oynuyor:

• Sözleşme Sağlama: Modülün girdi ve çıktısını kesin olarak tanımlıyor. DSPy, çalışma zamanında otomatik olarak doğrulama fonksiyonları oluşturabiliyor.

• Sentetik Veri Üretimi: Bir imza verildiğinde, DSPy, girdi dağılımından örnekler alıp bir öğretmen modeli kullanarak hedef çıktıları üretebiliyor. Bu, gerçek dünya verisi bulunmayan durumlarda kritik önem taşıyor.

• Bileşebilirlik: İmzalar, modüllerin birbirine bağlanmasına olanak tanıyor. Örneğin, bir özetleme modülünün çıktısı, başka bir modülün girdisi olarak kullanılabiliyor.

2. Optimize Edilebilir Modüller: Akıllı Fonksiyonlar

DSPy modülleri, klasik Python fonksiyonlarından farklı olarak, kendilerini otomatik olarak optimize edebiliyor. Örneğin, bir Predict modülü, bir imza tanımlıyor ve DSPy'nin derleyicisi, bu modülün davranışını iyileştirmek için prompt'ları ya da model parametrelerini ayarlıyor.

import dspy

class Özetleyici(dspy.Module):
    def __init__(self):
        super().__init__()
        self.predict = dspy.Predict("doküman: str -> özet: str")

    def forward(self, doküman):
        return self.predict(doküman=doküman)

Burada Özetleyici sınıfı, soyut bir fonksiyon tanımlıyor. DSPy, çalışma zamanında bu fonksiyonu, kullanılan LLM'ye göre en iyi şekilde çalışacak şekilde derliyor.

3. Derleyici: Soyuttan Somuta Geçiş

DSPy derleyicisi, soyut AI programlarını, çalıştırılabilir komutlara dönüştürüyor. Bu süreç şu adımları içeriyor:

1. Öğretmen Modeli ile Veri Üretimi: İmza ve kullanım örnekleri temel alınarak, sentetik veriler oluşturuluyor.

1. Model Optimizasyonu: Oluşturulan veri, modellerin ince ayarında ya da prompt optimizasyonunda kullanılıyor.

1. Geçerlilik Kontrolü: Sonuçlar, tanımlı imzalar doğrultusunda doğrulanıyor.

Bu sayede, geliştirici sadece ne yapmak istediğini tanımlıyor; nasıl yapılacağını DSPy'ye bırakıyor.

Kendini Geliştiren AI Ajanları İçin DSPy'nin Önemi

Manuel prompt mühendisliğiyle geliştirilen ajanlar, statik kalıyor. Oysa DSPy, ajanların kendi kendini geliştirebilmesini sağlıyor. Örneğin, Stanford NLP tarafından geliştirilen Hermes Agent gibi sistemler, DSPy sayesinde kullanıcı geri bildirimlerini değerlendirip davranışlarını otomatik olarak iyileştirebiliyor.

Bu yaklaşım, yapay zekayı zanaattan mühendisliğe taşıyor. Artık geliştiriciler, saat dişlileriyle uğraşmak yerine, yüksek seviye soyutlamalarla çalışabiliyor. Gelecekte, AI sistemleri sadece veriye dayalı çalışmakla kalmayıp, kendilerini programlayarak evrilecek.

DSPy, bu evrimin ilk adımlarından biri. Manuel prompt'larla uğraşmaktan yorulan geliştiriciler için, yapay zekayı daha güvenilir, ölçeklenebilir ve geleceğe hazır hale getiriyor.