LLM Maliyetlerini Azaltmanın Yolu: Spring AI ve pgvector ile Semantik Önbellekleme

Yapay zeka çağına adım atmış her kuruluşun en büyük hayali, kullanıcılarına hızlı ve maliyet etkin çözümler sunabilmek. Ancak çoğu geliştirici, LLM (Large Language Model) API çağrılarında basit bir hata yüzünden hem sunucu yanıt sürelerini uzatıyor hem de bütçeyi tüketiyor: dokuzuncu basamaktaki sorulara yanıt ararken, birinci basamağa odaklanıyoruz.

Örneğin, bir kullanıcı "Parolamı nasıl sıfırlarım?" diye sorduğunda, sistem yanıt verebilmek için LLM’e yeni bir istek gönderiyor. Oysa aynı kullanıcı, "Şifre yenileme adımları" deseydi, sistem daha önce kaydedilmiş bir yanıtı sunabilirdi. Burada asıl sorun, geleneksel önbellekleme yöntemlerinin semantik benzerlikleri tanımaması.

Neden Geleneksel Yöntemler LLM Bütçenizi Yiyor?

Geliştiricilerin çoğu, LLM çağrılarını optimize etmek için hâlâ dize eşleştirmesi temelli önbellekleme stratejilerine güveniyor. Bu yaklaşımın üç temel handikabı var:

• Katı Eşleşme Kuralı: Redis ya da Memcached gibi sistemler, kullanıcı sorularındaki kelime farklılıklarını algılayamaz. "API nasıl kullanılır?" ile "API kullanım rehberi" aynı anlama geliyor olsa da, sistem bunu yeni bir istek olarak değerlendirir.

• Uygulama Katmanında Vektör Hesaplama: Bazı ekipler, uygulama içinde elle vektör benzerlik hesaplamaları yaparak performansı düşürür. Oysa pgvector gibi yerleşik vektör veritabanları, donanım hızlandırıcılarıyla bu işi saniyenin altında gerçekleştirir.

• Önce API, Sonra Önbellek: Kullanıcı sorgusunu önbelleğe almadan önce harici bir API’ye göndermek, ağ gecikmesini artırır ve önbellek mantığının amacını ortadan kaldırır.

Doğru Yaklaşım: Semantik Önbellekleme ile Maliyetleri Düşürün

LLM bütçenizi optimize etmek için Spring AI ve pgvector kombinasyonunu kullanabilirsiniz. Bu yöntem, kullanıcı sorgularını anlamakla kalmaz, aynı zamanda daha önce karşılaşılmış benzer sorguların yanıtlarını anında geri döndürür. İşte nasıl çalışır:

1. Spring AI Danışmanlarıyla Entegrasyon: Spring AI’nin CallAroundAdvisor arayüzünü kullanarak, LLM çağrıları otomatik olarak önbelleklenir ve semantik olarak eşleştirilir.

1. Yerel Gömü Modellemesi: Uygulama içinde çalışan ONNX tabanlı bir yerel gömü modeli (örneğin all-MiniLM-L6-v2) kullanarak, kullanıcı sorgularını 5 milisaniyenin altında vektörlere dönüştürün. Bu sayede harici API’lere olan bağımlılığı ortadan kaldırın.

1. pgvector ile Yüksek Performanslı Arama: PostgreSQL’in HNSW indeksli pgvector sütunlarında saklanan gömü vektörlerini kullanarak, sorgularınızı kosinüs benzerliği eşiğiyle (ör. > 0.96) filtreleyin. Bu sayede, benzer anlam taşıyan sorguları anında yanıtlayabilirsiniz.

Örnek Uygulama: Spring AI ile Semantik Önbellekleme

Aşağıdaki Java kodu, Spring AI danışmanı olarak çalışan bir semantik önbellek sistemi oluşturmanıza yardımcı olur. Bu sistem, her yeni LLM çağrısını kontrol eder ve daha önce kaydedilmiş yanıtları varsa anında geri döndürür.

public class SemantikCacheDanisman implements CallAroundDanisman {
    private final PgVectorStore vektorDeposu;
    private final double benzerlikEsi = 0.96;

    @Override
    public AdvisedResponse etrafindakiCagri(AdvisedRequest talep, CallAroundDanismanZinciri zincir) {
        String sorgu = talep.getPrompt().getInstructions().get(0).getContent();
        List<Document> eslesmeler = vektorDeposu.benzerlikArama(
            SearchRequest.sorgu(sorgu)
                .withSimilarityThreshold(benzerlikEsi)
                .withTopK(1)
        );

        if (!eslesmeler.isEmpty()) {
            return AdvisedResponse.from(eslesmeler.get(0).getMetadata().get("cached_response").toString());
        }

        AdvisedResponse yanıt = zincir.nextAroundCall(talep);
        Document kayitliBelge = new Document(sorgu, Map.of("cached_response", yanıt.getMessage()));
        vektorDeposu.ekle(List.of(kayitliBelge));

        return yanıt;
    }
}

Dikkat Edilmesi Gereken Kritik Noktalar

Semantik önbellekleme sistemi kurarken aşağıdaki en iyi uygulamalara dikkat etmek önem taşıyor:

• İş Mantığıyla Önbelleği Ayırın: Spring AI’nin Danisman zinciri sayesinde, semantik önbellekleme servislerinizi kirletmeden arka planda çalışır. Bu sayede kodunuz temiz ve yönetilebilir kalır.

• HNSW İndeksleme ile Ölçeklenebilirlik Sağlayın: milyonlarca kayıt içeren bir önbellek sistemi için HNSW indeksleme kullanmak, 10 milisaniyenin altında yanıt süreleri garantiler. Unutmayın, indeks olmadan vektör arama performansı hızla düşer.

• Eşik Değerini Yüksek Tutun: Benzerlik eşiğini 0.95’in üzerinde ayarlayın. Düşük eşikler, farklı kullanıcı niyetlerini aynı yanıtla eşleştirebilir ve yanlış pozitif önbellek sonuçlarına yol açabilir.

LLM’lerin sunduğu devrim niteliğindeki yeteneklerden maksimum fayda sağlamak için, akıllı önbellekleme stratejilerine yatırım yapmak artık bir seçenek değil, zorunluluk haline geldi. Spring AI ve pgvector gibi araçlarla, kullanıcı deneyimini iyileştirirken aynı zamanda maliyetleri de ciddi ölçüde azaltabilirsiniz. Geleceğin yapay zeka uygulamaları, sadece doğru yanıtları üretmekle kalmayacak, aynı zamanda bütçeyi de koruyacak.