AI ajanınızın anlama yeteneğini geliştirmek için basit bir yöntem

AI tabanlı sistemlerin performansı, sadece kelime eşleştirmeye dayandığında ciddi sınırlamalarla karşılaşabilir. Örneğin, bir görevin geçmiş bir hatayla benzer olduğunu algılamak veya verilen bir geri bildirimin önceki önerilerle çelişip çelişmediğini belirlemek gibi temel görevler, aslında basit metin karşılaştırmalarından ibaret olabiliyor.

Geçtiğimiz ay yaptığımız bir denetimde, bu tür "zeki" davranışları taklit eden on ilkelin aslında yüzeysel kelime eşleştirme yöntemlerine dayandığını gördük. Hatta bazıları, fonksiyon adlarına rağmen, mantıksal analizden ziyade rastgele ya da aldatıcı sonuçlar üretiyordu. Bu durumu düzeltmek için yaptığımız basit ama etkili değişiklikler ve elde ettiğimiz dersler, AI sistemlerinin geliştirilmesine dair önemli ipuçları sunuyor.

Denetimin ardındaki gerçek: Yüzeysel zekanın maskesi

Bir AI sisteminin başarısını ölçen en önemli unsur, görevleri doğru şekilde tanımlayabilmesi ve benzerlikleri algılayabilmesidir. Örneğin, "veritabanı sorgularını optimize et" ve "SQL performansını artır" gibi ifadelerin aynı görevi temsil ettiğini anlaması beklenir. Ancak sistemimizde kullanılan benzerlik algılayıcı, bu ifadeleri kelime bazında karşılaştırarak sıfır benzerlik değeri üretiyordu.

Bu durum, sistemin aslında kelime eşleştirme dışında herhangi bir anlama yeteneğine sahip olmadığını ortaya koydu. Bir başka deyişle, sistemin "zeki" davranışları sergilediği iddia edilen fonksiyonları, aslında sadece metin işleme kurallarından ibaretti. Örneğin:

• Çelişki algılayıcı, sadece "değil" kelimesinin yakınındaki diğer kelimeleri kontrol ediyordu.
• Geri bildirimleri gruplandırma işlemi, basit bir isim çekim ekleyiciyle çalışıyordu.
• Görevleri birbirinden ayırma işlemi, tamamen kelime bazında eşleşmeyle sınırlıydı.

Bu fonksiyonlar, adlarının önerdiği kadar karmaşık ya da zeki değildi. Sistemdeki bu eksiklikleri gidermek için daha derin bir anlama katmanına ihtiyaç vardı.

Tek bir semantik katman: Basitlikten üstün performansa

Her bir ilkel fonksiyonu ayrı ayrı geliştirmek yerine, tüm sistem için ortak bir semantik gömme modülü oluşturduk. Bu yaklaşımın avantajları oldukça açıktı:

• Tek bir modelin bakımı ve güncellenmesi yeterli oldu.
• Tüm fonksiyonlar aynı veri kümesiyle çalıştığı için tutarlılık sağlandı.

Kullandığımız model, all-MiniLM-L6-v2 adlı bir gömme üreticisinden oluşuyordu. Bu model, 384 boyutlu vektörler üreten ve yaklaşık 22 MB boyutunda olan bir yapay öğrenme modeliydi. Geliştirme makinemizde (AMD Ryzen 5, 14 GB RAM, GPU kullanılmadan) her bir cümle için yaklaşık 80 milisaniyelik bir işlem süresi sundu.

İşte basitleştirilmiş versiyonu:

from functools import lru_cache

try:
    from sentence_transformers import SentenceTransformer
    _model = SentenceTransformer('all-MiniLM-L6-v2')
    _SEMANTIC_AVAILABLE = True
except ImportError:
    _SEMANTIC_AVAILABLE = False

@lru_cache(maxsize=512)
def embed(text: str):
    if not _SEMANTIC_AVAILABLE:
        return None
    return _model.encode(text, normalize_embeddings=True)

def similarity(a: str, b: str) -> float:
    ea, eb = embed(a), embed(b)
    if ea is None or eb is None:
        # Geri düşüş: Jaccard benzerliği
        sa, sb = set(a.lower().split()), set(b.lower().split())
        return len(sa & sb) / max(len(sa | sb), 1)
    return float(ea @ eb)

Bu yapıda dikkat edilmesi gereken birkaç önemli nokta bulunuyor:

• try/except yapısı, sistemin modülün yüklenemediği durumlarda da çalışmasını sağlıyor. Bu, özellikle sınırlı kaynaklara sahip cihazlarda kritik önem taşıyor.
• lru_cache ile 512 girişlik bir önbellek kullanılması, aynı metinlerin tekrar tekrar kodlanmasını engelliyor. Pratikte, görev tanımları ve geri bildirimler sıklıkla tekrarlandığı için önbellek kullanım oranı %60-70 civarında seyrediyor.
• normalize_embeddings=True seçeneği, kosinüs benzerliğini doğrudan nokta çarpımıyla hesaplamayı mümkün kılıyor.

Sayılarla kanıtlanan iyileşme: %70’in üzerindeki doğruluk artışı

Yapılan karşılaştırmalar, semantik gömme kullanımının ne kadar etkili olduğunu net bir şekilde ortaya koydu. Aşağıdaki tabloda, kelime bazlı Jaccard benzerliğiyle semantik gömme arasındaki farklar görülüyor:

| Görev 1 | Görev 2 | Jaccard | Semantik | |---------|---------|---------|----------| | Veritabanı sorgularını optimize et | SQL performansını artır | 0.000 | 0.736 | | Giriş hatasını düzelt | Kullanıcılar giriş yapamıyor | 0.000 | 0.682 | | Kimlik doğrulama modülünü yeniden yapılandır | Kimlik doğrulama kodunu temizle | 0.250 | 0.814 | | Karanlık mod ekle | Karanlık tema uygula | 0.000 | 0.891 | | Hata mesajlarını geliştir | Daha iyi hata işleme | 0.167 | 0.593 | | Bağımlılıkları güncelle | Paket sürümlerini yükselt | 0.000 | 0.547 |

Jaccard benzerliği, çoğunlukla sıfır değerler üretiyor çünkü eşanlamlılar ve yeniden ifadeler kelime bazında eşleşmiyor. Buna karşın semantik gömme, benzerlik değerlerini önemli ölçüde artırıyor. Örneğin, "bağımlılıkları güncelle" ve "paket sürümlerini yükselt" arasındaki benzerlik oranı %54.7 olarak ölçülürken, kelime bazlı yaklaşım sıfır değer üretiyordu.

Sistemdeki her bir ilkel için eşik değerleri de bu karşılaştırmalar sonucunda optimize edildi. Örneğin:

• Görevleri birbirinden ayırma işlemi için 0.75 eşiği kullanıldı, çünkü yanlış pozitif sonuçlar farklı görevlerin birleştirilmesine yol açabiliyordu.
• Benzerlik algılama için 0.60 eşiği tercih edildi, çünkü daha fazla öneri yapmak, hiç öneri yapmamaktan daha güvenliydi.
• Çelişki algılama içinse iki aşamalı bir yaklaşım benimsendi: Öncelikle 0.50 benzerlik eşiğiyle filtreleme yapıldı, ardından mantıksal analiz uygulandı.

AI sistemlerini geliştirmenin geleceği: Basitlikten karmaşıklığa

Bu deneyim, AI sistemlerinin geliştirilmesinde basitlikten karmaşıklığa doğru bir geçişin önemini vurguluyor. Tek bir ortak semantik katmanın kullanılması, sadece performansı artırmakla kalmadı, aynı zamanda sistemin bakımını ve ölçeklenebilirliğini de kolaylaştırdı.

Gelecekte, bu yaklaşımın daha da geliştirilmesiyle, AI sistemlerinin görevleri anlama ve yorumlama yeteneklerinin daha da iyileştirilmesi mümkün olacak. Özellikle, geri bildirimleri daha etkin şekilde değerlendirme ve kullanıcı ihtiyaçlarını daha doğru şekilde karşılama konularında önemli ilerlemeler kaydedilebilir.

AI sistemlerinin gerçek zeka seviyesine ulaşabilmesi için, sadece kelime eşleştirmeyle yetinmemek, aynı zamanda derin anlama ve mantıksal çıkarım yeteneklerini de geliştirmek gerekiyor. Bu yolculukta, basit ama etkili çözümlerden başlayarak karmaşıklığı adım adım artırmak, en güvenilir strateji olabilir.