Açık Agent SDK ile Çoklu Sağlayıcı LLM Entegrasyonu Nasıl Basitleştiriliyor?

Yapay zeka uygulamaları geliştirenler için en büyük zorluklardan biri, farklı dil modelleri (LLM) arasında seçim yapmaktır. Basit sorgular için ucuz modeller, karmaşık analizler için yüksek performanslı modeller ve maliyetleri düşürmek ya da gizliliği korumak için yerel modeller tercih ediliyor. Ancak, her sağlayıcının kendine özgü API yapısı ve parametreleri, geliştiricilerin işini oldukça karmaşık hale getiriyor.

Open Agent SDK tam da bu noktada devreye giriyor. Açık kaynaklı bu SDK, farklı LLM sağlayıcılarını tek bir standart arayüz altında birleştirerek, geliştiricilerin sistemlerini kolayca ölçeklendirmesine olanak tanıyor. Peki, bu SDK nasıl çalışıyor ve hangi avantajları sunuyor?

Open Agent SDK’nın Temel Yapısı: LLMClient Protokolü

Open Agent SDK’nın kalbinde, LLMClient protokolü yer alıyor. Bu protokol, farklı LLM sağlayıcıları arasında standart bir iletişim katmanı oluşturuyor. Geliştiriciler, projeye özel olarak hangi modeli kullanacaklarına karar verebilirken, aynı zamanda gerçek zamanlı olarak parametreleri ayarlayabiliyorlar. Örneğin, bir sorgunun karmaşıklığına göre maxTokens, temperature ya da thinking parametrelerini dinamik olarak değiştirebiliyorlar.

Protokolün sunduğu temel yöntemler arasında şunlar bulunuyor:

• sendMessage: Senkron ileti gönderimi ve yanıt alma.
• streamMessage: Gerçek zamanlı akışlı yanıt işleme.

Tüm yanıtlar, Anthropic’in standart yanıt formatına dönüştürülüyor. Bu sayede, hangi sağlayıcıdan gelen yanıt olursa olsun, geliştiriciler aynı şekilde işleyebiliyor. Örneğin, OpenAI uyumlu bir model kullanılıyorsa bile yanıtlar Anthropic formatına çevrilerek tutarlılık sağlanıyor.

AnthropicClient: Doğal Entegrasyon ile Güçlü Performans

Anthropic’in AnthropicClient implementasyonu, SDK’nın sunduğu standart protokolü doğrudan Anthropic’in Claude modelleriyle entegre ediyor. Swift’in actor yapısını kullanarak, eşzamanlılık güvenliğini sağlarken, API isteklerini optimize ediyor.

Örneğin, bir AnthropicClient örneği oluşturmak için sadece API anahtarını ve istek süresini tanımlamak yeterli:

public actor AnthropicClient: LLMClient {
    private let apiKey: String
    private let baseURL: URL
    private let urlSession: URLSession

    public init(apiKey: String, baseURL: String? = nil, urlSession: URLSession? = nil) {
        self.apiKey = apiKey
        self.baseURL = URL(string: baseURL ?? ")!
        self.urlSession = urlSession ?? URLSession.shared
    }
}

Her istek, x-api-key ve anthropic-version gibi özel başlıklarla birlikte gönderiliyor. Ayrıca, API anahtarları hata günlüklerinde gizlenerek güvenlik sağlanıyor:

let safeMessage = errorMessage.replacingOccurrences(of: apiKey, with: "***")

Bu yapı, sadece Anthropic’in resmi API’siyle değil, aynı zamanda OpenAI uyumlu diğer sağlayıcılarla da çalışabiliyor. Örneğin, thinking parametresi doğrudan Anthropic’in Extended Thinking özelliğine aktarılabiliyor.

OpenAIClient: Farklı Sağlayıcılar Arasında Köprü Kurma

OpenAIClient, Anthropic formatını OpenAI uyumlu API’lere (GLM, Ollama, OpenRouter vb.) dönüştüren bir köprü görevi görüyor. Geliştiriciler, hangi sağlayıcıyı kullanacaklarına karar verirken, SDK bu geçişi otomatik olarak gerçekleştiriyor.

Örneğin, bir sorgunun Anthropic formatında gönderilmesi ve OpenAI uyumlu bir modelden yanıt alınması gerektiğinde, OpenAIClient parametreleri uygun şekilde çeviriyor. Bu sayede, geliştiriciler herhangi bir kod değişikliği yapmak zorunda kalmıyor.

public actor OpenAIClient: LLMClient {
    private let apiKey: String
    private let baseURL: URL

    public init(apiKey: String, baseURL: String? = nil, urlSession: URLSession? = nil) {
        self.apiKey = apiKey
        self.baseURL = URL(string: baseURL ?? ")!
        self.urlSession = urlSession ?? URLSession.shared
    }
}

Bu yapı, sadece OpenAI’nın resmi API’siyle değil, aynı zamanda üçüncü parti sağlayıcılarla da çalışabiliyor. Örneğin, /chat/completions endpoint’ine yapılan istekler, standart Bearer token doğrulamasıyla gerçekleştiriliyor.

Gerçek Dünyadaki Uygulamalar: Esneklik ve Kontrol

Open Agent SDK’nın en büyük avantajlarından biri, geliştiricilere sunduğu esnekliktir. Örneğin, bir sohbet botu geliştirirken, basit sorgular için ucuz bir model kullanabilirken, karmaşık analizler için daha güçlü bir modele geçiş yapabilirsiniz. Aynı zamanda, yerel modelleri kullanarak gizliliği koruyabilir ya da maliyetleri düşürebilirsiniz.

SDK’nın sunduğu diğer bir avantaj ise gerçek zamanlı parametre ayarlamaları. Örneğin, bir sorgunun karmaşıklığına göre temperature ya da maxTokens değerlerini dinamik olarak değiştirebilirsiniz. Bu sayede, her sorgunun en uygun şekilde işlenmesini sağlayabilirsiniz.

Yakın gelecekte, açık kaynaklı yapay zeka projelerinin yaygınlaşmasıyla birlikte, çoklu sağlayıcı entegrasyonları daha da önem kazanacak. Open Agent SDK gibi araçlar, geliştiricilerin bu geçişi daha kolay ve güvenilir bir şekilde yapmalarına olanak tanıyor. SDK’nın sunduğu esneklik ve standartlaşma, yapay zeka uygulamalarının geleceğini şekillendirecek önemli adımlardan biri olarak öne çıkıyor.