Lokal RAG Pipelines için Ollama, Python ve TypeScript Kılavuzu

Yapay zeka uygulamalarında üçüncü parti bulut hizmetlerine bağımlı olmak, veri gizliliğinden ödün vermek ve yüksek maliyetlere katlanmak anlamına gelebilir. Peki ya yerel altyapınızda çalışan, özel verilerinizi asla dışarıya göndermeden hızlı yanıtlar üreten bir RAG (Retrieval-Augmented Generation) sistemi kurmak isterseniz?

Bu makalede, Ollama, Python ve TypeScript kullanarak yalnızca 15 dakikada yerel bir RAG hattı oluşturmanın adım adım yolunu anlatacağız. Hem gizliliği korurken hem de API maliyetlerini sıfırlama yolculuğuna çıkabilirsiniz.

Yerel RAG’in Avantajları: Gizlilik ve Hız

Günümüzde çoğu yapay zeka aracı, kullanıcı verilerini üçüncü parti sunuculara göndererek çalışır. Bu durum, özellikle kurumsal ortamlarda ciddi veri uyumluluğu sorunlarına yol açabilir. Yerel RAG sistemleri ise tam tersine:

• Veri gizliliğini sağlar: Hassas belgeleriniz asla internete çıkmaz.
• API gecikmesini ortadan kaldırır: Bulut tabanlı sorgulara bağlı kalmazsınız.
• Maliyetleri düşürür: Üçüncü parti API ücretleri ortadan kalkar.
• Özelleştirmeye olanak tanır: Model ve vektör deposu seçimleri tamamen sizin kontrolünüzde olur.

Bu avantajlar, yerel RAG’i özellikle kurum içi uygulamalar için ideal bir çözüm haline getiriyor.

RAG Mimarisi: Veri Akışının Adımları

Bir RAG sisteminin temel işleyişi beş ana adımdan oluşur. Bu akışı anlamak, hem yerel hem de bulut tabanlı uygulamalarınızı optimize etmenize yardımcı olur:

1. Veri alımı (Ingestion): Yerel belgelerinizi (PDF, Markdown, DOCX vb.) sisteme dahil edin.
2. Parçalama (Chunking): Uzun metinleri, modelin işleyebileceği daha küçük parçalara ayırın.
3. Gömme oluşturma (Embeddings): Parçaları vektörlere dönüştürün.
4. Semantik arama (Retrieval): Sorguya en benzer parçaları vektör deposundan bulun.
5. Yanıt oluşturma (Generation): En ilgili parçaları LLM’e aktararak nihai yanıtı alın.

Bu adımlar, yerel bir RAG sistemi kurarken izlenmesi gereken standart bir yol haritası sunar.

Uygulama: Yerel Ortamı Hazırlama

Yerel bir RAG hattı oluşturmanın ilk adımı, gerekli araçları yerel makinenize kurmaktır. Aşağıdaki adımları izleyerek başlayın:

Ollama Kurulumu ve Model Yükleme

Ollama, yerel olarak çalışan büyük dil modellerini (LLM) ve gömme modellerini kolayca yönetmenizi sağlayan bir araçtır. Terminalinizi açın ve aşağıdaki komutları çalıştırın:

# En popüler LLM’yi indirin
ollama pull llama3

# Gömme işlemleri için özel olarak tasarlanmış modeli yükleyin
ollama pull nomic-embed-text

Bu işlemlerin ardından, yerel sunucunuz Ollama, ` adresinde çalışmaya başlayacaktır. Artık yerel model ve gömme işlemleri için hazırsınız.

Proje Ortamını Seçme: Python veya TypeScript

RAG sisteminizin bileşenlerini hangi dilde yazacağınız, hem performans hem de geliştirme kolaylığı açısından önemlidir. İki popüler seçenek:

• Python: Geniş kütüphane desteği ve basit API’leriyle tercih edilen bir dil.
• TypeScript: Web uygulamalarıyla entegrasyonu kolaylaştıran, tarayıcı dostu bir seçenek.

TypeScript ile Yerel Gömme Oluşturma

TypeScript kullanarak yerel gömme oluşturmak için ollama kütüphanesini kullanabilirsiniz. Öncelikle projenizi başlatın ve gerekli bağımlılıkları yükleyin:

// index.ts
import { Ollama } from 'ollama';

// Ollama istemcisini yerel sunucuya bağlayın
const ollama = new Ollama({
  host: '
});

// Metni yerel gömmeye dönüştüren fonksiyon
async function generateLocalEmbedding(text: string): Promise<number[]> {
  const response = await ollama.embeddings({
    model: 'nomic-embed-text',
    prompt: text,
  });
  return response.embedding;
}

Python ile Süreç Yönetimi

Python geliştiricileri, ollama kütüphanesinin resmi istemcisini kullanabilir. Öncelikle kütüphaneyi yükleyin:

pip install ollama

Ardından, yerel istemciyi başlatarak gömme işlemlerini gerçekleştirebilirsiniz:

# orchestrator.py
import asyncio
from ollama import AsyncClient

# Asenkron yerel istemciyi başlatın
client = AsyncClient(host=')

# Metni yerel gömmeye dönüştüren fonksiyon
async def generate_local_embedding(text: str) -> list[float]:
    response = await client.embed(
        model='nomic-embed-text',
        input=text
    )
    # Dönüş yanıtı, gömmelerin bir listesini içerir
    return response['embeddings'][0]

Performans İpuçları: Yerel RAG’inizi Optimize Edin

Yerel RAG sistemleri, bulut tabanlı çözümlere göre birçok avantaja sahip olsa da, yerel kaynakların sınırlı olması nedeniyle performans optimizasyonu önem taşır. Aşağıdaki ipuçları, sisteminizi daha verimli hale getirmenize yardımcı olacaktır:

• Bellek Yönetimi: Yerel modellerin çalıştırılması yüksek RAM gerektirir. Eş zamanlı gömme işlemlerini sınırlayarak sistemin çökmesini önleyin.

• Parçalama Stratejisi: Metin parçalarını oluştururken, parçalar arasında bir miktar örtüşme sağlamak önemlidir. Örneğin, 500 karakterlik parçaları 50 karakterlik bir örtüşmeyle ayırarak bağlam bütünlüğünü koruyun.

• Model Seçimi: Gömme ve yanıt oluşturma için kullanılan modellerin performansı, sistemin genel hızını doğrudan etkiler. Farklı modelleri karşılaştırarak en uygun olanını seçin.

• Vektör Deposu: Bellek içi depolama yerine, verilerinizi kalıcı bir vektör deposunda saklayın. Chroma veya Milvus gibi açık kaynaklı seçenekler, yerel RAG sistemlerinde verimli bir şekilde kullanılabilir.

Sonraki Adımlar: Verilerinizi Sürekli Geliştirin

Yerel RAG sistemleri, sadece ilk kurulumla sınırlı kalmamalıdır. Sürekli olarak performansını artırmak ve yeni özellikler eklemek için aşağıdaki adımları takip edebilirsiniz:

• Doküman Yönetimi: Yeni belgeleri kolayca sisteme ekleyin ve var olanları güncelleyin.
• Model Güncellemeleri: Yeni model versiyonlarını test ederek, sisteminizin yanıt kalitesini artırın.
• Entegrasyon: Yerel RAG’i mevcut uygulamalarınıza entegre ederek, kullanıcı deneyimini geliştirin.

Yerel RAG sistemleri, yapay zeka uygulamalarında veri gizliliği ve maliyet kontrolü sağlayan güçlü bir çözüm sunar. Bu kılavuzda anlatılan adımları takip ederek, kendi özel RAG hattınızı kolayca oluşturabilir ve geliştirmeye başlayabilirsiniz.

Siz yerel RAG sistemlerini tercih ediyor musunuz, yoksa üretim ortamlarında bulut tabanlı çözümleri mi kullanıyorsunuz? Deneyimlerinizi yorumlarda paylaşın!