RAG (Retrieval-Augmented Generation) projelerinin çoğu, online olarak görülen büyük demo projelerdir. Ancak bunları üretim ortamında çalıştırmaya çalıştığınızda, hızla sorunlarla karşılaşırsınız. Bunlar arasında, işlem hattı, asenkron işleme, ölçekleme hikayesi, gözlemlenebilirlik ve uygun dağıtım kurulumu gibi konular yer alır. Ben de bu sorunları çözmek için bir şeyler yapmak istediğimden, Ragify adı verilen bir arka uç geliştirdim.
Ragify Nedir?
Ragify, açık kaynaklı, üretim odaklı bir RAG arka uçtır. Node.js + Express + TypeScript ile geliştirilmiştir. Belgeler ve günlükler için MongoDB, vektör araması için Qdrant, asenkron işleme için Redis + BullMQ ve gömme ve yanıtlar için OpenAI kullanılmıştır.
Ragify'nin Farkı
Ragify, sadece "sohbet + gömme"ye odaklanmak yerine, tüm işlem hattını ele almaktadır: Upload → Queue → Chunk → Embed → Store → Retrieve → Generate. Bu, Ragify'yi diğer RAG projelerinden ayıran bir özelliktir. Ragify'nin bazı önemli özellikleri arasında asenkron işleme, token tabanlı parçalama, akış yanıtları, hız sınırlaması ve yapılandırma doğrulaması yer alır.
Neden Ragify?
Ben, self-hosting yapabileceğim, güvenli bir şekilde genişletebileceğim ve gerçek bir ürün için kullanabileceğim bir arka uç istiyordum. Ragify, bu ihtiyaçları karşılar. Eğer siz de RAG / LLM alanında çalışıyorsanız, Ragify size полез olabilir. Geri bildirimlerinizi ve katkılarınızı bekliyorum.
Yapay zeka özeti
RAG projelerinin çoğunda üretim ortamında sorunlarla karşılaşırsınız. Ragify, açık kaynaklı ve üretim odaklı bir RAG arka uçtır
