Vektör Araması Nasıl Çalışır: IVF ve HNSW Algoritmaları

Yapay zeka destekli arama sistemleri, öneri motorlarından görüntü tanımaya kadar birçok alanda kullanılan vektör aramaları sayesinde milyarlarca veriyi saniyeler içinde tarıyor. Ancak bu sistemlerin nasıl bu kadar hızlı çalıştığını hiç merak ettiniz mi? Küçük bir hileyle yola çıkıyorlar: "en yakın" vektörleri bulmak yerine, "yaklaşık olarak en yakın" olanları bulmayı tercih ediyorlar. Bu yaklaşımın temelinde yatan IVF ve HNSW algoritmalarını anlamak, vektör aramalarının gizemini çözmenizi sağlayacak.

Vektör Aramasında "Doğru" Neden Geçersiz Kılınıyor?

Vektör aramaları, genellikle birkaç yüz ila birkaç bin sayıdan oluşan gömülü ifadelerle çalışır. Bu ifadeler, metin, görüntü veya ses gibi verilerin matematiksel temsilidir. Doğal olarak, arama yaparken elimizdeki vektör ile en yakın anlam taşıyan vektörleri bulmak isteriz. Ancak bu işlem, vektörlerin yer aldığı boyut sayısı arttıkça ciddi bir sorun haline gelir.

Yüksek boyutlu uzaylarda, bir vektörün en yakın komşusu ile en uzak komşusu arasındaki mesafe neredeyse eşit hale gelir. Bu duruma boyutluluk laneti adı verilir. Örneğin, 100 boyutlu bir uzayda, bir vektörün en yakın komşusu ile en uzak komşusu arasındaki mesafe farkı o kadar küçülür ki, bir ağaç yapısıyla verileri gruplandırmak neredeyse imkansız hale gelir. Bu nedenle, vektör aramalarında tam olarak en yakın vektörü bulmak yerine, yaklaşık olarak en yakın vektörleri bulmak tercih edilir. Bu yaklaşım, hızlı sonuçlar elde etmek için doğruluktan ödün vermeyi gerektirir.

Uzaklık Ölçümleri: Hangi Kriter Önemli?

Vektörler arasındaki uzaklığı ölçmek için farklı yöntemler kullanılır. En yaygın olanları şunlardır:

• L2 (Öklid) uzaklığı: İki vektör arasındaki doğrudan mesafeyi ölçer. Hem yön hem de uzunluğu dikkate alır.
• İç çarpım (Inner Product): Vektörlerin yönünü ve uzunluğunu birlikte değerlendirir. Uzun vektörler için avantaj sağlar.
• Kosinüs benzerliği: Yalnızca vektörlerin arasındaki açıyı ölçer ve uzunluğu dikkate almaz. Metin tabanlı gömülü ifadelerde sıkça kullanılır, çünkü anlamın yönü önemlidir.

Eğer tüm vektörler normalize edilirse (uzunlukları 1’e eşitlenirse), bu üç ölçüm birbirine dönüşür. Örneğin, normalize edilmiş vektörlerde iç çarpım kosinüs benzerliğine, L2 uzaklığı da kosinüs benzerliğinin basit bir fonksiyonuna dönüşür. Bu sayede, sistemler hangi uzaklık ölçümünü kullandıklarını ayırt etmek zorunda kalmazlar.

IVF: Doğru Mahalleyi Bulma Stratejisi

Inverted File Index (IVF), vektör aramalarında kullanılan en basit ve yaygın algoritmalardan biridir. Temel fikri oldukça sezgiseldir: tüm verileri önceden belirlenmiş sayıda kümeye ayırın ve sorguları yalnızca ilgili kümeleri tarayarak yanıtlayın.

Bu yaklaşımın adımları şu şekilde özetlenebilir:

1. Kümeleme (Clustering): Tüm vektörler, k-means algoritması kullanılarak nlist adı verilen sayıda kümeye ayrılır. Bu algoritma, her vektörü en yakın küme merkezine atar, ardından küme merkezlerini yeniden hesaplar ve bu işlem stabil hale gelene kadar devam eder.

1. Sorgulama (Querying): Gelen bir sorgu vektörü, tüm küme merkezleriyle karşılaştırılır ve nprobe adı verilen sayıda en yakın küme seçilir.

1. Tarama (Scanning): Seçilen kümelerdeki tüm vektörler tarama listesine alınır ve en yakın olanlar belirlenir.

IVF algoritmasında iki ana parametre bulunur: nlist ve nprobe. nlist, verilerin kaç kümeye ayrılacağını belirlerken, nprobe ise sorgulama sırasında kaç kümenin tarama listesine alınacağını kontrol eder. nprobe değeri arttıkça, tarama yapılan veri miktarı ve doğruluk artar, ancak yanıt süresi de uzar.

IVF algoritmasının bir diğer önemli özelliği, Ürün Nicemleme (Product Quantization, PQ) adı verilen bir teknikle daha da optimize edilebilmesidir. Bu teknikte, her vektör küçük parçalara ayrılır ve her parça için ayrı k-means uygulanarak bir kod tablosu oluşturulur. Vektörler yerine yalnızca bu kod tablosundaki indisler saklanır. Bu sayede, bellek kullanımı önemli ölçüde azalır ve sorgulama süresi kısalır.

HNSW: Katmanlı Haritada Gezinme

Hierarchical Navigable Small World (HNSW), vektör aramalarında en yüksek doğruluğu en düşük yanıt süresiyle sunan algoritmalardan biridir. Bu algoritma, verileri katmanlı bir grafik yapısında organize eder ve sorguları bu yapı üzerinden hızlıca yönlendirir.

HNSW’nin temel prensipleri şunlardır:

• Katmanlı Grafik Yapısı: Veriler, farklı yoğunluklarda katmanlara ayrılır. En üst katman oldukça seyrektir ve yalnızca birkaç düğüm içerir. Alt katmanlara doğru düğüm sayısı artar ve en alt katman tüm verileri içerir.
• Uzaklık Tabanlı Bağlantılar: Her düğüm, en yakın komşularına bağlanır. Bu bağlantılar, vektörler arasındaki uzaklık esas alınarak oluşturulur.
• Sorgulama Süreci: Bir sorgu geldiğinde, algoritma en üst katmandan başlar ve her adımda en yakın düğüme doğru ilerler. Bu işlem, en alt katmana ulaşana kadar devam eder ve ardından en yakın vektörler belirlenir.

HNSW’nin en büyük avantajı, yüksek doğruluk ve hız dengesini sağlamasıdır. Bununla birlikte, diğer algoritmalara göre daha fazla bellek kullanır. Bu nedenle, bellek sınırlarının kritik olmadığı büyük ölçekli uygulamalarda yaygın olarak tercih edilir.

Hangi Algoritmayı Seçmeli?

IVF ve HNSW algoritmalarının her ikisi de vektör aramalarında etkili olsa da, seçim yaparken çeşitli faktörleri göz önünde bulundurmak gerekir:

• Veri Boyutu: Küçük veriler için IVF yeterli olabilirken, büyük verilerde HNSW daha yüksek performans sağlayabilir.
• Doğruluk Gereksinimi: Eğer yüksek doğruluk gerekliyse, HNSW tercih edilebilir. Daha hızlı yanıtlar içinse IVF daha uygun olabilir.
• Bellek Kısıtları: Bellek kullanımının önemli olduğu durumlarda, IVF ve PQ kombinasyonu ideal olabilir.
• Uygulama Türü: Öneri sistemleri gibi uygulamalarda hız önemlidir, bu nedenle IVF tercih edilebilir. Görüntü arama gibi uygulamalarda ise HNSW daha uygun olabilir.

Vektör aramaları, yapay zeka çağında veri işlemeyi devrim niteliğinde değiştiren bir teknolojidir. IVF ve HNSW gibi algoritmalar, milyonlarca hatta milyarlarca veriyi saniyeler içinde tarayarak kullanıcıların en doğru ve hızlı yanıtlara ulaşmasını sağlar. Gelecekte, bu algoritmaların daha da optimize edilmesiyle birlikte, vektör aramalarının kullanım alanlarının genişlemesi ve verimliliğinin artması bekleniyor.