Databricks'in AI ajanları için veri akışı sorununu çözme iddiası

Veri odaklı şirketler, yapay zeka destekli uygulamaların yaygınlaşmasıyla birlikte, gerçek zamanlı kararlar alabilen sistemlerin altında yatan veri altyapısının karmaşıklığıyla mücadele ediyor. Databricks’in Data + AI Zirvesi’nde tanıttığı iki yeni ürün, bu soruna yönelik radikal bir yaklaşım sunuyor. Lakehouse//RT ve LTAP, yıllardır süregelen veri boru hattı (pipeline) sorununa son vererek, hem geliştiricilerin hem de AI ajanlarının verilerle daha hızlı ve güvenilir bir şekilde çalışmasını hedefliyor.

On yıllardır süregelen veri bütünleşme sorunu

Veri tabanları, geleneksel olarak iki farklı kategoriye ayrılıyordu: işlem odaklı (OLTP) veritabanları ve analiz odaklı (OLAP) sistemler. Bu ayrım, şirketlerin hem anlık işlemleri hem de uzun vadeli analizleri aynı anda yürütmesini neredeyse imkansız hale getiriyordu. 2014 yılında Gartner tarafından ortaya atılan HTAP (Hybrid Transactional/Analytical Processing) kavramı, bu boşluğu doldurmayı amaçlasa da, çoğu çözüm motor seviyesinde bütünleşmeyi hedefliyordu. Örneğin, SAP HANA ve Oracle MySQL HeatWave gibi sistemler, hem işlem hem de analiz yeteneklerini aynı platformda birleştirmeye çalıştı. Ancak bu yaklaşım, performans ve esneklik açısından ciddi kısıtlamalara sahipti.

Databricks’in yeni LTAP (Lake Transactional/Analytical Processing) sistemi, bu soruna depolama katmanında bütünleşmeyi öneriyor. LTAP, PostgreSQL tabanlı işlem verilerini doğrudan Delta ve Iceberg formatlarında saklayarak, geleneksel ETL (Extract, Transform, Load) boru hatlarını ortadan kaldırıyor. Bu sayede, veriler hem anlık işlemler hem de analizler için aynı kaynaktan beslenebiliyor. Databricks’in kurucu ortağı Reynold Xin, bu yaklaşımı "ajanlar için ideal basitlik" olarak tanımlıyor ve ekliyor:

"Ajanlar, çok daha basit bir veri yığını tercih ediyor, çünkü bu sayede çok daha hızlı hareket edebiliyorlar."

LTAP: Depolama katmanında devrim mi?

LTAP’ın en büyük avantajı, verilerin hem işlem hem de analiz amacıyla aynı kaynaktan yönetilmesini sağlaması. Geleneksel sistemlerde, işlem verileri genellikle PostgreSQL gibi sistemlerde saklanırken, analiz verileri için ayrı bir veri gölü (data lake) veya veri ambarı kullanılıyordu. Bu durum, verilerin kopyalanması, senkronizasyonunun sağlanması ve farklı erişim izinlerinin yönetilmesi gibi karmaşık süreçleri beraberinde getiriyordu.

LTAP’ın çalışma prensibi şu şekilde özetlenebilir:

• PostgreSQL tabanlı işlem verileri, doğrudan Delta ve Iceberg formatlarında saklanır.
• Bu veriler, hem işlem hem de analiz motorları tarafından aynı kaynaktan okunabilir.
• PostgreSQL, işlem motoru olarak kalırken, Spark ve Lakehouse analitik motor olarak görev yapar.

Xin, bu yaklaşımın temel felsefesini şöyle açıklıyor:

"Amacımız, kullanıcıların en iyi sorgulama motorunu seçmesine izin vermek. Biz sadece altta yatan depolamanın tek bir kopyasını sağlıyoruz."

Ancak bu sistemin en büyük mühendislik zorluğu, gecikme süresinin minimize edilmesi. Nesne depolama sistemleri (object storage) genellikle saniyeler düzeyinde yanıt sürelerine sahiptir ki bu, milisaniyeler düzeyinde yanıt süreleri gerektiren işlem odaklı sistemler için oldukça yavaştır. Lakebase, bu sorunu, PostgreSQL hesaplama örnekleri ile nesne depolama arasında yer alan bir önbellek katmanı (caching layer) kullanarak çözüyor. Bu katmanda, satırdan sütuna dönüştürme işlemi gerçekleştirilerek, verilerin sıkıştırılması ve ağ maliyetlerinin önemli ölçüde azaltılması sağlanıyor.

Lakehouse//RT: Gerçek zamanlı sorgulamada devrim

AI ajanları, gerçek zamanlı verilerle çalışabilmek için milisaniyeler düzeyinde yanıt sürelerine ihtiyaç duyar. Geleneksel olarak, şirketler bunun için ayrı bir gerçek zamanlı hizmet katmanı (serving tier) kullanıyordu. Bu katman, veri kopyaları, ayrı yönetişim ve karmaşık boru hatları gerektiriyordu ki bu da ajanların performansını olumsuz etkiliyordu.

Databricks’in yeni ürünü Lakehouse//RT, bu soruna doğrudan Lakehouse veri gölünde yanıt verebilen Reyden isimli bir hesaplama motoru sunarak çözüm getiriyor. Reyden’in sunduğu temel özellikler şunlar:

• Delta ve Iceberg tablolarını doğrudan sorgular, verileri Lakehouse’tan çıkarmadan.
• Saniyede 12.000 sorguda milisaniyeler düzeyinde yanıt süreleri sunar (küçük veri setlerinde 10ms’ye kadar).
• Mevcut gerçek zamanlı hizmet katmanlarına kıyasla 16 kata kadar daha iyi performans sağlar.
• Tüm sorgular, Unity Catalog yönetişim çerçevesi içinde çalışır; ayrı izin katmanları, veri kopyaları veya boru hatları gerektirmez.

Sektör analistleri: Farklılık potansiyeli var, ancak kanıt gerekiyor

Veri yönetimi alanındaki uzmanlar, Databricks’in sunduğu çözümleri takdirle karşılıyor, ancak bazı önemli noktaların altını çiziyor. Stephanie Walter, HyperFRAME Research’te AI Yığını Lideri olarak görev yapıyor ve Databricks’in yaklaşımını "ajan odaklı" olarak tanımlıyor. Walter’a göre, ajanların hem anlık hem de geçmiş veriye aynı anda erişmesi, yönetişimi sağlaması ve veriye yazma yeteneğine sahip olması gerekiyor. Bu, geleneksel HTAP sistemlerinden oldukça farklı bir gereksinim.

Walter, şunları ekliyor:

"Şirketler yıllardır HTAP, veri akışı, bulut veri ambarları ve operasyonel depolama sistemlerine sahipti. Fark, Databricks’in bunu ajan odaklı bir çerçevede sunma iddiasında yatıyor."

Mike Leone, Moor Insights & Strategy analisti ise Databricks’in en büyük avantajının, açık formatlara yönelik yaklaşım olduğunu belirtiyor. Leone, veri göllerinde açık analitik hizmetlerinin artık standart hale geldiğini, ancak işlem verilerinin de aynı açık formatta saklanmasının daha az yaygın olduğunu vurguluyor. Bu yaklaşımın, özellikle veri bütünlüğü ve yönetişim açısından önemli bir fark yaratabileceğini söylüyor.

Gelecekte neler bekleniyor?

Databricks’in tanıttığı LTAP ve Lakehouse//RT, veri yönetimi alanında köklü bir değişim yaratma potansiyeline sahip. Bu sistemlerin, AI ajanlarının performansını doğrudan etkileyeceği ve şirketlerin veri altyapısını daha basit, daha verimli ve daha güvenilir hale getireceği açık. Ancak, bu çözümlerin geniş ölçekte benimsenmesi ve operasyonel olgunluğa ulaşması zaman alacak. Şirketler, bu yenilikleri yakından takip ederken, veri altyapılarını güncelleme sürecinde dikkatli adımlar atmaya devam edecekler.