Veri Boru Hattı Operasyonlarında Devrim: Definity

Veri mühendisliği ekipleri için boru hattı güvenilirliğini yönetmek genellikle bir uyarı beklemek, dağıtılmış işler ve kümeler boyunca hataları manuel olarak izlemek ve sorunları already ortaya çıkmasından sonra düzeltmek anlamına gelir. Agentic AI sistemleri temiz ve zamanında veri gerektirir. Bir boru hattı başarısız olursa veya eski verileri teslim ederse, sadece bir panoyu bozmaz, aynı zamanda buna bağımlı olan AI sistemini de bozar.

Definity, bir Chicago merkezli veri boru hattı operasyonları şirketi, Spark veya DBT sürücüsüne ajanlar yerleştirerek boru hattı çalıştırılırken, değil sonra, hareket etmeyi amaçlıyor. Bir entreprise müşterisi, ilk haftada optimizasyon fırsatlarının %33'ünü tespit etti ve sorun giderme ve optimizasyon çabalarını %70 azalttı. Şirket, müşterilerinin karmaşık Spark sorunlarını 10 kata kadar daha nhanh çözebildiğini iddia ediyor.

Definity'nin Approachı

Definity CEO'su ve kurucu ortağı Roy Daniel, VentureBeat ile yaptığı özel bir röportajda, "Agentic veri operasyonları için üç büyük şey gerekiyor: Gerçek zamanlı ve üretim bilincine sahip tam yığın bağlamı. Boru hattının kontrolü. Ve bir geri bildirim döngüsü içinde doğrulama yeteneği. Bunlara sahip değilseniz, dışarıdan bakıyor ve salt okunabilir durumda olabilirsiniz" dedi.

Mevcut Boru Hattı İzleme Araçlarının Sınırları

Mevcut araçlar sorunu yürütme katmanı dışında ele alır - Datadog, son yıl Metaplane'i satın aldı, Databricks sistem tabloları ve Unravel Data ve Acceldata gibi platformlar bir iş tamamlandıktan sonra ölçümleri okur. Dynatrace izleme yeteneklerine sahiptir ve Definity'nin A Serisi'ne katıldı.

Definity yaklaşımı, diğer seçeneklerden farklıdır ve bu, çözümün mimarisi tarafından belirlenir. Daniel'e göre, bir platform izleme aracı bir sorunu ortaya çıkardığında, boru hattı zaten çalışmış ve hata, boşa harcanan hesap veya kötü veri già aşağı akıştadır.

Definity'nin Çalışma Şekli

Temel mimari fark, ajanın nerede oturduğudur - boru hattının dışında değil, içinde.

• Satır içi enstrümantasyon: Definity sistemi, boru hattı yürütme katmanına doğrudan bir JVM ajanı yerleştirir ve Spark'tan yürütme verilerini çeker.

• Çalışma bağlamı: Ajan, boru hattı çalışırken sorgu yürütme davranışını, bellek baskısını, veri eğrilerini, karıştırma kalıplarını ve altyapı kullanımını yakalar. Ayrıca, önceden tanımlanmış bir veri kataloğu gerekmeden, boru hatları ve tablolar arasındaki soy bağını dinamik olarak çıkarır.

• Müdahale, sadece gözlem değil: Ajan, bir işin ortasında kaynak tahsisini değiştirebilir, kötü verilerin propagasyonundan önce bir işi durdurabilir veya yukarı akış veri koşullarına bağlı olarak bir boru hattını önceden engelleyebilir.

Üretim Ortamında Definity

Definity platformunun erken kullanıcılarından biri, büyük ölçekli Spark boru hatlarını çalıştıran bir reklam teknolojisi platformu olan Nexxen'dir. Dennis Meyer, Nexxen'in Veri Mühendisliği Direktörü, VentureBeat'e, temel sorunun boru hattı arızaları değil, esnek bulut kapasitesi olmaksızın artan kompleks ve büyük ölçekli bir ortamda verimsizliğin biriken maliyeti olduğunu söyledi.

Mevcut izleme araçları Nexxen'e kısmi görünürlük sağladı, ancak sistemli olarak hareket etmeye yetmedi. "Mevcut izleme araçlarımız vardı, ancak iş yükü davranışını holistik olarak anlamak ve optimizasyonları sistemli olarak önceliklendirmek için tam yığın görünürlüğe ihtiyacımız vardı" dedi.

Nexxen, Definity'yi hiçbir boru hattı kodu değişikliği olmadan dağıttı. Meyer'e göre, ekibi ilk haftada optimizasyon fırsatlarının %33'ünü belirledi ve mühendislik çalışması ve optimizasyon çabaları %70 azaldı. Platform, altyapı kapasitesini serbest bıraktı ve ek donanım yatırımı olmadan iş yükü büyümesini desteklemeye olanak sağladı.

"Ana değişim, reaktif sorun gidermeden proaktif, sürekli optimizasyona geçmekti" dedi. "Ölçeklerde, en büyük açıklık thường araç değil, eyleme geçirilebilir görünürlüktür."

Sonuç

Definity'nin yaklaşımı, veri mühendisliği ekipleri için gerçek zamanlı görünürlük ve proaktif optimizasyon sağlamayı amaçlıyor. Veri boru hatları artık sadece analitik değil, AI iş yüklerini taşıyan kritik altyapılardır. Definity'nin çözümü, boru hattı operasyonlarını daha verimli ve güvenilir hale getirmek için önemli bir adım olabilir.