MongoDB Verilerini Delta Lake'e Güvenli Bir Şekilde Aktarmak

MongoDB'in esnek schema tasarımı, uygulama geliştirmeyi hızlandırır, ancak veri boru hatlarını sık sık bozabilir. Mühendisler, Apache Spark kullanarak MongoDB'den Delta Lake'e belgeleri taşıdıktan sonra, tek bir hatalı kayıt tüm partiyi durdurabilir, tablo tutarlılığını bozabilir ve gece yarısı hata ayıklama oturumlarına neden olabilir. Bu boru hattını tam olarak 10 kez yeniden inşa ettikten sonra, bir mühendis, var olmasından beri olması gereken bir çözümü geliştirmeye karar verdi: Spark kullanarak ETL'yi kırılgan bir işlemden öngörülebilir bir sürece dönüştüren hafif bir köprü.

MongoDB Neden ETL Boru Hatlarını Bozar

MongoDB'in 'schema-free' tasarımı, her belgenin kendi yapısını tanımlamasına izin verir, bu durum uygulama kodu için idealdir, ancak boru hatları için tehlikelidir. Üç tekrarlanan sorun sürekli olarak alıntı işlerini bozar.

Polimorfik Alanlar Spark'ı Şaşırtır

Bazı koleksiyonlar, aynı alanda farklı veri türlerini karıştırır. Bir 'durum' alanı, daha eski kayıtlarda bir dize olarak depolarken, daha yeni kayıtlarda bir tamsayı olarak depolayabilir veya bir 'değer' alanı, hangi uygulamanın yazdığına bağlı olarak bir sayı, boolean veya iç içe geçmiş bir nesne olarak görünebilir. Spark, şemayı çıkarsamak için belge alt kümesini örneklediğinde, her alan için tek bir tür kilitlemektedir. Bu türü ihlal eden herhangi bir belge çalışma zamanı hatasına neden olur.

Gözlem Araçları Neden Yetersiz Kalır

Araçlar gibi Elementary, tazelik veya schema sürüklenmesinde gerçekleşen tablo düzeyinde uyarılar sağlar. Bir şeyin yanlış gittiğini onaylarlar, ancak sorumlu olan exact belgeyi belirlemezler. Tipik triyaj iş akışı bir dedektif romanı gibi okunur.

İki Adımlı Köprü Güvenli Alıma

Açık kaynaklı kitaplık nosql-delta-bridge, kırılgan komut dosyalarını, belgeler düzeyinde doğrulama işlemini değiştirir. İki aşamada çalışır: Güvenilir tarihi verilerden schema çıkarsama ve doğrulanmış alımın, kötü belgeleri bir ölü mektup kuyruğuna yönlendirmesi.

Gelecek

Veri boru hatlarını güvence altına almak için daha fazla çalışma yapılması gerekiyor. nosql-delta-bridge gibi araçlar, bu süreci daha öngörülebilir ve güvenli hale getirebilir.