Gece saat 02:47. Telefonunuz aniden titremeye başlıyor. PagerDuty uyarısı: CPU kullanımı %95’in üzerinde. Kullanıcılar hata bildirimleri gönderiyor. Slack’teki mesajlar hızla artıyor. Bir mühendis panelleri incelerken, diğerleri Kubernetes loglarını karıştırıyor. Birisi "Son zamanlarda bir şeyler dağıtıldı mı?" diye soruyor. Her geçen dakika, daha fazla sistem kesintisi, kızgın müşteriler ve kaybedilen gelir anlamına geliyor.
Yıllardır, yazılım mühendisleri bu kaosu üretim ortamında çalışmanın doğal bir parçası olarak kabul etti. Peki, ama mühendisler neden problemi bulmak için harcadıkları zamanı aslında problemi çözmek için harcamıyor? Bu soru, Incident AI projesinin doğmasına neden oldu.
Modern Olaylara Verilen Tepkilerdeki Temel Sorun
Günümüzün bulut altyapıları son derece güçlü olsa da aynı zamanda son derece karmaşık. Uygulamalar artık tek bir hizmet olarak değil; yüzlerce mikro hizmete, Kubernetes kümesine, sunucusuz fonksiyonlara, veritabanlarına, mesaj kuyruklarına, API’lere ve CI/CD boru hatlarına sahip. Her bileşen bir diğerine bağlı olduğundan, bağımlılık ağı giderek büyüyor.
Bir şeyler bozulduğunda, mühendisler ne olduğunu açıklayan tek bir uyarı almaz. Bunun yerine, farklı hizmetlerden yüzlerce bildirim yağmuruna tutulurlar. Asıl kök neden, semptomların altında kaybolmuş durumdadır. Ekipler değerli zamanlarını paneller arasında geçirerek, logları okuyarak, metrikleri karşılaştırarak ve hangi uyarının aslında önemli olduğunu anlamaya çalışarak harcar. Geleneksel izleme araçları bir şeylerin bozuk olduğunu bildirmekte usta olsa da, neden bozuk olduğunu nadiren açıklar.
Incident AI’nin Doğuşu
Başka bir izleme panosu daha inşa etmek istemedik. Zaten metrikleri ve uyarıları görselleştiren birçok platform var. Mühendislerin gerçekten ihtiyaç duyduğu şey, bu uyarıları anlayan, otomatik olarak bağlantıları kuran ve neler olduğunu açıklayan bir araç.
İşte Incident AI tam da bunu yapmak üzere tasarlandı.
Bu araç, yalnızca altyapı verilerini görüntülemek yerine sürekli olarak logları, metrikleri, izleri, dağıtım geçmişini ve altyapı olaylarını analiz eder. Saniyeler içinde en olası kök nedeni belirler, işletme üzerindeki etkisini tahmin eder ve hatta eyleme geçirilebilir çözümler önerir. Hedefimiz, 24 saat boyunca hizmet veren en deneyimli Site Reliability Engineer (SRE) gibi hissettiren, AI destekli bir Olay Komutanı yaratmaktı.
AI’ya SRE Gibi Düşünmeyi Öğretmek
Bir olay sırasında karşılaşılan en büyük zorluklardan biri, bilgiyi toplamak değil, onu anlamlandırmaktır. Deneyimli SRE’ler CPU’daki olağandışı artışları yavaş veritabanı sorgularıyla ilişkilendirir ya da ön uçtaki bir sorunun aslında arka uçtaki bir bağımlılıktan kaynaklandığını anlar. Biz de AI’mızın aynı akıl yürütme sürecini geliştirmesini istedik.
Incident AI, telemetri verilerini tüm altyapı genelinden toplar. Uygulama loglarını, yığın izlerini, Kubernetes olaylarını, performans metriklerini, dağıtım geçmişini ve dağıtılmış izleri aynı anda inceler. Her uyarıyı ayrı ayrı değerlendirmek yerine, bu bilgileri ilişkilendirerek olayın tam bir resmini oluşturur.
Sonuç, sıradan bir uyarıdan fazlasıdır. Mühendisler ayrıntılı bir kök neden analizi, güven puanı, tahmini işletme etkisi, önerilen düzeltme adımları ve hatta hemen kullanılabilecek komutlar alır.
En Büyük Problem, Kesinti Değil, Unutkanlık
Incident AI’yi geliştirirken şaşırtıcı bir gerçekle karşılaştık: Kesintiler her zaman en büyük sorun değildi.
Bellek kaybıydı.
Her mühendislik ekibi bunu yaşar. Deneyimli bir mühendis zorlu bir üretim olayını çözmek için saatler harcar. Olay çözülür, herkes yoluna devam eder ve sonunda bu bilgi kaybolur. Aylar sonra, başka bir mühendis aynı problemi yeniden yaşadığında, kimse nasıl çözüldüğünü hatırlamaz. Araştırma sıfırdan yeniden başlar.
Bu tamamen gereksiz görünüyordu.
Farklı bir soru sorduk:
Ya her üretim olayı kalıcı bir kurumsal bilgi haline gelse?
Üretim Olaylarına Bellek Kazandırmak
Bu fikir, Incident AI’nın temel özelliklerinden biri haline geldi.
Bir olay çözüldüğünde, platform sadece bileti kapatmaz. Bunun yerine, yaşanan her şeyi kaydeder: telemetriyi, logları, metrikleri, belirlenen kök nedeni ve başarılı düzeltme adımlarını. Retrieval-Augmented Generation (RAG) ile güçlendirilmiş semantik arama sayesinde her olay aranabilir bir bilgi deposuna dönüşür.
Benzer bir sorunla karşılaşıldığında Incident AI sıfırdan başlamaz. Önceki olaylardaki benzer kalıpları tanır ve kanıtlanmış çözümleri anında sunar. Artık birinin belleğine güvenmek yerine, organizasyon her üretim olayıyla birlikte daha da akıllanan kalıcı bir bilgi tabanı inşa eder.
Hızın Önemi
Kritik bir üretim kesintisi sırasında, birkaç ek saniye beklemek sonsuzluk gibi hissettirir. Birçok AI destekli araç etkileyici yanıtlar üretse de olay müdahalesinde pratikte kullanılabilmek için genellikle çok uzun sürer.
İşte bu yüzden Incident AI’yi Groq LPU’ları üzerinde çalışan Llama 3.3 70B modeliyle inşa ettik. Bu sayede platform, büyük miktarda telemetri verisini neredeyse anında işler ve anlamlı tanı çıkarımını saniyeler içinde üretir. Mühendisler AI’nın yanıtını beklemek yerine, olay henüz gelişirken içgörüler alır; bu da hizmet kesintisini azaltıp hizmetleri çok daha hızlı geri yüklemelerine yardımcı olur.
Patlama Yarıçapını Anlamak
Üretim hataları nadiren izole kalır. Veritabanı kesintisi hızla kimlik doğrulama hatalarına, API zaman aşımına, ön uç hatalarına ve nihayetinde müşteri ödemelerinin başarısız olmasına yol açabilir. Incident AI, bu patlama yarıçapını otomatik olarak saptar ve ekiplere hangi sistemlerin etkilendiğini, hangilerinin risk altında olduğunu ve hangi adımların en acil olduğunu gösterir.
Sonuçta Incident AI, yalnızca olayları daha hızlı çözmekle kalmaz; aynı zamanda ekiplere gelecekteki benzer olayları önlemek için gereken içgörüleri de sağlar. Geleceğin SRE’leri artık yalnızca bildirimleri izlemek yerine, olayları anlamak ve kalıcı çözümler üretmek için AI’dan destek alıyor.
Yapay zeka özeti
Üretim ortamındaki kritik olayları anında analiz eden, kök nedeni bulan ve belleğinde saklayan AI destekli Incident AI hakkında her şey. SRE’lerin gece uykularını kurtaran yenilikçi çözüm.
