Netflix'in Pensive AI: Hatalı İşleri Otomatik Teşhis Etmek

Netflix'te her gün milyonlarca veri işi çalışıyor. Titus, Spark, Trino, Druid gibi sistemlerde yüz bine yakın iş başarısız oluyor. Bir işin başarısız olması sorunun başı değil; sorun sonra başlıyor. Mühendisler onlarca satırlık log dosyasını incelemek, hatanın kodda mı yoksa platform tarafında mı olduğunu anlamak, işi yeniden çalıştırıp çalıştırmayacağına karar vermek zorunda kalıyor. Zor hataların her biri saatlerce mühendis zamanı alıyor.

Netflix bu soruna çözüm olarak Pensive adlı bir sistem geliştirdi. İlk versiyonda düzenli ifadeler (regex) ve elle yazılmış Java kuralları kullanılıyor; sistem başarısız işlerin loglarını topluyor, hataları sınıflandırıyor ve otomatik düzeltme ya da yeniden çalıştırma önerileri sunuyor. Ancak elle yazılan kurallar yeni hata türlerine karşı çaresiz kalabiliyor.

Burada yapay zeka devreye giriyor. Pensive AI, makine öğrenmesi modellerini kullanarak loglardan anlamlı bilgiyi çıkarıyor ve daha önce görmediği hata kalıplarını tanıyabiliyor. Sistem sadece hata sınıflandırması yapmıyor; aynı zamanda hangi işin yeniden çalıştırılması ya da hangi parametrenin değiştirilmesi gerektiğini önerip otomatik olarak uygulayabiliyor.

Pratik açıdan bu, mühendislerin hata loglarını manuel olarak incelemek yerine, sistem tarafından sınıflandırılmış ve çözüm önerili hataları görmesi anlamına geliyor. Kritik veri boru hatları kesintisiz çalışıyor, işlem gücü boşa harcanmıyor, ve takım daha önemli görevlere odaklanabiliyor. Netflix'in deneyimine göre, bu tür otomasyon milyonlarca dolar tasarruf sağlıyor ve platform güvenilirliğini artırıyor.

Hata teşhisinin otomatikleştirilmesi, özellikle büyük ölçekli sistemlerde mühendislerin zaman kaybını kesmek için kritik. Elle yazılan kurallar ölçeklenmez; yapay zeka tabanlı yaklaşımlar ise yeni hata türlerine uyum sağlayabiliyor.