Azure Fabric'te Lakehouse ve Warehouse Seçimi: Hızlı Karar Alma Riski

Bir veri mimarı, Azure Fabric projesi sırasında yöneticisine danışmadan önemli bir mimari karar aldı: Bronze ve Silver katmanları için Lakehouse, Gold katmanı için Warehouse seçti. Şimdi yöneticisinin maliyet sorularına cevap veremediğini ve hızlı davrandığını düşünüyor.

Projenin arka planı şöyle: Ekip, Azure Data Factory (ADF) ve Azure Databases'ten Azure Fabric'e geçiş yapıyor. Ortadaki bir tartışmada, saf Lakehouse yapısı mı yoksa Warehouse eklemesi mi gerektiği sorulmuştu. Mimarın kararını etkileyen iki ana neden vardı.

Birincisi, CI/CD (Sürekli Entegrasyon/Sürekli Dağıtım) sürecinde Lakehouse'da yapılan değişikliklerin servis hesabı adına kaydedilmesi. Bu, hangi kullanıcının değişiklik yaptığını izlemeyi zorlaştırıyor. Warehouse kullanmak bunu çözmek için bir yol görünüyordu.

İkincisi, kullanıcı tercihiydi. Ekibin çoğunluğu SQL biliyordu; PySpark ve Jupyter Notebook öğrenmek ekstra yük demekti. Warehouse'un sunduğu saf SQL uç noktası (endpoint) daha erişilebilir görünüyordu. Gelecek açısından da bu seçim mantıklı duruyordu.

Ancak yöneticinin beklenmedik tepkisi mimarı şaşırttı. Muhtemelen maliyet etkileri ya da proje kapsamı konusunda ön uyarı almamış olması sorunu büyütmüş. Pahalı bir danışman firması ile çalışıldığı için her tasarım kararının finansal sonuçları vardı.

Burada öğrenilecek ders açık: Bulut mimarisi kararları, özellikle maliyeti etkileyen seçenekler, tek başına alınmamalı. Teknik gerekçeler ne kadar sağlam olursa olsun, yönetim ve bütçe katmanıyla iletişim ilk adım olmalı. Lakehouse ve Warehouse kombinasyonu uygun bir çözüm olabilir, ama karar süreci kadar önemli.