Kubernetes HPA: Yavaş scale-down mu, yoksa soğuk başlangıçları mı kabullenelim?

Kubernetes'te Horizontal Pod Autoscaler (HPA) ayarlarında bir ikilem var: yavaş scale-down mı, yoksa aggressive scale-down ile cold start'ları mı kabullenelim? Soruyu soran ekip şu an 300 saniyelik stabilizasyon penceresi ve dakikada maksimum 2 pod inişi ile çalışıyor; CPU hedefi %50-70 arasında. Sonuç: 30 replika'dan 3'e inmek 15 dakika sürüyor ve çoğu zaman boş pod'lar elektrik harcıyor.

Yavaş inişin arkasındaki mantık anlaşılır: ani load düşüşünde kalan pod'lar hedefin üzerine çıkabilir ve bu da hızlı yeniden scale-up tetikleyebilir. Ama bu strateji bir sorunu gizliyor olabilir: request limit'leri yanlış ayarlanmışsa, yavaş inişle sadece maliyeti artırıyorsun. Eğer gerçek request pattern'ini doğru hesaplarsan, default HPA ayarları genellikle yeterli oluyor.

Problemi başka açıdan düşün: 30 pod'dan 3'e inmek için neden çeyrek saat gerekiyor? Çünkü ani düşüşte kalan pod'lar CPU hedefini aşabilir ve HPA bunu scale-up sinyali olarak görebilir. Bunu çözmek için hedef CPU yüzdesini biraz daha konservatif tutabilirsin (örneğin %40-50) ya da scale-down davranışını (`--horizontal-pod-autoscaler-downscale-stabilization`) daha agresif yapabilirsin.

Gerçek dünya'da cold start'lar ne kadar kötü? Uygulamanın türüne bağlı. Stateless API'ler için 1-2 saniye sorun değil; Java uygulamaları için 30+ saniye olabilir. Eğer cold start süresi kabul edilebilirse, aggressive scale-down daha ekonomik. Değilse, yavaş inişi korumak gerekebilir ama bunu request limit'lerini doğru ayarlayarak dengele.

Praktik ipucu: Bir hafta veya iki hafta gerçek metrik toplayıp CPU request'lerini o veriye göre ayarla. Sonra HPA'nin default ayarlarını dene. Eğer spike sonrasında pod'lar hedefin üzerine çıkıyorsa, scale-down stabilization'ı kademeli olarak artır; ama 15 dakikadan fazla tutma. Maliyeti ve response time'ı birlikte ölç; hangisi daha ağır basıyor, ona göre karar ver.