Agent Loop Üretim Hatalarının Asıl Sebebi: Runtime Bütçeleri

Agentic AI'nızın demoda mükemmel çalıştığını gördünüz. JSON ayrıştılıyor, model doğru tool'u seçiyor. Ama üretimde? Hiç model kalitesiyle ilgili değil. Sorun loop'un kendisinde: 40 dakika sessizce dönen bir run, iki kez verilen refund, UI'da durdurulan ama worker'da devam eden işlem, her adımda tüm geçmiş yeniden gönderilerek iki katına çıkan fatura.

Budgets, Cancellation, and Idempotency yazısında açıklandığı gibi, agent loop'u bir runtime olarak düşünmen gerekiyor. Model, bu runtime'ın içindeki bir bileşen; runtime'ın kendisi değil. Scheduler'ın sahip olması gereken sorumluluklar burada da geçerli: giriş kontrolü, son tarih, işbirlikçi iptal, ve en fazla bir kez yan etki.

Dört bağımsız bütçe lazım. Birincisi adım sayısı, dış loop'un kaç kez döneceği. Ucuz kontrol, açık spin'i yakalar. İkincisi duvar saati: per-step timeout değil, tüm run için bir deadline. Kullanıcı adımı değil, çalışmayı önemsiyor. Üçüncüsü tool çağrıları, adımlardan ayrı, çünkü bir adım birden fazla tool'u fan-out edebilir. Dördüncüsü para ya da token: gerçekten durduran bütçe.

İptal mekanizması da önemli. UI'da 'Durdur' tuşu, worker'ı da durdurmalı. Idempotency ise çift refund'ı engeller: aynı tool çağrısı iki kez yapılsa, yan etki bir kez olur.

Model'in kalitesi ayrı konu; loop'un sağlığı başka. İkisini de kontrol etmezsen, üretim bütçe sorunu olmaya devam eder.