LLM API Maliyeti: Token Sayısı Yeterli Değil

Bir fintech kod inceleme sistemi geliştiriyorsan ve LLM API kullanıyorsan, faturanın neden beklediğinden fazla çıktığını merak etmiş olabilirsin. Token sayısını takip etmen yeterli değil. Gerçek maliyet, çok daha fazla faktörden geliyor.

Tek bir API çağrısı birkaç kez yapılabilir. Bir istek başarısız olursa retry atılır. Sistem daha güçlü bir model seçebilir. Varsayılan olarak etkinleştirilmiş özellikler çalışır. Bunların her biri maliyeti çoğaltır, ama token metriklerinde kaybolur.

Pratik çözüm, muhasebe sisteminden başlamak. Ödeme ve ledger sistemlerinin kullandığı 'exactly-once' mantığını uygula: her işlem bir kez kaydedilir, başarısız denemeler görünür kalır, kiracı (tenant) toplamı immutable kayıtlardan yeniden oluşturulabilir. Her LLM çağrısı için şunu kaydet: kiracı kimliği, iş kimliği, model sınıfı, token sayısı, retry sayısı, başarı/başarısızlık, işlem tarihi. Bu append-only ledger, hesap sorgulandığında tek gerçek kaynak olur.

Örneğin, bir kod incelemesi için Claude 3.5 Sonnet çağrısı yaptığında, başarısız oldu ve bir kez daha denendi. Ledger'a iki satır yazılır: biri başarısız girişim, biri başarılı. Fatura hesaplanırken her satır sayılır. Sonra biri daha güçlü bir model (GPT-4) kullanmaya karar verirse, maliyetin neden arttığı ledger'dan okunur.

Dashboard'da 'toplam token' görmek aldatıcı. Asıl soru şu: hangi iş, hangi kiracı için, hangi modelle, kaç kez çalıştırıldı? Cevabı ledger'dan al. Maliyeti düşürmek istiyorsan, önce muhasebede görmek lazım. Token sayısını optimize etmek, sorunun yalnızca yarısı.