API faturası $2.3'ü söylemiyor, aslında ne kadar harcadığını

Dawn Coral'ın yazısında ele alınan sorun basit ama pratik: bir AI ajanının gerçek maliyetini bulmak için verilen rakamlar birbiriyle konuşmuyor.

Örnek olarak verilen ¥16.8 (yaklaşık $2.3) faturası, yüzeyde bir sayı gibi görünüyor. Ama bu sadece bir zaman dilimindeki para. Aynı dönemde ölçülen başka bir rakam, medyan istek başına 158 bin cache-read token, tamamen farklı bir şeyi anlatıyor. İkisi de doğru, ama birbirini açıklamıyor.

Aslında üç ayrı sayı var ve hepsi gerekli ama farklı soruları cevaplıyor. Birincisi fatura: belirli bir dönemde harcanan para. Muhasebe bunu istiyor. İkincisi tel hacmi: gönderilen ve alınan token sayısı. Mühendis bunu yerel olarak ölçebiliyor, API'ye sormadan. Üçüncüsü ise birim maliyet: kabul edilen çıktı başına para. Sadece bu son sayı sana ajanı değiştirmeye değer olup olmadığını söylüyor.

Sorun şu: bu üç rakamı basit aritmetikle birbirine dönüştüremezsin. Çünkü arada cache, retry, başarısız istekler, farklı model çağrıları var. Bir mühendis cache hit oranını bilmeden maliyeti tahmin edemez. Muhasebe ise token sayısını bilmeden bütçe planlayamaz.

Eğer ajanını optimize etmek istiyorsan, fatura numarasına bakma. Birim maliyeti izle: her işe yarar çıktıya ne kadar para harcadığını. O zaman değişikliklerin gerçekten para tasarrufu sağlayıp sağlamadığını görebilirsin.