Görüntü Token Fiyatlandırması: Bir Yazılımcı Nasıl Hata Buldu

Ankita, makinende yaşayan açık kaynak bir yapay zeka asistanı. Uzun konuşmalar onun doğal hali olduğu için, sohbet geçmişini kendisi kırpması gerekiyor, ama bu kırpma işlemi görüntü fiyatlandırmasını yanlış yaparsa, kullanıcının az önce paylaştığı ekran görüntüsünü model görmeden silmiş oluyor.

Birkaç hafta önce bu hatanın ilk versiyonunu düzeltme hakkında yazılmıştı: trimmer, base64 kodlanmış PNG'yi metin gibi ağırlıklandırıyordu, yani 1,6 MB'lık bir görüntü 1,6 MB bağlam gibi görünüyor ve model görmeden siliniyordu. Çözüm, yalnızca görüntü başlığını okumak oldu, PNG IHDR, JPEG start-of-frame, WebP VP8 chunk'ları, ve resmi piksel boyutlarından fiyatlandırmak.

Sonra bickov adlı bir okuyucu kodu inceledi ve merkezi iddiayı çürüttü. Sorun şu: bir sağlayıcı için fiyatlandırma formülü doğru olsa da, başka bir sağlayıcı (örneğin Claude) farklı bir token hesaplama yöntemi kullanıyor olabilir. Yani piksel boyutundan hesaplanan token sayısı, gerçek API çağrısında harcanan token'larla eşleşmeyebilir.

Bu tür hatalar yazılımda sık görülür: bir problemi tek bir senaryoya göre çözmek, diğer durumları göz ardı etmek. Trimmer'ın gerçekten doğru çalışması için, farklı sağlayıcıların token modellerini test etmesi, hatta her sağlayıcı için ayrı bir fiyatlandırma mantığı tutması gerekebilir. Yazılımcı bu sorunu henüz çözmediğini itiraf etmiş, ve bu, açık kaynak projelerde sık rastlanan bir durum: hata bulunur, tartışılır, ama çözüm hemen gelmeyebilir.

Önemli çıkarım: yapay zeka uygulamalarında token fiyatlandırması küçük görünse de, yanlış hesaplama kullanıcı deneyimini ciddi şekilde bozabilir. Sağlayıcı değiştirirsen, eski çözümlerin artık işe yaramayabileceğini hatırla.