Kayan Nokta Hassasiyeti Model Çıkarımını Nasıl Etkiliyor

Yapay zeka modellerini çalıştırırken sayıların nasıl saklandığı büyük rol oynuyor. Kayan nokta (floating-point) sayılar işaretli, üslü ve mantis olmak üzere üç bölümden oluşur. Bu yapı sayıların bilgisayarda tutulma şeklini belirler.

Modeller genellikle 32-bit (float32) hassasiyetle eğitilir. Ancak üretimde daha düşük hassasiyet kullanmak mümkün. 16-bit (float16) veya 8-bit tam sayılar (int8) bellekte ve hesaplamada tasarruf sağlar ama doğruluk kaybı riski vardır.

Bir modeli farklı hassasiyetle yüklemek basit görünse de sonuçlar şaşırtabilir. Örneğin float32'den float16'ya geçerken bazı işlemler duyarlılık kaybedebilir. Küçük sayılar sıfıra yuvarlanabilir, büyük sayılar taşabilir.

Karışık hassasiyet (mixed precision) akıllı bir yaklaşım. Kritik katmanlar yüksek hassasiyette kalırken diğer bölümler düşük hassasiyetle çalışır. Ağırlıklar ve aktivasyonlar için farklı formatlar seçilebilir. Böylece hız kazanılır, doğruluk korunur.

Sonuçları ölçmek için orijinal model ile karşılaştırma yapılır. Çıktı farkı, çıkarım süresi ve bellek kullanımı kontrol edilir. Hassasiyet düşüşü kabul edilebilir sınırda mı diye test edilmelidir.

Yatırım yapan şirketler bu optimizasyonları ciddiye alıyor. Daha hızlı ve ucuz çıkarım, mobil ve edge cihazlarda model kullanmayı mümkün kılıyor.