Flint'i 24 GB RTX 4090'da Çalıştırmak: Context Uzunluğu Belirleyici

Recursive'in yeni kodlama ajanı Flint, resmi olarak 48 GB GPU bellek gerektiriyor. Ama 24 GB RTX 4090'da da yükleniyor ve çalışıyor. Sırrı nerede?

Flint 39.8 milyar parametreli bir model ama "mixture of experts" mimarisi sayesinde hesaplama çok daha az. Bir router, her token için 256 expert bloğun içinden 6'sını seçiyor; buna hep açık olan bir shared expert de ekleniyor. Sonuç: aktif hesaplama 2.5 milyara düşüyor, ama tüm expertler bellekte kalıyor. Boş olanlar da yer işgal ediyor.

4090'da sıkışık durum şöyle: Flint'in sıkıştırılmış dosyası 22.9 GB, yüklendikten sonra 21.3 GiB harcıyor. Kartın sunduğu yaklaşık 22.5 GiB'den geriye sadece 1.2 GiB kalıyor. Buraya inference için gerekli buffer, activation bellekleri ve diğer her şey sığdırılmalı.

burada context length devreye giriyor. Context, modelin bir seferde görebildiği token sayısı. Daha uzun context = daha fazla bellek rezervasyonu. Kısaltıldığında, 4090'da dört araç kullanarak bir agent loop çalıştırabiliyorsun. Recursive'in test ettiği setup'ta Flint, beş turda yerleştirilmiş bir hatayı buldu.

Praktik olarak: Eğer sınırlı GPU'n varsa, context length'i ayarlamak model kalitesinden çok daha fazla fark yaratıyor. Başlangıçta düşük tutup, çalışan bir setup'ın üstüne oynama yapabilirsin. Bellek yönetimi burada yazılım mimarisi kadar önemli.