GPU Kiralama Öncesi: LLM Sunucusu Seçimini Otomatize Eden CLI

DeepInfer geçen hafta 19 bin yıldız topladı, ama gerçek hikâye farklı: tek bir modeli (DeepSeek-V4.1-Flash) destekliyor, SM100+ ya da Ascend950 gerektiriyor, çevrimdışı çalışıyor ve KV cache yönetimi yok. Sorun değil bu; sorun şu: GPU kiralayıp stack'ini yeniden yazıp sonra "bu motor benim donanımda çalışmıyor" demek.

burada servefit devreye giriyor. Yazarı bu boşluğu görmüş ve çözüm yazmış: sıfır bağımlılıklı bir Python CLI'sı, iki dakikada senin donanımını tarar, bellek matematikini yapar, hangi LLM sunucu motorlarının gerçekten uyumlu olduğunu söyler. Hesap açmana, ağa bağlanmana gerek yok.

Ne yapıyor? Servefit inventory komutu nvidia-smi'den GPU bilgilerini (VRAM, compute capability), rocm-smi'den AMD kartlarını, CPU ve RAM'i çeker. Sonra bir model (örneğin Llama 2 70B) seçersen, kaç GB bellek gerektiğini hesaplar ve "vLLM buna uyar, Ollama buna uyar, Triton buna uymaz" diye söyler. Gerekçesiyle.

Pratik kullanım: Diyelim 2× RTX 4090 (48GB her biri) ve 256GB RAM'in var. Komut satırında `servefit recommend --model llama-70b --gpus 2` yazıyorsun, çıktı alıyorsun: "vLLM önerilen, tensor parallelism ile uyumlu; Ollama RAM sınırı nedeniyle uyumsuz." Hepsi çevrimdışı, hiçbir API çağrısı yok.

Gerçek değeri burada: GPU kiralama saatlik ücretli. Yanlış motor seçmek, yanlış donanım tutmak çok pahalı. Servefit, karar vermeden önce haritayı çiziyor. Açık kaynak, Python, hiçbir gizli ücret. Kod basit, okunabilir; kendi motorlarını eklemek kolay.

Özetle: LLM sunmaya başlamadan önce bu CLI'yı çalıştır. Donanımını tanı, modeli tanı, motor seçimini otomatize et. Hype değil, pratik bir araç.