Yerel LLM Modellerini Kıyaslamak: Hangi Araçlar Kullanılır?

Bilgisayarında birden fazla yapay zeka modeli çalıştırıyorsan hangisinin daha iyi olduğunu nasıl anlarsın? Hız ve kalite arasında seçim yapmak zor olabiliyor.

En yaygın yöntem standart test setleri kullanmak. MMLU, HellaSwag, ARC gibi bilinen sınav veri setleriyle modelleri aynı sorulara karşı test ediyorsun. Bu sayede objektif bir karşılaştırma yapabiliyorsun. Bazı araçlar bu testleri otomatikleştiriyor.

llama.cpp hala en popüler seçenek çünkü hafif ve hızlı. Ama Ollama, vLLM ve Hugging Face'in transformers kütüphanesi de yaygın kullanılıyor. Her birinin benchmark araçları var. Ollama direkt hız ölçüyor, vLLM ise daha detaylı performans analizi sunuyor.

Praktik olarak ne yaparsın? Önce basit metrikleri ölçürsün: saniye başına kaç token üretiliyor (tokens/sec), RAM kullanımı, CPU/GPU yükü. Sonra kalite testleri yaparsın. Aynı soruları farklı modellere sorarak cevap kalitesini karşılaştırırsın.

Kodlama görevleri için HumanEval, matematik için GSM8K, mantık için ARC kullanılıyor. Bunlar açık kaynak ve ücretsiz. Python scriptleriyle otomatize edebilirsin.

Diğer motorlar (Ollama, Jan, LM Studio) llama.cpp'nin üzerine inşa ediliyor çoğunlukla. Fark genelde arayüz ve kolaylık meselesi. Benchmark sonuçları benzer çıkıyor.

Eğer ciddi karşılaştırma yapacaksan, LM Eval Harness kurup denemek en mantıklısı. Yüzlerce test otomatikleştiriyor. Biraz kurulum gerektiriyor ama sonra kolaylaşıyor.