Skill Dosyaları Gerçekten Gerekli mi? 180 Test Sonucu

Bir AI modeline skill dosyası verip vermemek ne kadar fark yaratır? Yapılan bu çalışmada K3.1 Pro modeli üzerinde 180 test çalıştırılarak bu soruya cevap aranmış.

Sonuçlar ilginç çıktı. Skill dosyası olmadan model on görevden altısında başarısız oldu. Dosya eklenince bu sayı bire düştü, beklenen rakam. Ama beklenmeyen bir bulgu vardı: basit bir yapı (thin shell) tam scaffold kadar iyi performans gösterdi, dokuz başarı elde etti.

Önceki bir çalışmada yayınlanan iddia şuydu: güçlü modeller karmaşık görevlerde yapı dosyalarından yavaşlanıyor, basit tek dosyalar daha iyi çalışıyor. 28 geçerli test çiftinde bu iddia doğrulanmadı. Yani söylenti değil, gerçek veriye ihtiyaç vardı.

Eğer sen bir SKILL.md veya AGENTS.md dosyası bakıyorsan, pratik soru şu: bir çalıştırma sırasında dosyanın hangi kısımları görünüyor, hangi kısımlar sadece bakım yapan kişi tarafından erişilebiliyor? Bu test tam da bunu anlamaya yönelik tasarlanmış.

Önceki harita üç bölgeyi göstermişti: zayıf modeller rutin işlerde yapıdan yarar sağlıyor, güçlü modeller rutin işlerde tavana çarpıyor, güçlü modeller zor işlerde ise tek dosya çözümler yapı dosyalarını geçebiliyor. Yeniden test bu sınırları sorgulamak için yapıldı.

Sonuç: modelin gücü ve görevin karmaşıklığı birlikte düşünülmeli. Basit yapı her zaman yeterli değil, ama aşırı yapı da her zaman gerekli değil.