AI Kodlama Aracını Değerlendirmenin Yanlış Yolu

Bir yapay zeka kodu yazma aracı testi geçirdiğinde ne demek oluyor? Sadece o anki sorun çözüldü demektir. Ama aracın çözmek için yaptığı değişiklikleri hiç düşünmüş müsünüz?

Geçen hafta bir geliştirici paylaştı: yapay zeka çözmek için tek bir fonksiyonu değiştirmesi gerekirken, on bir satırı başka yerlerde de değiştirmiş. Cuma saat 17:00'de kod incelemesi yapan birinin bu kodu okuyup anlaması ne kadar zor olur düşünün.

bu yüzden "patch genişliği" konsepti önemli hale geliyor. Yani yapay zekanın düzeltme için yaptığı değişikliklerin ne kadarı asıl sorunu çözen fonksiyonun dışında kaldığı.

Bunu ölçmek için önce başlangıç noktasını bulmanız lazım. Hata ayıklama sırasında gördüğünüz traceback'teki en içteki fonksiyon orası. Tahmin etmeyin, tam olarak belirleyin.

Python ile bunu otomatikleştirmek mümkün. AST (Abstract Syntax Tree) kullanarak dosyayı parse edip, hata satırının hangi fonksiyon içinde olduğunu bulabilirsiniz. Sonra yapay zekanın değiştirdiği tüm satırları kontrol edersiniz, kaçı bu fonksiyonun dışında?

Eğer yapay zeka çoğunlukla başka yerlere dokunuyorsa, o aracın çözüm yöntemi tehlikeli. Çünkü yan etkileri olabilir, test etmediğiniz kısımları kıracak.

Bu metrik, sadece "çalışıyor mu?" sorusunun ötesine geçiyor. Gerçek soruyu soruyor: "Bu çözüm ne kadar temiz ve güvenli?"