AI Feedback'teki Sahte Alıntıları Bulma Aracı

Munim, Inc. MV2 ekibi tarafından geliştirilen quote-check, yapay zeka yazı denetiminde sık karşılaşılan bir sorunu çözüyor: AI, öğrencinin yazdığı cümleleri alıntı göstererek düzeltme yaparken, aslında kelime değiştiriyor ve öğrenci kendi yazısında o cümleyi bulamıyor.

Sorun şu: ChatGPT, Claude ya da benzeri modeller feedback verirken "Sizin yazdığınız" diye gösterdikleri cümlelerin içinde sessizce düzeltme yapıyor. Örneğin öğrenci "Bu konuda çok önemli" yazarsa, AI "Bu konuda önemli" diye alıntı yapıp "'çok' yerine 'oldukça' kullanın" diye önerebiliyor. Ama öğrenci kendi yazısında "oldukça" kelimesini hiç görmediği için kafası karışıyor ve gerçek hatasını fark etmiyor.

Quote-check aracı tarayıcıda çalışıyor, hiçbir veriyi göndermiyor ve çevrimdışı kullanılabiliyor. Öğrencinin yazısını ve AI feedback'ini yapıştırınca, her alıntıyı kontrol ediyor: orijinal metinde tam olarak o cümle var mı? Yoksa AI değiştirmiş mi? Sürüm 0.3.0'da Markdown formatını da okuyor artık, çünkü AI feedback'ler kalın yazı, italik gibi işaretlemeler kullanıyor.

Geliştirici, 8,946 IELTS deneme yazısında yayınlanmış AI feedback'leri inceleyerek bu sorunu tespit etmiş. İlk versiyon çok katı karşılaştırma yapıyordu; şimdi gerçek feedback'lerin esnekliğine uyum sağlıyor. Kod Apache-2.0 lisansıyla açık kaynak, yazı CC BY 4.0 ile paylaşılıyor.

Eğer öğrenci ya da eğitmen iseniz, AI feedback'lerin ne kadar güvenilir olduğunu kontrol etmek için bu araç işe yarayabilir. Özellikle büyük dil modelleri giderek daha yaygın hale gelirken, feedback'in gerçekten yazıda olan hataları işaret ettiğini doğrulamak önemli.