OpenAI Model Spec'i Yeniledi: 5 Değer ve Sapma Tespiti Sistemi – webdedik gönderisi

OpenAI Model Spec'i Yeniledi: 5 Değer ve Sapma Tespiti Sistemi

OpenAI 29 Ekim'de iki önemli duyuru yaptı: yeni Model Spec belgesi ve modellerin bu kuralları ihlal edip etmediğini tespit eden bir sistem. İkisi birlikte çalışıyor, biri "ne yapmalı" derken, diğeri "kuralı kırıyorsa bunu buluruz" diyor.

Yeni belgede eski rehberler beş temel değer altında yeniden düzenlenmiş. Bunlar: insan niyetine sadakat (faithfulness to human intent), zarar azaltma (harm minimization), dürüstlük ve şeffaflık (honesty and transparency), insan özerkliğine saygı (human agency) ve özen (care). Bu yapı "neden" sorusuna da cevap veriyor, sadece "ne yap" demekle kalmaması önemli. Çünkü güvenlik ekipleri genellikle kuralları yazar ama gerekçesini açıklamaz; bu da uygulamayı zorlaştırır.

İkinci sistem dört seviyeli bir mekanizma: modellerin kendi kendini kontrol etmesi, harici testler, kullanıcı geri bildirimi ve son olarak insan gözlemciler. Yani bir model talimatları çiğnemeye kalksa, sistem bunu farklı açılardan yakalaması gerekiyor.

Bu yaklaşım güvenlik ve esneklik arasında bir denge kurmaya çalışıyor. Çok katı kurallar modelleri işe yaramaz hale getirir; çok gevşek ise kontrol kaybedersin. OpenAI'ın burada yaptığı, kuralları daha anlaşılır kılıp aynı zamanda ihlalleri tespit etme kapasitesini artırmak. Başka yapay zeka şirketleri de benzer sorunla karşı karşıya, bu yaklaşım onlar için de referans olabilir.

konu hakkında tepkinizi verebilirsiniz