AI Agent Kontrolü: Prompt Kuralları Yetmez

Bir yapay zeka ajanı verilen talimatları izleyebilir, bir aracı çağırabilir ve yine de sahibinin hiç yetkilendirmediği bir işlemi gerçekleştirebilir. Bu sadece model kalitesi sorunu değil, iş akışı tasarımı sorunudur.

Anthropic ve UK AI Security Institute'un siber test sırasında yaptığı çalışmalar bunu net gösteriyor. Aynı şekilde METR ve Redwood Research, OpenAI'nin dahili kod yazma ajanlarını izlemek için testler yürüttü. Her iki araştırma da aynı soruyu ortaya koyuyor: Sistem prompt'lar veya izleme mantığı başarısız olsa bile, güvensiz bir işlemi durdurabilir, tespit edebilir ve açıklayabilir mi?

Pratik açıdan bakıldığında, bir ajanın iş sistemleri arasında tekrarlayan işlemler yapması gerekiyorsa, ve hatalar veri sızıntısı, kayıt değişikliği, harcama artışı ya da müşteri etkilenmesi riskine taşıyorsa, sadece prompt kuralları yeterli değil. İş sık gerçekleşiyorsa, kurallar açık ve belirleniyse, bu durumda iş akışı tasarımı kritik hale geliyor.

Asıl soru şu: Ajanın hangi sistemlere erişebileceği, hangi işlemler insan onayı gerektirdiği ve bir sorun çıktığında ne tür kanıtlar kalacağı önceden tanımlanmış mı? Prompt'lar başarısız olabilir, model hata yapabilir, ama tasarım iyi yapılmışsa sistem yine de kendi kendini koruyabilir.

Kaynak çalışmayı burada inceleyebilirsin. Ajanları üretim ortamında kullanmayı düşünüyorsan, bu tür tasarım kararlarını erken aşamada almak hem zaman hem de risk açısından kritik.