Uber, Üretim Ortamında AI Ajanlarını Korumak İçin Üç Katmanlı Sistem Geliştirdi

Uber, yapay zeka ajanlarını üretim ortamında güvenli tutmak için geliştirdiği Secure AI adlı bir savunma sistemi yayınladı. Framework üç katmandan oluşuyor: hazırlama aşamasında doğrulama, çalışma süresi sırasında kural uygulaması ve sürekli güvenlik denetimi.

Sorun şu: Geleneksel erişim kontrolü (kimlik doğrulama ve yetkilendirme) AI ajanları için artık yeterli değil. Çünkü bu sistemler güvenilmeyen içerikler üzerinde mantık yürütüyor, kendi başlarına araçlar seçiyor ve kullanıcı adına hareket ediyorlar. Burada ihtiyaç olan, ajanın sadece bir işlemi yapıp yapamayacağını değil, yapması gerekip gerekmediğini soran anlamsal bir katman.

Uber beş temel riski tanımladı: komut enjeksiyonu (prompt injection), araç ve bellek zehirlenmesi, hedef sapması, davranış kayması ve halüsinasyondan kaynaklanan eylemler. Geleneksel yöntem sonsuz saldırı çeşitleri için kurallar yazmaktı. Uber bunun yerine davranış tabanlı, anlamsal bir yaklaşıma geçti.

Sistem, bir kayıt defteri (registry) ve davranış sözleşmeleri (behavioral contracts) kullanarak ajanın amacıyla, kullanıcı isteğiyle ve oturum geçmişiyle tutarlı olup olmadığını kontrol ediyor. Bu, saldırı desenleriyle savaşmak yerine ajanın doğru davranmasını garantilemeye odaklanıyor.

Üretim ortamında çalışan AI sistemleri için bu yaklaşım pratik bir gereklilik haline geldi. Uber'in paylaştığı çerçeve, diğer şirketlerin benzer sorunlarla karşılaştığında başvuracağı bir referans olabilir.