SmolLM2'yi Vektör Enjeksiyonuyla Ele Geçirmek

Hacktoberfest AI Challenge'ın dördüncü haftasında Ayush çoğu ekibin yaptığı gibi sistem promptu değiştirmek yerine, model ağırlıklarına doğrudan müdahale ederek SmolLM2-135M-Instruct'ı "ele geçirmeyi" denedi.

Geleneksel yöntem basit: "Sen kızgın bir hayalet gibi davran" yazıp modele yollarsan, model oyuna katılır. Ama kullanıcı "bunu unutma" dediğinde çoğu zaman model geri gelir. Sorun şu: tüm talimat metinde yaşıyor, kolayca geçersiz kılınabiliyor.

Ayush'un yaklaşımı farklıydı. Residuum adlı bir araç kullanarak Contrastive Activation Addition (CAA) vektörü çıkardı, Rimsky ve arkadaşlarının ACL 2024 makalesi bu tekniği tanımlıyor. Yöntem şöyle işliyor: on altı "hayalet" tamamlama ile on altı "yardımcı" tamamlamayı karşılaştırarak, modelin davranışını değiştiren bir vektör buluyorsun. Sonra bu vektörü dekoderın bir katmanına ekliyorsun.

Sonuç ilginç: aynı kullanıcı promptu, hiçbir gotik sistem mesajı yok, ama model davranışı değişiyor. Deney şunu sorguluyor: kullanıcı "bunu yoksay" dediğinde bu tür bir "hayalet" gerçekten çıkartılabiliyor mu? Metinde yaşamayan bir kontrol mekanizması, modelin iç hesaplamasında yaşıyor.

Bu, güvenlik araştırması açısından önemli bir bulgudur. Sistem promptları düzenleyerek modelleri kontrol etmek kolay görünüyor, ama ağırlıkların içine gömülü davranışlar çok daha dirençli olabilir. Aynı zamanda bu tür vektör manipülasyonunun ne kadar etkili olduğunu anlamak, yapay zeka güvenliğinin gelecek adımlarını şekillendirecek.