OpenDsec: Kendi Sunucularında Kod Çalıştıran AI Ajanları İçin Sandbox

Bir AI modelini reinforcement learning ile eğittiğinde, her rollout'un çalışması gereken bir yer lazım. Paket kurulumu, testler, ağ bağlantıları, dosya yazma işlemleri, bunların binleri aynı anda koşuyor. Eğitim işi kesintiye uğradığında hepsi birden durmalı ve sonra geri dönebilmeli. Üstelik aynı ortamın farklı versiyonlarını denemek istediğinde, sıfırdan başlamak yerine o anki hafıza durumunu kopyalamak gerekiyor.

OpenDsec, bu ihtiyaçları kendi makinelerinde karşılamak için tasarlanmış bir açık kaynak araç. Hosted sandbox hizmetleri kısmi çözüm sunuyor, ama OpenDsec'in hedefi hepsini bir yerde sağlamak.

Proje Firecracker microVM'leri kullanarak hafif sanal makineler oluşturuyor. Pratik olarak, bir Python programı ile Firecracker VM'i başlatıp içinde kod çalıştırabilir, sonra o VM'i dört kopyaya bölebilirsin, hepsi aynı bellek durumundan başlayarak farklı yollara gidebilir. Bare-metal sunucuda yapılan demo videoda, kurulum ve Python scripti çalıştırılıyor, print(6*7) komutu VM içinde işleniyor ve forklama işlemi gerçek zamanda görülüyor.

Sistem AGPL lisansı altında yayımlandı. Sınırları var tabii: kendi altyapını yönetmek, ölçekleme, bakım ve güvenlik ayarlamalarını sen yapman gerekiyor. Ama eğitim işlerini preemption'a karşı tutarlı tutmak ve ortam kopyalarını bellek durumlarıyla birlikte saklamak gibi sorunları çözüyor.

Kullanım senaryosu spesifik, büyük ölçekli RL eğitim ve kod çalıştıran AI ajanları için. Eğer bu alandaysan, kendi altyapında tam kontrol sahibi olmak istiyorsan bakmaya değer.