RIPE-MambaSpike: Olay Tabanlı Görüntü İşlemde Verimli Yapay Sinir Ağları

Olay tabanlı kameralar (event-based vision) giderek daha fazla dikkat çekiyor; dinamik sahneleri verimli şekilde işleyebiliyor ve düşük güç tüketiyor. Ancak bu kameralardan gelen verileri işlemek için geliştirilen yapay sinir ağlarının çoğu ciddi parametre yükü taşıyor.

ArXiv'de yayımlanan yeni bir araştırma bu soruna çözüm getiriyor. RIPE-MambaSpike adlı model, spiking (sinir benzeri) mimari ile state-space ağlarını birleştirerek olay tabanlı görüntülerde yüksek doğruluk sağlarken, parametre sayısını önemli ölçüde azaltıyor.

Temel fark, giriş katmanının nasıl tasarlandığında yatıyor. Geleneksel yaklaşımlar, kamera çözünürlüğüne bağlı bir projeksiyon kullanıyor; bu tek katman, 36 milyonluk toplam parametrenin 33.5 milyonunu tüketiyor. RIPE-MambaSpike bunun yerine sabit genişlikte hiyerarşik bir köprü yapısı kullanıyor. Sonuç? Toplam parametre sayısı 0.87 milyona iniyor, yaklaşık 42 kat azalma.

Modelin başka bir avantajı da ölçek bağımsız olması. Farklı çözünürlüklerde çalışırken parametre sayısı değişmiyor; 43 kat farklı giriş boyutlarında tutarlı performans gösteriyor. Bunu sağlarken doğruluk kaybetmiyor; CIFAR10-DVS gibi standart test setlerinde pareto-optimal sonuçlar elde ediyor.

Mimari, zamansal modülasyon ve dikkat mekanizmaları gibi tekniklerle kompaktlığı koruyor. Bu, mobil robotlar, otonom araçlar ve kenar cihazları (edge devices) gibi kaynak kısıtlı uygulamalarda olay tabanlı görüşü pratik hale getiriyor.