mizu: Paralel veri bilimi işlemlerini hızlandıran araç

Veri biliminde bootstrap, çapraz doğrulama gibi resampling işlemleri uzun zaman alıyor ve teoride paralel hale getirmek kolay olması gerekiyor. Pratikte ise harcanan çekirdek sayısı kadar hızlanma sağlanamıyor.

Sorun, işçi süreçlerine görev dağıtmanın mekanizmasında yatıyor. Klasik yaklaşımda her görev serileştirilip soket üzerinden kopyalanıyor, diğer tarafta seri halinden çıkartılıyor ve sonuç aynı yolu geri geliyor. İki problem ortaya çıkıyor: görevler küçükse bu iletişim overhead'i hesaplamayı aşabiliyor; veri büyükse her işçinin bir kopya tutması belleği tüketiyor.

Charlie Gao'nun geliştirdiği mizu ve pymizu, paylaşılan bellek kullanarak bu sorunu çözüyor. Veriler bir kez belleğe yazılıyor ve scheduler ile işçi arasında paylaşılıyor. Böylece işçi veriyi kopyalamadan doğrudan okuyor. Bu yaklaşım, özellikle büyük veri setleriyle çalışan veri bilimciler için bellek tasarrufu ve hız artışı sağlıyor.

R ve Python kullanıcıları için ayrı araçlar sunuluyor. Resampling gibi yoğun paralel işlemler için ciddi bir iyileştirme.