Tarayıcıda Ekran Kaydından Dokunuşları Bulma

Bir telefon ekran kaydını izlerken, ekranın neden tepki verdiğini görmek imkansız olabiliyor. Parmak hiç gözükmüyor, sadece butonlar basılıyor, metinler yazılıyor. Marat Muslimov'un yaklaşımı bu sorunu çözmek için piksel değişikliklerini takip ederek dokunuşları otomatik olarak tespit ediyor.

Yöntem basit ama etkili: video tarayıcıda kalıyor, hiçbir yere gönderilmiyor. Sistem önce kaydı düşük çözünürlükte (72 piksel genişlik) gri tonlamaya çevirerek 12 kare/saniyede işliyor. WebCodecs ve mediabunny kütüphaneleriyle bu işlem hızlı ve verimli oluyor.

Sonra ardışık kareler karşılaştırılıyor. Ekran değiştiği an bulunuyor, bu dokunuşun işe yaradığı anlamına geliyor. Piksel değişim yoğunluğu ölçülerek ekranın hangi bölgesinde değişim olduğu tespit ediliyor.

Karmaşık durumlar, çakışan dokunuşlar, hızlı hareketler, ışık değişiklikleri, için sistem sadece o anların küçük görüntülerini yapay zeka modeline gönderiyor. Tüm video işlenmemiş, sadece şüpheli bölümler kontrol ediliyor. Bu yöntem gizliliği korurken hızlı sonuç veriyor., ekran kaydı analizi artık daha şeffaf hale geliyor. Kullanıcı testleri yaparken ya da uygulamadaki hataları belgelemek istediğinde, tam olarak neyin dokunulduğunu görebilirsin.