Attention Head'leri Birleştirmek Üstel Sayıda Atom Gerektirebiliyor
Transformer modellerinde attention mekanizması nasıl çalışıyor sorusuna yeni bir perspektif geliyor. MIT ve diğer kurumlardan araştırmacılar, birden fazla attention head'ini tek bir head'de birleştirirken