Görev 5

Transformer gibi dizi modellerinde, temel öz-dikkat (self-attention) mekanizması tüm token’ları aynı anda işler ve doğal olarak herhangi bir sıralama kavramına sahip değildir. Bunu gidermek için, konumsal bilgiyi eklemek amacıyla her token’ın gömme (embedding) vektörüne bir konumsal kodlama vektörü eklenir.

Tamsayı bir dizi konumunda \(\mathrm{pos}\) bulunan bir token için, konumsal kodlama \(d\) boyutlu bir vektördür. Bu vektörün değerleri sinüs ve kosinüs fonksiyonları kullanılarak oluşturulur. Özellikle, verilen bir boyut indeksi \(i\) için (burada \(0 \le i < d/2\)), \(2i\). ve \((2i+1)\). boyutlardaki kodlama değerleri şu şekilde verilir:
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

Aşağıdaki matematiksel özelliklerden hangisi bu özel kodlama formülasyonu için doğrudur? Doğru olan bir seçeneği işaretleyin ve cevabınızı gerekçelendirin.

  1. Ortogonalite: Herhangi iki farklı konum için kodlamalar istatistiksel olarak ortogonaldir; bu da konum bilgisinin kelime gömmelerinin anlamsal içeriğiyle etkileşime girmemesini sağlar.
  2. Doğrusal Kaydırma: Sabit bir \(k\) ofseti için, \(\mathrm{pos}+k\) konumundaki kodlama, pos konumundaki kodlamanın doğrusal bir fonksiyonu (rotasyonu) olarak temsil edilebilir.
  3. Azalma: Kodlama vektörünün büyüklüğü, konum indeksi arttıkça üstel olarak azalır ve bu durum modeli doğal olarak yakın bağlama yönlendirir.
  4. Simetri: Fonksiyon, dizinin orta noktası etrafında tam simetriktir; bu da modelin paylaşılan ağırlıklarla çift yönlü bağlamı işlemesine olanak tanır.

[Toplam 7 puan]