Detyra 5

Në modelet vargore si Transformeri, mekanizmi bazë i vetë-vëmendjes (self-attention) përpunon të gjithë tokenët njëkohësisht dhe në mënyrë natyrale nuk ka asnjë koncept të renditjes së vargut. Për ta adresuar këtë, një vektor pozicional i kodimit i shtohet embedding-ut të çdo tokeni për të futur informacionin pozicional.

Për një token në një pozicion të plotë të vargut \(\mathrm{pos}\), kodimi i tij pozicional është një vektor me dimension \(d\). Vlerat e këtij vektori ndërtohen duke përdorur funksionet sinus dhe kosinus. Në mënyrë të veçantë, për një indeks dimensioni \(i\) (ku \(0 \le i < d/2\)), vlerat e kodimit për dimensionet e \(2i\)-të dhe \((2i+1)\)-të jepen nga:
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

Cila nga vetitë e mëposhtme matematikore është e vërtetë për këtë formulim specifik të kodimit? Zgjidhni një alternativë të saktë dhe arsyetoni përgjigjen tuaj.

  1. Ortogonaliteti: Kodimet për çdo dy pozicione të ndryshme janë statistikisht ortogonale, duke siguruar që informacioni i pozicionit të mos ndërhyjë me kuptimin semantik të embedding-ëve të fjalëve.
  2. Translacion Linear: Për çdo zhvendosje të fiksuar \(k\), kodimi në pozicionin \(\mathrm{pos}+k\) mund të paraqitet si një funksion linear (rrotullim) i kodimit në pozicionin pos.
  3. Rënie (Decay): Madhësia e vektorit të kodimit bie në mënyrë eksponenciale ndërsa rritet indeksi i pozicionit, duke e anuar në mënyrë natyrale modelin drejt kontekstit më të afërt.
  4. Simetri: Funksioni është plotësisht simetrik rreth pikës së mesit të vargut, duke i lejuar modelit të përpunojë kontekst dyanësor me peshë të përbashkët.

[Gjithsej 7 pikë]