Sarcina 5

În modelele de secvență precum Transformerul, mecanismul central de self-attention procesează toți tokenii simultan și, în mod nativ, nu are niciun concept al ordinii în secvență. Pentru a rezolva acest lucru, se adaugă un vector de codificare pozițională la embedding-ul fiecărui token pentru a introduce informație despre poziție.

Pentru un token aflat la poziția întreagă \(\mathrm{pos}\) în secvență, codificarea sa pozițională este un vector de dimensiune \(d\). Valorile acestui vector sunt construite folosind funcții sinus și cosinus. Mai precis, pentru un anumit indice de dimensiune \(i\) (unde \(0 \le i < d/2\)), valorile codificării pentru dimensiunile a \(2i\)-a și a \((2i+1)\)-a sunt date de:
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

Care dintre următoarele proprietăți matematice este valabilă pentru această formulare specifică a codificării? Selectați o singură opțiune corectă și justificați răspunsul.

  1. Ortogonalitate: Codificările pentru oricare două poziții diferite sunt ortogonale statistic, asigurând că informația despre poziție nu interferează cu semnificația semantică a embedding-urilor cuvintelor.
  2. Translație liniară: Pentru orice decalaj fix \(k\), codificarea la poziția \(\mathrm{pos}+k\) poate fi reprezentată ca o funcție liniară (rotație) a codificării la poziția \(\mathrm{pos}\).
  3. Decădere: Magnitudinea vectorului de codificare scade exponențial pe măsură ce indicele poziției crește, favorizând în mod natural contextul recent.
  4. Simetrie: Funcția este perfect simetrică în jurul punctului median al secvenței, permițând modelului să proceseze context bidirecțional cu ponderi partajate.

[Total 7 puncte]