Zadatak 5

U sekvencijalnim modelima poput Transformera, osnovni mehanizam samopažnje (self-attention) obrađuje sve tokene istovremeno i prirodno nema nikakav koncept redosleda u sekvenci. Da bi se to prevazišlo, svakom ugrađivanju (embedding-u) tokena dodaje se vektor pozicione enkodacije kako bi se unela informacija o poziciji.

Za token na celobrojnoj poziciji u sekvenci \(\mathrm{pos}\), njegova poziciona enkodacija je vektor dimenzije \(d\). Vrednosti ovog vektora konstruisane su korišćenjem sinusnih i kosinusnih funkcija. Konkretno, za dati indeks dimenzije \(i\) (gde je \(0 \le i < d/2\)), vrednosti enkodacije za \(2i\)-tu i \((2i+1)\)-vu dimenziju date su sa:
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

Koje od sledećih matematičkih svojstava važi za ovu specifičnu formulaciju enkodacije? Izaberite jedan tačan odgovor i obrazložite svoj izbor.

  1. Ortogonalnost: Enkodacije za bilo koje dve različite pozicije su statistički ortogonalne, čime se obezbeđuje da informacija o poziciji ne utiče na semantičko značenje ugrađivanja reči.
  2. Linearna translacija: Za bilo koji fiksni pomak \(k\), enkodacija na poziciji \(\mathrm{pos}+k\) može se predstaviti kao linearna funkcija (rotacija) enkodacije na poziciji \(\mathrm{pos}\).
  3. Opadanje: Norma vektora enkodacije opada eksponencijalno sa porastom indeksa pozicije, prirodno dajući veću težinu skorijem kontekstu.
  4. Simetrija: Funkcija je savršeno simetrična oko sredine sekvence, omogućavajući modelu da obrađuje dvosmerni kontekst sa deljenim težinama.

[Ukupno 7 poena]