Naloga 5

V zaporednih modelih, kot je Transformer, osrednji mehanizem samopozornosti obdeluje vse tokene hkrati in sam po sebi ne vsebuje nobenega pojma o vrstnem redu zaporedja. Za odpravo tega se vsakemu vektorskemu zapisu (embeddingu) tokena prišteje vektor pozicijskega kodiranja, da se vnese informacija o položaju.

Za token na celoštevilskem položaju zaporedja \(\mathrm{pos}\) je njegovo pozicijsko kodiranje vektor dimenzije \(d\). Vrednosti tega vektorja so zgrajene s sinusnimi in kosinusnimi funkcijami. Natančneje, za dani indeks dimenzije \(i\) (kjer \(0 \le i < d/2\)) sta vrednosti kodiranja za \(2i\)-to in \((2i+1)\)-to dimenzijo podani z:
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

Katera od naslednjih matematičnih lastnosti velja za to specifično obliko kodiranja? Izberite en pravilen odgovor in ga utemeljite.

  1. Ortogonalnost: Kodiranja za katerakoli dva različna položaja so statistično ortogonalna, kar zagotavlja, da informacija o položaju ne vpliva na semantični pomen vektorskih zapisov besed.
  2. Linearna translacija: Za katerikoli fiksni zamik \(k\) je kodiranje na položaju \(\mathrm{pos}+k\) mogoče predstaviti kot linearno funkcijo (rotacijo) kodiranja na položaju pos.
  3. Upadanje: Norma vektorja kodiranja eksponentno upada z naraščanjem indeksa položaja, kar model naravno usmerja k nedavnemu kontekstu.
  4. Simetrija: Funkcija je popolnoma simetrična okoli sredine zaporedja, kar omogoča modelu obdelavo dvosmernega konteksta z deljenimi utežmi.

[Skupaj 7 točk]