Uppgift 5

I sekvensmodeller som Transformer bearbetar den centrala självuppmärksamhetsmekanismen alla token samtidigt och saknar i grunden något begrepp om sekvensordning. För att hantera detta läggs en positionskodningsvektor till varje tokens inbäddning för att införa positionsinformation.

För en token på en heltalsposition i sekvensen \(\mathrm{pos}\) är dess positionskodning en vektor med dimension \(d\). Värdena i denna vektor konstrueras med hjälp av sinus- och cosinusfunktioner. Specifikt, för ett givet dimensionsindex \(i\) (där \(0 \le i < d/2\)), ges kodningsvärdena för den \(2i\):te och \((2i+1)\):te dimensionen av:
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

Vilken av följande matematiska egenskaper gäller för denna specifika kodningsformulering? Välj ett korrekt alternativ och motivera ditt svar.

  1. Ortogonalitet: Kodningarna för två olika positioner är statistiskt ortogonala, vilket säkerställer att positionsinformationen inte stör den semantiska betydelsen hos ordens inbäddningar.
  2. Linjär translation: För varje fast förskjutning \(k\) kan kodningen vid position \(\mathrm{pos}+k\) representeras som en linjär funktion (rotation) av kodningen vid position pos.
  3. Avklingning: Magnituden av kodningsvektorn avtar exponentiellt när positionsindex ökar, vilket naturligt gynnar modellen mot nylig kontext.
  4. Symmetri: Funktionen är perfekt symmetrisk kring sekvensens mittpunkt, vilket gör det möjligt för modellen att bearbeta dubbelriktad kontext med delade vikter.

[Totalt 7 poäng]