Taak 5

In sequentiemodellen zoals de Transformer verwerkt het kernmechanisme van self-attention alle tokens gelijktijdig en heeft het van nature geen enkel begrip van sequentievolgorde. Om dit op te lossen wordt aan elke token-embedding een positionele coderingvector toegevoegd om positie-informatie te injecteren.

Voor een token op een gehele sequentiepositie \(\mathrm{pos}\) is de positionele codering een vector met dimensie \(d\). De waarden van deze vector worden geconstrueerd met sinus- en cosinusfuncties. Specifiek, voor een gegeven dimensie-index \(i\) (waar \(0 \le i < d/2\)), worden de coderingswaarden voor de \(2i\)-de en \((2i+1)\)-de dimensies gegeven door:
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

Welke van de volgende wiskundige eigenschappen geldt voor deze specifieke coderingsformulering? Kies één correct antwoord en motiveer je keuze.

  1. Orthogonaliteit: De coderingen voor twee verschillende posities zijn statistisch orthogonaal, waardoor positie-informatie de semantische betekenis van de woord-embeddings niet verstoort.
  2. Lineaire translatie: Voor elke vaste offset \(k\) kan de codering op positie \(\mathrm{pos}+k\) worden weergegeven als een lineaire functie (rotatie) van de codering op positie pos.
  3. Verval: De grootte van de coderingsvector neemt exponentieel af naarmate de positie-index toeneemt, wat het model van nature richting recente context biaset.
  4. Symmetrie: De functie is perfect symmetrisch rond het midden van de sequentie, waardoor het model bidirectionele context met gedeelde gewichten kan verwerken.

[Totaal 7 punten]