5. feladat

Az olyan szekvenciamodellekben, mint a Transformer, az alapvető self-attention mechanizmus minden tokent egyszerre dolgoz fel, és önmagában nem rendelkezik a sorrendiség fogalmával. Ennek kezelésére minden token beágyazásához egy pozicionális kódoló vektort adnak, amely pozícióinformációt juttat a modellbe.

Egy \(\mathrm{pos}\) egész szekvenciapozíción lévő token pozicionális kódolása egy \(d\) dimenziójú vektor. A vektor értékei szinusz- és koszinuszfüggvények segítségével kerülnek meghatározásra. Konkrétan, egy adott \(i\) dimenzióindex esetén (ahol \(0 \le i < d/2\)), a \(2i\)-edik és a \((2i+1)\)-edik dimenzió kódolási értékei a következők:
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

Az alábbi matematikai tulajdonságok közül melyik igaz erre a konkrét kódolási formulára? Válasszon ki egy helyes választ, és indokolja meg döntését.

  1. Ortogonalitás: Bármely két különböző pozíció kódolásai statisztikailag ortogonálisak, biztosítva, hogy a pozícióinformáció ne zavarja a szóbeágyazások szemantikai jelentését.
  2. Lineáris eltolás: Bármely rögzített \(k\) eltolás esetén a \(\mathrm{pos}+k\) pozícióhoz tartozó kódolás felírható a pos pozícióhoz tartozó kódolás lineáris függvényeként (forgatásaként).
  3. Lecsengés: A kódolóvektor nagysága exponenciálisan csökken a pozícióindex növekedésével, természetes módon a közelmúltbeli kontextus felé torzítva a modellt.
  4. Szimmetria: A függvény tökéletesen szimmetrikus a szekvencia középpontja körül, lehetővé téve a kétirányú kontextus feldolgozását közös súlyokkal.

[Összesen 7 pont]