Zadanie 5

W modelach sekwencyjnych, takich jak Transformer, podstawowy mechanizm self-attention przetwarza wszystkie tokeny jednocześnie i w naturalny sposób nie posiada żadnej koncepcji porządku sekwencji. Aby temu zaradzić, do osadzenia (embeddingu) każdego tokenu dodawany jest wektor kodowania pozycyjnego w celu wprowadzenia informacji o pozycji.

Dla tokenu znajdującego się na całkowitej pozycji sekwencji \(\mathrm{pos}\), jego kodowanie pozycyjne jest wektorem o wymiarze \(d\). Wartości tego wektora konstruowane są przy użyciu funkcji sinus i cosinus. Dokładniej, dla danego indeksu wymiaru \(i\) (gdzie \(0 \le i < d/2\)), wartości kodowania dla wymiarów \(2i\)-tego oraz \((2i+1)\)-tego dane są przez:
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

Która z poniższych własności matematycznych jest prawdziwa dla tej konkretnej formuły kodowania? Wybierz jedną poprawną odpowiedź i uzasadnij swój wybór.

  1. Ortogonalność: Kodowania dla dowolnych dwóch różnych pozycji są statystycznie ortogonalne, co zapewnia, że informacja o pozycji nie zakłóca semantycznego znaczenia embeddingów słów.
  2. Translacja liniowa: Dla dowolnego stałego przesunięcia \(k\), kodowanie na pozycji \(\mathrm{pos}+k\) może być przedstawione jako funkcja liniowa (rotacja) kodowania na pozycji \(\mathrm{pos}\).
  3. Zanik: Norma wektora kodowania maleje wykładniczo wraz ze wzrostem indeksu pozycji, co naturalnie ukierunkowuje model na najnowszy kontekst.
  4. Symetria: Funkcja jest idealnie symetryczna względem środka sekwencji, co pozwala modelowi przetwarzać kontekst dwukierunkowy przy użyciu współdzielonych wag.

[Łącznie 7 punktów]