Задача 5

Кај секвенциските модели како Transformer, основниот механизам на self-attention ги обработува сите токени истовремено и по природа нема никаков концепт за редослед на секвенца. За да се адресира ова, на вградувањето (embedding) на секој токен се додава вектор за позиционо кодирање за да се внесе позициона информација.

За токен на целобројна позиција \(\mathrm{pos}\) во секвенцата, неговото позиционо кодирање е вектор со димензија \(d\). Вредностите на овој вектор се конструираат со синусни и косинусни функции. Конкретно, за даден индекс на димензија \(i\) (каде \(0 \le i < d/2\)), вредностите на кодирањето за \(2i\)-тата и \((2i+1)\)-тата димензија се дадени со:
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

Кое од следните математички својства важи за оваа конкретна формулација на кодирање? Изберете една точна опција и оправдајте го вашиот одговор.

  1. Ортогоналност: Кодирањата за кои било две различни позиции се статистички ортогонални, обезбедувајќи дека позиционата информација не се меша со семантичкото значење на вградувањата на зборовите.
  2. Линеарна транслација: За секое фиксно поместување \(k\), кодирањето на позицијата \(\mathrm{pos}+k\) може да се претстави како линеарна функција (ротација) на кодирањето на позицијата pos.
  3. Опаднување: Големината на векторот за кодирање опаѓа експоненцијално како што се зголемува индексот на позицијата, природно фаворизирајќи понов контекст.
  4. Симетрија: Функцијата е совршено симетрична околу средината на секвенцата, овозможувајќи моделот да обработува двонасочен контекст со споделени тежини.

[Вкупно 7 поени]