Задача 5

В моделях последовательностей, таких как Transformer, базовый механизм самовнимания (self-attention) обрабатывает все токены одновременно и изначально не содержит никакого представления о порядке в последовательности. Чтобы решить эту проблему, к эмбеддингу каждого токена добавляется вектор позиционного кодирования для внесения информации о позиции.

Для токена, находящегося в целочисленной позиции последовательности \(\mathrm{pos}\), его позиционное кодирование представляет собой вектор размерности \(d\). Значения этого вектора строятся с использованием функций синуса и косинуса. В частности, для заданного индекса размерности \(i\) (где \(0 \le i < d/2\)) значения кодирования для \(2i\)-й и \((2i+1)\)-й размерностей задаются следующим образом:
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

Какое из следующих математических свойств выполняется для данной формулы кодирования? Выберите один правильный вариант и обоснуйте свой ответ.

  1. Ортогональность: кодирования для любых двух различных позиций статистически ортогональны, что гарантирует, что информация о позиции не влияет на семантическое значение эмбеддингов слов.
  2. Линейный сдвиг: для любого фиксированного смещения \(k\) кодирование в позиции \(\mathrm{pos}+k\) может быть представлено как линейная функция (поворот) кодирования в позиции pos.
  3. Затухание: норма вектора кодирования экспоненциально уменьшается по мере увеличения индекса позиции, естественным образом смещая модель к более недавнему контексту.
  4. Симметрия: функция полностью симметрична относительно середины последовательности, что позволяет модели обрабатывать двунаправленный контекст с общими весами.

[Всего 7 баллов]