Завдання 5

У моделях послідовностей на кшталт Transformer, базовий механізм self-attention обробляє всі токени одночасно і від природи не має поняття порядку в послідовності. Щоб це виправити, до вбудовування (embedding) кожного токена додають вектор позиційного кодування, який вводить інформацію про позицію.

Для токена на цілочисельній позиції \(\mathrm{pos}\) у послідовності його позиційне кодування є вектором розмірності \(d\). Значення цього вектора будуються за допомогою функцій синуса і косинуса. Зокрема, для заданого індексу виміру \(i\) (де \(0 \le i < d/2\)), значення кодування для \(2i\)-го та \((2i+1)\)-го вимірів задаються так:
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

Яка з наведених математичних властивостей є істинною для цієї конкретної формули кодування? Оберіть один правильний варіант і обґрунтуйте відповідь.

  1. Ортогональність: кодування для будь-яких двох різних позицій є статистично ортогональними, що гарантує, що інформація про позицію не заважає семантичному змісту вбудовувань слів.
  2. Лінійний зсув: для будь-якого фіксованого зсуву \(k\) кодування в позиції \(\mathrm{pos}+k\) можна подати як лінійну функцію (поворот) кодування в позиції pos.
  3. Затухання: модуль (величина) вектора кодування експоненційно зменшується зі зростанням індексу позиції, природно зміщуючи модель у бік нещодавнього контексту.
  4. Симетрія: функція є ідеально симетричною відносно середини послідовності, що дозволяє моделі обробляти двонапрямний контекст зі спільними вагами.

[Усього 7 балів]