任务 5

在诸如 Transformer 的序列模型中，核心的自注意力（self-attention）机制会同时处理所有 token，并且本身并不具备序列顺序的概念。为了解决这一问题，需要在每个 token 的嵌入向量（embedding）中加入位置编码向量，以注入位置信息。

对于位于整数序列位置 \(\mathrm{pos}\) 的一个 token，其位置编码是一个维度为 \(d\) 的向量。该向量的数值由正弦和余弦函数构造。具体而言，对于给定的维度索引 \(i\)（其中 \(0 \le i < d/2\)），第 \(2i\) 维和第 \((2i+1)\) 维的编码值为：
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

以下哪一项数学性质对该特定的编码形式成立？请选择一个正确选项并说明理由。

  1. 正交性（Orthogonality）：任意两个不同位置的编码在统计上是正交的，从而确保位置信息不会干扰词嵌入的语义含义。
  2. 线性平移（Linear Translation）：对于任意固定偏移量 \(k\)，位置 \(\mathrm{pos}+k\) 处的编码可以表示为位置 pos 处编码的一个线性函数（旋转）。
  3. 衰减性（Decay）：随着位置索引的增加，编码向量的幅值呈指数衰减，从而自然地使模型偏向于最近的上下文。
  4. 对称性（Symmetry）：该函数在序列的中点处完全对称，使模型能够使用共享权重处理双向上下文。

[总计 7 分]