任務 5

在如 Transformer 之類的序列模型中，核心的自注意力機制會同時處理所有 token，且在本質上並不具備任何關於序列順序的概念。為了解決此問題，會將一個位置編碼向量加入到每個 token 的嵌入表示中，以注入位置信息。

對於位於整數序列位置 \(\mathrm{pos}\) 的一個 token，其位置編碼是一個維度為 \(d\) 的向量。該向量的數值是利用正弦與餘弦函數構造的。具體而言，對於給定的維度索引 \(i\)（其中 \(0 \le i < d/2\)），第 \(2i\) 維與第 \((2i+1)\) 維的編碼值如下所示：
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

以下哪一項數學性質適用於此特定的編碼形式？請選擇一個正確選項並說明理由。

  1. 正交性：任意兩個不同位置的編碼在統計上彼此正交，確保位置信息不會干擾詞嵌入的語義意義。
  2. 線性平移：對於任何固定的位移 \(k\)，位置 \(\mathrm{pos}+k\) 的編碼可以表示為位置 \(\mathrm{pos}\) 編碼的線性函數（旋轉）。
  3. 衰減性：隨著位置索引增加，編碼向量的幅度呈指數衰減，自然地使模型偏向較近的上下文。
  4. 對稱性：該函數在序列中點處完全對稱，使模型能以共享權重處理雙向上下文。

[總分 7 分]