Bài 5

Trong các mô hình chuỗi như Transformer, cơ chế self-attention cốt lõi xử lý tất cả các token đồng thời và về bản chất không có khái niệm nào về thứ tự chuỗi. Để khắc phục điều này, một vectơ mã hóa vị trí (positional encoding) được cộng vào embedding của mỗi token nhằm đưa thông tin về vị trí vào mô hình.

Đối với một token ở vị trí nguyên \(\mathrm{pos}\) trong chuỗi, mã hóa vị trí của nó là một vectơ có kích thước \(d\). Các giá trị của vectơ này được xây dựng bằng các hàm sin và cos. Cụ thể, với một chỉ số chiều \(i\) cho trước (trong đó \(0 \le i < d/2\)), các giá trị mã hóa cho chiều thứ \(2i\) và \((2i+1)\) được cho bởi:
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

Tính chất toán học nào sau đây là đúng đối với công thức mã hóa cụ thể này? Hãy chọn một đáp án đúng và giải thích câu trả lời của bạn.

  1. Trực giao (Orthogonality): Các mã hóa cho bất kỳ hai vị trí khác nhau là trực giao về mặt thống kê, đảm bảo rằng thông tin vị trí không can thiệp vào ý nghĩa ngữ nghĩa của các embedding từ.
  2. Tịnh tiến tuyến tính (Linear Translation): Với một độ lệch cố định \(k\), mã hóa tại vị trí \(\mathrm{pos}+k\) có thể được biểu diễn như một hàm tuyến tính (phép quay) của mã hóa tại vị trí pos.
  3. Suy giảm (Decay): Độ lớn của vectơ mã hóa suy giảm theo cấp số nhân khi chỉ số vị trí tăng lên, tự nhiên khiến mô hình ưu tiên ngữ cảnh gần đây.
  4. Đối xứng (Symmetry): Hàm này đối xứng hoàn hảo quanh điểm giữa của chuỗi, cho phép mô hình xử lý ngữ cảnh hai chiều với các trọng số được chia sẻ.

[Tổng 7 điểm]