Tarea 5

En modelos secuenciales como el Transformer, el mecanismo central de self-attention procesa todos los tokens simultáneamente y carece de forma nativa de cualquier concepto de orden en la secuencia. Para solucionar esto, se añade un vector de codificación posicional al embedding de cada token para incorporar información de posición.

Para un token en una posición entera de la secuencia \(\mathrm{pos}\), su codificación posicional es un vector de dimensión \(d\). Los valores de este vector se construyen utilizando funciones seno y coseno. En particular, para un índice de dimensión dado \(i\) (donde \(0 \le i < d/2\)), los valores de codificación para las dimensiones \(2i\)-ésima y \((2i+1)\)-ésima están dados por:
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

¿Cuál de las siguientes propiedades matemáticas se cumple para esta formulación específica de la codificación? Seleccione una única opción correcta y justifique su respuesta.

  1. Ortogonalidad: Las codificaciones para dos posiciones diferentes cualesquiera son estadísticamente ortogonales, garantizando que la información de posición no interfiera con el significado semántico de los embeddings de las palabras.
  2. Traslación lineal: Para cualquier desplazamiento fijo \(k\), la codificación en la posición \(\mathrm{pos}+k\) puede representarse como una función lineal (rotación) de la codificación en la posición \(\mathrm{pos}\).
  3. Decaimiento: La magnitud del vector de codificación decrece exponencialmente a medida que aumenta el índice de posición, sesgando naturalmente el modelo hacia el contexto más reciente.
  4. Simetría: La función es perfectamente simétrica respecto al punto medio de la secuencia, permitiendo que el modelo procese contexto bidireccional con pesos compartidos.

[Total 7 puntos]