Tâche 5

Dans les modèles séquentiels comme le Transformer, le mécanisme central d’auto-attention traite tous les tokens simultanément et ne possède pas intrinsèquement de notion d’ordre dans la séquence. Pour remédier à cela, un vecteur d’encodage positionnel est ajouté à l’embedding de chaque token afin d’introduire l’information de position.

Pour un token à une position entière dans la séquence \(\mathrm{pos}\), son encodage positionnel est un vecteur de dimension \(d\). Les valeurs de ce vecteur sont construites à l’aide de fonctions sinus et cosinus. Plus précisément, pour un indice de dimension donné \(i\) (où \(0 \le i < d/2\)), les valeurs d’encodage pour les dimensions \(2i\)-ième et \((2i+1)\)-ième sont données par :
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

Laquelle des propriétés mathématiques suivantes est vérifiée par cette formulation spécifique de l’encodage ? Sélectionnez une seule option correcte et justifiez votre réponse.

  1. Orthogonalité : Les encodages pour deux positions différentes quelconques sont statistiquement orthogonaux, garantissant que l’information de position n’interfère pas avec le sens sémantique des embeddings de mots.
  2. Translation linéaire : Pour tout décalage fixe \(k\), l’encodage à la position \(\mathrm{pos}+k\) peut être représenté comme une fonction linéaire (rotation) de l’encodage à la position \(\mathrm{pos}\).
  3. Décroissance : La norme du vecteur d’encodage décroît exponentiellement à mesure que l’indice de position augmente, biaisant naturellement le modèle vers le contexte récent.
  4. Symétrie : La fonction est parfaitement symétrique autour du milieu de la séquence, permettant au modèle de traiter un contexte bidirectionnel avec des poids partagés.

[Total 7 points]