Esercizio 5

Nei modelli sequenziali come il Transformer, il meccanismo centrale di self-attention elabora tutti i token simultaneamente e non possiede nativamente alcun concetto di ordine della sequenza. Per ovviare a ciò, un vettore di codifica posizionale viene aggiunto all'embedding di ciascun token per introdurre l’informazione sulla posizione.

Per un token in una posizione intera della sequenza \(\mathrm{pos}\), la sua codifica posizionale è un vettore di dimensione \(d\). I valori di questo vettore sono costruiti utilizzando funzioni seno e coseno. In particolare, per un dato indice di dimensione \(i\) (dove \(0 \le i < d/2\)), i valori della codifica per le dimensioni \(2i\)-esima e \((2i+1)\)-esima sono dati da:
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

Quale delle seguenti proprietà matematiche vale per questa specifica formulazione della codifica? Selezionare un’unica opzione corretta e giustificare la risposta.

  1. Ortogonalità: Le codifiche per due posizioni diverse qualsiasi sono statisticamente ortogonali, garantendo che l’informazione posizionale non interferisca con il significato semantico degli embedding delle parole.
  2. Traslazione lineare: Per qualsiasi offset fisso \(k\), la codifica alla posizione \(\mathrm{pos}+k\) può essere rappresentata come una funzione lineare (rotazione) della codifica alla posizione \(\mathrm{pos}\).
  3. Decadimento: La norma del vettore di codifica decresce esponenzialmente all’aumentare dell’indice di posizione, introducendo naturalmente un bias del modello verso il contesto più recente.
  4. Simmetria: La funzione è perfettamente simmetrica rispetto al punto medio della sequenza, consentendo al modello di elaborare contesto bidirezionale con pesi condivisi.

[Totale 7 punti]