Առաջադրություն 5

Դասական հաջորդականության մոդելներում, ինչպիսին է Transformer-ը, հիմնական self-attention մեխանիզմը մշակում է բոլոր token-ները միաժամանակ և սկզբնապես չունի հաջորդականության կարգի հասկացություն։ Այս խնդիրը լուծելու համար յուրաքանչյուր token-ի embedding-ին ավելացվում է դիրքային կոդավորման վեկտոր՝ դիրքային տեղեկատվություն ներարկելու նպատակով։

Լրիվ թվային դիրք \(\mathrm{pos}\)-ով հաջորդականության մեջ գտնվող token-ի համար նրա դիրքային կոդավորումը վեկտոր է \(d\) չափությամբ։ Այս վեկտորի արժեքները կառուցվում են սինուս և կոսինուս ֆունկցիաների միջոցով։ Մասնավորապես, տրված չափման ինդեքսի \(i\) համար (որտեղ \(0 \le i < d/2\)), կոդավորման արժեքները \(2i\)-րդ և \((2i+1)\)-րդ բաղադրիչների համար տրվում են հետևյալով:
\begin{eqnarray*}
\mathrm{PE}_{(\mathrm{pos}, 2i)} &= \sin\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right) \\
\mathrm{PE}_{(\mathrm{pos}, 2i+1)} &= \cos\left(\frac{\mathrm{pos}}{10000^{\frac{2i}d}}\right)
\end{eqnarray*}

Որո՞նցից հետևյալ մաթեմատիկական հատկություններից է ճիշտ այս կոնկրետ կոդավորման ձևակերպման համար։ Ընտրեք մեկ ճիշտ տարբերակ և հիմնավորեք ձեր պատասխանը։

  1. Օրթոգոնալություն. Ցանկացած երկու տարբեր դիրքերի կոդավորումները վիճակագրորեն օրթոգոնալ են, ապահովելով, որ դիրքի մասին տեղեկությունը չի խանգարում բառերի embedding-ների սեմանտիկ նշանակությանը։
  2. Գծային տեղաշարժ. Ցանկացած ֆիքսված \(k\) շեղման համար \(\mathrm{pos}+k\) դիրքում bulunan կոդավորումը կարող է ներկայացվել որպես գծային ֆունկցիա (պտտում) \(\mathrm{pos}\) դիրքում bulunan կոդավորման։
  3. Թուլացում (Decay). Կոդավորման վեկտորի մեծությունը էքսպոնենցիալ նվազում է, երբ դիրքի ինդեքսը մեծանում է, ինչի հետևանքով մոդելը բնականաբար առավելություն է տալիս ավելի վերջերս եղած կոնտեքստին։
  4. Խճողություն (Symmetry). Ֆունկցիան լիովին համաչափ է հաջորդականության միջնակետի շուրջ, ինչը թույլ է տալիս մոդելին մշակել երկուղղյա կոնտեքստը ընդհանուր քաշերով։

[Ընդամենը 7 միավոր]