Task 6 - Armenian

Առաջադրություն 6

Եկեք դիտարկենք բազմապիտակ դասակարգման խնդիր։ Յուրաքանչյուր դասի \(c\) համար \(TP_c\)-ը ներկայացնում է այն օրինակները, որոնք դասի \(c\) մեջ են և ճիշտ են նույնականացվել որպես պատկանող \(c\)-ին. \(TN_c\)-ը ներկայացնում է այն օրինակները, որոնք դասի \(c\) մեջ չեն և ճիշտ են նույնականացվել որպես չպատկանող \(c\)-ին. \(FP_c\)-ը ներկայացնում է այն օրինակները, որոնք դասի \(c\) մեջ չեն, բայց սխալմամբ պիտակվել են որպես պատկանող \(c\)-ին. \(FN_c\)-ը ներկայացնում է այն օրինակները, որոնք դասի \(c\) մեջ են, բայց սխալմամբ պիտակվել են որպես չպատկանող \(c\)-ին։

Ունենք հետևյալ մետրիկաները.

• Հիշարկում (per-class recall) ըստ դասի՝
  \[
  \mathrm{Recall}_c = \frac{TP_c}{TP_c+FN_c}=P(\mathrm{pred} = c\mid\mathrm{true}=c);
  \]
• Ճշգրտություն (per-class precision) ըստ դասի՝
  \[
  \mathrm{Precision}_c = \frac{TP_c}{TP_c+FP_c}=P(\mathrm{true}=c\mid\mathrm{pred} =c);
  \]
• Սպեցիֆիկություն (per-class specificity) ըստ դասի՝
  \[
  \mathrm{Spec}_c = \frac{TN_c}{TN_c+FP_c}=P(\mathrm{pred}\neq c\mid\mathrm{true}\neq c);
  \]
• յուրաքանչյուր դասից կախված սխալի մետրիկայի \(M_c\) համար մակրո միջին սխալի մետրիկան (macro average error metric) դասահատուկ ցուցանիշների թվաբանական միջինն է
  \[
  \mathrm{Macro}-M=\frac{\sum_c M_c}{\textrm{number of classes}};
  \]
• պիտակների \(\pi=(\pi_c)\) բաշխման համար ճշտությունը (accuracy)՝
  \[
  \mathrm{acc}(\pi)=\sum_c\pi_c\mathrm{Recall}_c;
  \]
• եթե \(C = (C_{ij})\) գնաժողովի մատրիցա է, որտեղ \(C_{ij} = \mathrm{Cost}(\mathrm{pred} = j\mid\mathrm{true} = i)\), ապա սպասվող արժեքը (expected cost)՝
  \[
  \mathbb{E}_\pi(C) = \sum_{i,j}\pi_i P(\mathrm{pred} = j\mid\mathrm{true} = i)C_{ij}.
  \]
  Կարող եք ենթադրել, որ յուրաքանչյուր դաս ունի ոչ զրոյական աջակցում (support), և դասակարգիչը յուրաքանչյուր դասի համար կատարում է և՛ ճիշտ, և՛ սխալ կանխատեսումներ (ոչ դեգեներացվածություն)։

1. Ենթադրենք, որ գտնվում եք բինար դասակարգչի պայմաններում՝ դասերով \(0\) և \(1\)։ Արմատավորեք, որ եթե
   \[
   \mathrm{accuracy}=\mathrm{precision}_1=\mathrm{recall}_1,
   \]
   ապա երկու դասերի աջակցումը (support-ը) պետք է լինի նույնը։

[5 միավոր]

Մնացած մասերի համար կարող եք ենթադրել հետևյալ կոնտեքստը։

Կոնտեքստ

Հանրային առողջապահական տրիաժի համակարգը մուտքային հաղորդագրությունները դասակարգում է երեք դասերից որևէ մեկի մեջ՝
\[
U = \text{Urgent}, \quad
S = \text{Semi-urgent}, \quad
N = \text{Non-urgent}.
\]

Ուսուցման տվյալների բազմությունը դիտավորյալ հարստացվել է շտապ և կիսա-շտապ դեպքերով։  
Ուսուցման բազմության վրա դասակարգիչը տվել է հետևյալ շփոթությունների մատրիցան (confusion matrix)
(տողերը համապատասխանում են իրական պիտակներին, սյունակները՝ կանխատեսված պիտակներին)․

Համապատասխան ուսուցման պիտակների բաշխումն է
\[
\pi_{\text{train}} =
\big(P(U)=0.25,\; P(S)=0.35,\; P(N)=0.40\big).
\]

Օգտագործման (deployment) պահին իրական աշխարհի պիտակների բաշխումը այլ է․
\[
\pi_{\text{dep}} =
\big(P(U)=0.05,\; P(S)=0.15,\; P(N)=0.80\big).
\]

Կարող եք ենթադրել, որ դասակարգչի պայմանական վարքը կայուն է․
\[
P_{\text{train}}(\mathrm{pred} = j \mid \mathrm{true} = i) = P_{\text{dep}}(\mathrm{pred} = j \mid \mathrm{true} = i)
\quad \text{բոլոր } i,j \in \{U,S,N\} \text{-երի համար}.
\]

Տրված է հետևյալ գնաժողովի մատրիցան
(սյունակի պիտակը կանխատեսելու գինը, երբ իրական պիտակը տողի պիտակն է)․

\[
C(\mathrm{pred} = j \mid \mathrm{true} = i) =
\begin{array}{c|ccc}
 & U & S & N \\ \hline
U & 0 & 20 & 100 \\
S & 5 & 0 & 10 \\
N & 1 & 1 & 0
\end{array}
\]

2. Հաշվեք \(\mathrm{Precision}_U\)-ն և՛ \(\pi_{\text{train}}\)-ի, և՛ \(\pi_{\text{dep}}\)-ի դեպքում։
   Բացատրեք, թե ինչու է ճշգրտությունը (precision) փոխվում բաշխման փոփոխության (distribution shift) պայմաններում, մինչդեռ հիշարկումը (recall-ը)՝ ոչ։

[5 միավոր]

3. Դիտարկեք տեղակայված որոշման կանոնը ընտրելու երկու ռազմավարություն․
   1. ուսուցման ճշտության (training accuracy) максимիզացում,
   2. օգտագործման սպասվող արժեքի (expected deployment cost) минимիզացում։

Բացատրեք, թե ինչու ռազմավարություն (1)-ը կարող է բերել ավելի մեծ սպասվող արժեքի օգտագործման պահին, քան ռազմավարություն (2)-ը։

[3 միավոր]

[Ընդամենը 13 միավոր]