Task 6 - Albanian

Detyra 6

Le të konsiderojmë një problem klasifikimi me shumë etiketa. Për çdo klasë \(c\), \(TP_c\) përfaqëson instancat që janë në klasën \(c\) dhe që janë identifikuar saktë si që i përkasin \(c\); \(TN_c\) përfaqëson instancat që nuk janë në klasën \(c\) dhe që janë identifikuar saktë si që nuk i përkasin \(c\); \(FP_c\) përfaqëson instancat që nuk janë në klasën \(c\), por që janë etiketuar gabimisht si që i përkasin \(c\); \(FN_c\) përfaqëson instancat që janë në klasën \(c\), por që janë etiketuar gabimisht si që nuk i përkasin \(c\).

Kemi metrikat e mëposhtme:

• Recall për klasë:
  \[
  \mathrm{Recall}_c = \frac{TP_c}{TP_c+FN_c}=P(\mathrm{pred} = c\mid\mathrm{true}=c);
  \]
• Precision për klasë:
  \[
  \mathrm{Precision}_c = \frac{TP_c}{TP_c+FP_c}=P(\mathrm{true}=c\mid\mathrm{pred} =c);
  \]
• Specificity për klasë:
  \[
  \mathrm{Spec}_c = \frac{TN_c}{TN_c+FP_c}=P(\mathrm{pred}\neq c\mid\mathrm{true}\neq c);
  \]
• për çdo metrikë gabimi të varur nga klasa \(M_c\), mesatarja makro e metrikës së gabimit është mesatarja aritmetike e vlerave specifike për klasë
  \[
  \mathrm{Macro}-M=\frac{\sum_c M_c}{\textrm{number of classes}};
  \]
• për një shpërndarje \(\pi=(\pi_c)\) të etiketave, saktësia:
  \[
  \mathrm{acc}(\pi)=\sum_c\pi_c\mathrm{Recall}_c;
  \]
• nëse \(C = (C_{ij})\) është një matricë kostoje ku \(C_{ij} = \mathrm{Cost}(\mathrm{pred} = j\mid\mathrm{true} = i)\), kostoja e pritur është
  \[
  \mathbb{E}_\pi(C) = \sum_{i,j}\pi_i P(\mathrm{pred} = j\mid\mathrm{true} = i)C_{ij}.
  \]
  Mund të supozoni që çdo klasë ka mbështetje jo-zero dhe klasifikuesi bën si parashikime të sakta, ashtu edhe të pasakta për çdo klasë (jo-degjenerues).

1. Le të supozojmë se jemi në një klasifikues binar, me klasa \(0\) dhe \(1\). Vërtetoni se, nëse
   \[
   \mathrm{accuracy}=\mathrm{precision}_1=\mathrm{recall}_1,
   \]
   mbështetja e dy klasave duhet të jetë e njëjtë.

[5 pikë]

Për pjesët e mbetura, mund të supozoni kontekstin vijues.

Konteksti

Një sistem triazhimi për shëndetin publik klasifikon mesazhet hyrëse në një nga tre klasat:
\[
U = \text{Urgjente}, \quad
S = \text{Gjatësisht urgjente (Semi-urgente)}, \quad
N = \text{Jo urgjente}.
\]

Seti i trajnimit është pasuruar qëllimisht me raste urgjente dhe gjysmë-urgjente.  
Në setin e trajnimit, klasifikuesi prodhoi matricën e mëposhtme të konfuzionit
(rreshtat korrespondojnë me etiketën e vërtetë, kolonat me etiketën e parashikuar):

Shpërndarja përkatëse e etiketave në trajnim është
\[
\pi_{\text{train}} =
\big(P(U)=0.25,\; P(S)=0.35,\; P(N)=0.40\big).
\]

Në kohën e përdorimit (deployment), shpërndarja reale e etiketave është ndryshe:
\[
\pi_{\text{dep}} =
\big(P(U)=0.05,\; P(S)=0.15,\; P(N)=0.80\big).
\]

Mund të supozoni që sjellja kushtëzuese e klasifikuesit është e qëndrueshme:
\[
P_{\text{train}}(\mathrm{pred} = j \mid \mathrm{true} = i) = P_{\text{dep}}(\mathrm{pred} = j \mid \mathrm{true} = i)
\quad \text{për të gjitha } i,j \in \{U,S,N\}.
\]

Na jepet matrica e mëposhtme e kostos
(kostoja e parashikimit të etiketës në kolonë kur etiketa e vërtetë është ajo në rresht):

\[
C(\mathrm{pred} = j \mid \mathrm{true} = i) =
\begin{array}{c|ccc}
 & U & S & N \\ \hline
U & 0 & 20 & 100 \\
S & 5 & 0 & 10 \\
N & 1 & 1 & 0
\end{array}
\]

2. Llogaritni \(\mathrm{Precision}_U\) si nën \(\pi_{\text{train}}\) ashtu edhe nën \(\pi_{\text{dep}}\).
   Shpjegoni pse precision ndryshon nën ndryshimin e shpërndarjes, ndërsa recall jo.

[5 pikë]

3. Konsideroni dy strategji për zgjedhjen e rregullit të vendimmarrjes në përdorim:
   1. maksimizimi i saktësisë në trajnim;
   2. minimizimi i kostos së pritur në përdorim.

Shpjegoni pse strategjia (1) mund të çojë në një kosto të pritur më të lartë në përdorim sesa strategjia (2).

[3 pikë]

[Gjithsej 13 pikë]