Task 6 - Serbian

Zadatak 6

Razmotrimo problem višestruke (multi-label) klasifikacije. Za svaku klasu \(c\), \(TP_c\) predstavlja primere koji pripadaju klasi \(c\) i koji su ispravno klasifikovani kao pripadnici klase \(c\); \(TN_c\) predstavlja primere koji ne pripadaju klasi \(c\) i koji su ispravno klasifikovani kao takvi; \(FP_c\) predstavlja primere koji ne pripadaju klasi \(c\), ali su pogrešno označeni kao da pripadaju klasi \(c\); \(FN_c\) predstavlja primere koji pripadaju klasi \(c\), ali su pogrešno označeni kao da joj ne pripadaju.

Imamo sledeće metrike:

• po klasi odziv (recall):
  \[
  \mathrm{Recall}_c = \frac{TP_c}{TP_c+FN_c}=P(\mathrm{pred} = c\mid\mathrm{true}=c);
  \]
• po klasi preciznost (precision):
  \[
  \mathrm{Precision}_c = \frac{TP_c}{TP_c+FP_c}=P(\mathrm{true}=c\mid\mathrm{pred} =c);
  \]
• po klasi specifičnost (specificity):
  \[
  \mathrm{Spec}_c = \frac{TN_c}{TN_c+FP_c}=P(\mathrm{pred}\neq c\mid\mathrm{true}\neq c);
  \]
• za svaku metriku greške po klasi \(M_c\), makro-prosek metrike greške je aritmetička sredina vrednosti po klasama
  \[
  \mathrm{Macro}-M=\frac{\sum_c M_c}{\textrm{broj klasa}};
  \]
• za raspodelu oznaka \(\pi=(\pi_c)\), tačnost (accuracy):
  \[
  \mathrm{acc}(\pi)=\sum_c\pi_c\mathrm{Recall}_c;
  \]
• ako je \(C = (C_{ij})\) matrica troškova gde je \(C_{ij} = \mathrm{Cost}(\mathrm{pred} = j\mid\mathrm{true} = i)\), tada je očekivani trošak
  \[
  \mathbb{E}_\pi(C) = \sum_{i,j}\pi_i P(\mathrm{pred} = j\mid\mathrm{true} = i)C_{ij}.
  \]
  Možete pretpostaviti da svaka klasa ima nenultu zastupljenost i da klasifikator pravi i tačne i netačne predikcije za svaku klasu (nedegenerisan slučaj).

1. Pretpostavimo da imamo binarni klasifikator sa klasama \(0\) i \(1\). Dokažite da, ako
   \[
   \mathrm{accuracy}=\mathrm{precision}_1=\mathrm{recall}_1,
   \]
   tada zastupljenost (support) ove dve klase mora biti ista.

[5 poena]

Za preostale delove možete pretpostaviti sledeći kontekst.

Kontekst

Sistem za javnozdravstvenu trijažu klasifikuje pristigle poruke u jednu od tri klase:
\[
U = \text{Hitno}, \quad
S = \text{Poluhitno}, \quad
N = \text{Nehitno}.
\]

Trening skup podataka je namerno obogaćen hitnim i poluhitnim slučajevima.
Na trening skupu, klasifikator je proizveo sledeću matricu konfuzije (redovi odgovaraju stvarnoj oznaci, kolone predikciji):

Odgovarajuća raspodela oznaka na trening skupu je
\[
\pi_{\text{train}} =
\big(P(U)=0.25,\; P(S)=0.35,\; P(N)=0.40\big).
\]

U fazi primene (deployment), stvarna raspodela oznaka je drugačija:
\[
\pi_{\text{dep}} =
\big(P(U)=0.05,\; P(S)=0.15,\; P(N)=0.80\big).
\]

Možete pretpostaviti da je uslovno ponašanje klasifikatora stabilno:
\[
P_{\text{train}}(\mathrm{pred} = j \mid \mathrm{true} = i) = P_{\text{dep}}(\mathrm{pred} = j \mid \mathrm{true} = i)
\quad \text{za sve } i,j \in \{U,S,N\}.
\]

Data je sledeća matrica troškova
(trošak predikcije kolone kada je stvarna oznaka red):

\[
C(\mathrm{pred} = j \mid \mathrm{true} = i) =
\begin{array}{c|ccc}
& U & S & N \\ \hline
U & 0 & 20 & 100 \\
S & 5 & 0 & 10 \\
N & 1 & 1 & 0
\end{array}
\]

2. Izračunajte \(\mathrm{Precision}_U\) pod \(\pi_{\text{train}}\) i \(\pi_{\text{dep}}\).
   Objasnite zašto se preciznost menja pri promeni raspodele, dok odziv ostaje isti.

[5 poena]

3. Razmotrite dve strategije za izbor odluke pri primeni sistema:
   1. maksimizacija tačnosti na trening skupu;
   2. minimizacija očekivanog troška pri primeni.

Objasnite zašto strategija (1) može dovesti do većeg očekivanog troška pri primeni nego strategija (2).

[3 poena]

[Ukupno 13 poena]