Task 6 - Slovenian

Naloga 6

Obravnavajmo problem večoznačne klasifikacije. Za vsak razred \(c\), \(TP_c\) predstavlja primere, ki so v razredu \(c\) in so pravilno prepoznani kot pripadajoči \(c\); \(TN_c\) predstavlja primere, ki niso v razredu \(c\) in so pravilno prepoznani kot nepripadajoči \(c\); \(FP_c\) predstavlja primere, ki niso v razredu \(c\), vendar so napačno označeni kot pripadajoči \(c\); \(FN_c\) predstavlja primere, ki so v razredu \(c\), vendar so napačno označeni kot nepripadajoči \(c\).

Imamo naslednje metrike:

• za posamezni razred priklic (recall):
  \[
  \mathrm{Recall}_c = \frac{TP_c}{TP_c+FN_c}=P(\mathrm{pred} = c\mid\mathrm{true}=c);
  \]
• za posamezni razred natančnost (precision):
  \[
  \mathrm{Precision}_c = \frac{TP_c}{TP_c+FP_c}=P(\mathrm{true}=c\mid\mathrm{pred} =c);
  \]
• za posamezni razred specifičnost:
  \[
  \mathrm{Spec}_c = \frac{TN_c}{TN_c+FP_c}=P(\mathrm{pred}\neq c\mid\mathrm{true}\neq c);
  \]
• za vsako razredno odvisno metriko napake \(M_c\) je makro povprečna metrika napake aritmetična sredina razredno specifičnih vrednosti
  \[
  \mathrm{Macro}-M=\frac{\sum_c M_c}{\textrm{število razredov}};
  \]
• za porazdelitev oznak \(\pi=(\pi_c)\) je točnost:
  \[
  \mathrm{acc}(\pi)=\sum_c\pi_c\mathrm{Recall}_c;
  \]
• če je \(C = (C_{ij})\) matrika stroškov, kjer \(C_{ij} = \mathrm{Cost}(\mathrm{pred} = j\mid\mathrm{true} = i)\), je pričakovani strošek
  \[
  \mathbb{E}_\pi(C) = \sum_{i,j}\pi_i P(\mathrm{pred} = j\mid\mathrm{true} = i)C_{ij}.
  \]
  Lahko predpostavite, da ima vsak razred nenulno podporo in da klasifikator za vsak razred naredi tako pravilne kot napačne napovedi (nedegeneriranost).

1. Predpostavimo binarni klasifikator z razredoma \(0\) in \(1\). Dokažite, da če
   \[
   \mathrm{accuracy}=\mathrm{precision}_1=\mathrm{recall}_1,
   \]
   mora biti podpora obeh razredov enaka.

[5 točk]

Za preostale dele lahko predpostavite naslednji kontekst.

Kontekst

Sistem za triažo v javnem zdravstvu razvršča dohodna sporočila v enega od treh razredov:
\[
U = \text{Nujno}, \quad
S = \text{Polnujno}, \quad
N = \text{Nenujno}.
\]

Učni podatkovni niz je bil namenoma obogaten z nujnimi in polnujnimi primeri.
Na učnem naboru je klasifikator ustvaril naslednjo matriko zmede
(vrstice ustrezajo pravi oznaki, stolpci napovedani oznaki):

Ustrezna porazdelitev oznak v učnem naboru je
\[
\pi_{\text{train}} =
\big(P(U)=0.25,\; P(S)=0.35,\; P(N)=0.40\big).
\]

Ob uporabi v praksi je dejanska porazdelitev oznak drugačna:
\[
\pi_{\text{dep}} =
\big(P(U)=0.05,\; P(S)=0.15,\; P(N)=0.80\big).
\]

Lahko predpostavite, da je pogojno obnašanje klasifikatorja stabilno:
\[
P_{\text{train}}(\mathrm{pred} = j \mid \mathrm{true} = i) = P_{\text{dep}}(\mathrm{pred} = j \mid \mathrm{true} = i)
\quad \text{za vse } i,j \in \{U,S,N\}.
\]

Podana je naslednja matrika stroškov
(strošek napovedi stolpčnega razreda, kadar je pravi razred v vrstici):

\[
C(\mathrm{pred} = j \mid \mathrm{true} = i) =
\begin{array}{c|ccc}
& U & S & N \\ \hline
U & 0 & 20 & 100 \\
S & 5 & 0 & 10 \\
N & 1 & 1 & 0
\end{array}
\]

2. Izračunajte \(\mathrm{Precision}_U\) pri \(\pi_{\text{train}}\) in \(\pi_{\text{dep}}\).
   Pojasnite, zakaj se natančnost spremeni ob spremembi porazdelitve, medtem ko se priklic ne.

[5 točk]

3. Razmislite o dveh strategijah za izbiro odločitvenega pravila ob uvedbi:
   1. maksimizacija točnosti na učnem naboru;
   2. minimizacija pričakovanega stroška ob uporabi.

Pojasnite, zakaj lahko strategija (1) vodi do višjega pričakovanega stroška ob uporabi kot strategija (2).

[3 točke]

[Skupaj 13 točk]