Task 6 - Polish

Zadanie 6

Rozważmy problem klasyfikacji wieloetykietowej. Dla każdej klasy \(c\), \(TP_c\) oznacza przypadki należące do klasy \(c\), które zostały poprawnie sklasyfikowane jako należące do \(c\); \(TN_c\) oznacza przypadki nienależące do klasy \(c\), które zostały poprawnie sklasyfikowane jako nienależące do \(c\); \(FP_c\) oznacza przypadki nienależące do klasy \(c\), które zostały błędnie sklasyfikowane jako należące do \(c\); \(FN_c\) oznacza przypadki należące do klasy \(c\), które zostały błędnie sklasyfikowane jako nienależące do \(c\).

Mamy następujące miary:

• czułość (recall) dla klasy:
  \[
  \mathrm{Recall}_c = \frac{TP_c}{TP_c+FN_c}=P(\mathrm{pred} = c\mid\mathrm{true}=c);
  \]
• precyzja (precision) dla klasy:
  \[
  \mathrm{Precision}_c = \frac{TP_c}{TP_c+FP_c}=P(\mathrm{true}=c\mid\mathrm{pred} =c);
  \]
• swoistość (specificity) dla klasy:
  \[
  \mathrm{Spec}_c = \frac{TN_c}{TN_c+FP_c}=P(\mathrm{pred}\neq c\mid\mathrm{true}\neq c);
  \]
• dla każdej zależnej od klasy miary błędu \(M_c\), makrośrednia miara błędu jest średnią arytmetyczną wyników dla poszczególnych klas:
  \[
  \mathrm{Macro}-M=\frac{\sum_c M_c}{\textrm{liczba klas}};
  \]
• dla rozkładu etykiet \(\pi=(\pi_c)\), dokładność (accuracy):
  \[
  \mathrm{acc}(\pi)=\sum_c\pi_c\mathrm{Recall}_c;
  \]
• jeśli \(C = (C_{ij})\) jest macierzą kosztów, gdzie \(C_{ij} = \mathrm{Cost}(\mathrm{pred} = j\mid\mathrm{true} = i)\), to oczekiwany koszt wynosi
  \[
  \mathbb{E}_\pi(C) = \sum_{i,j}\pi_i P(\mathrm{pred} = j\mid\mathrm{true} = i)C_{ij}.
  \]
  Można założyć, że każda klasa ma niezerowe wsparcie oraz że klasyfikator popełnia zarówno poprawne, jak i błędne predykcje dla każdej klasy (brak degeneracji).

1. Załóżmy, że mamy klasyfikator binarny z klasami \(0\) i \(1\). Udowodnij, że jeśli
   \[
   \mathrm{accuracy}=\mathrm{precision}_1=\mathrm{recall}_1,
   \]
   to liczności (wsparcie) obu klas muszą być takie same.

[5 punktów]

W pozostałych podpunktach można przyjąć następujący kontekst.

Kontekst

System triażu zdrowia publicznego klasyfikuje przychodzące wiadomości do jednej z trzech klas:
\[
U = \text{Pilne}, \quad
S = \text{Półpilne}, \quad
N = \text{Niepilne}.
\]

Zbiór treningowy został celowo wzbogacony o przypadki pilne i półpilne.
Na zbiorze treningowym klasyfikator wygenerował następującą macierz pomyłek (wiersze odpowiadają etykietom rzeczywistym, kolumny — przewidywanym):

Odpowiadający rozkład etykiet w zbiorze treningowym wynosi
\[
\pi_{\text{train}} = \big(P(U)=0.25,\; P(S)=0.35,\; P(N)=0.40\big).
\]

W momencie wdrożenia rzeczywisty rozkład etykiet jest inny:
\[
\pi_{\text{dep}} = \big(P(U)=0.05,\; P(S)=0.15,\; P(N)=0.80\big).
\]

Można założyć, że warunkowe zachowanie klasyfikatora jest stabilne:
\[
P_{\text{train}}(\mathrm{pred} = j \mid \mathrm{true} = i) = P_{\text{dep}}(\mathrm{pred} = j \mid \mathrm{true} = i) \quad \text{dla wszystkich } i,j \in \{U,S,N\}.
\]

Dana jest następująca macierz kosztów
(koszt przewidzenia etykiety kolumny, gdy rzeczywista etykieta to wiersz):

\[ C(\mathrm{pred} = j \mid \mathrm{true} = i) = \begin{array}{c|ccc} & U & S & N \\ \hline U & 0 & 20 & 100 \\ S & 5 & 0 & 10 \\ N & 1 & 1 & 0 \end{array} \]

2. Oblicz \(\mathrm{Precision}_U\) zarówno dla \(\pi_{\text{train}}\), jak i \(\pi_{\text{dep}}\).
   Wyjaśnij, dlaczego precyzja zmienia się przy zmianie rozkładu (distribution shift), podczas gdy czułość (recall) pozostaje bez zmian.

[5 punktów]

3. Rozważ dwie strategie wyboru reguły decyzyjnej przy wdrożeniu:
   1. maksymalizację dokładności na zbiorze treningowym;
   2. minimalizację oczekiwanego kosztu przy wdrożeniu.

Wyjaśnij, dlaczego strategia (1) może prowadzić do wyższego oczekiwanego kosztu przy wdrożeniu niż strategia (2).

[3 punkty]

[Łącznie 13 punktów]