Task 6 - Hungarian

6. feladat

Tekintsünk egy többcímkés osztályozási problémát. Minden \(c\) osztályra \(TP_c\) jelöli azokat az eseteket, amelyek \(c\) osztályba tartoznak és helyesen \(c\)-ként kerültek azonosításra; \(TN_c\) jelöli azokat az eseteket, amelyek nem tartoznak \(c\) osztályba és helyesen nem \(c\)-ként kerültek azonosításra; \(FP_c\) jelöli azokat az eseteket, amelyek nem tartoznak \(c\) osztályba, de tévesen \(c\)-ként lettek címkézve; \(FN_c\) pedig azokat az eseteket, amelyek \(c\) osztályba tartoznak, de tévesen nem \(c\)-ként lettek címkézve.

Az alábbi metrikáink vannak:

• osztályonkénti visszahívás (recall):
  \[
  \mathrm{Recall}_c = \frac{TP_c}{TP_c+FN_c}=P(\mathrm{pred} = c\mid\mathrm{true}=c);
  \]
• osztályonkénti precizitás (precision):
  \[
  \mathrm{Precision}_c = \frac{TP_c}{TP_c+FP_c}=P(\mathrm{true}=c\mid\mathrm{pred} =c);
  \]
• osztályonkénti specificitás:
  \[
  \mathrm{Spec}_c = \frac{TN_c}{TN_c+FP_c}=P(\mathrm{pred}\neq c\mid\mathrm{true}\neq c);
  \]
• minden osztályfüggő hibametrika \(M_c\) esetén a makró átlagolt hibametrika az osztályspecifikus pontszámok számtani átlaga
  \[
  \mathrm{Macro}-M=\frac{\sum_c M_c}{\textrm{osztályok száma}};
  \]
• egy \(\pi=(\pi_c)\) címkeeloszlásra az pontosság (accuracy):
  \[
  \mathrm{acc}(\pi)=\sum_c\pi_c\mathrm{Recall}_c;
  \]
• ha \(C = (C_{ij})\) egy költségmátrix, ahol \(C_{ij} = \mathrm{Cost}(\mathrm{pred} = j\mid\mathrm{true} = i)\), akkor a várható költség
  \[
  \mathbb{E}_\pi(C) = \sum_{i,j}\pi_i P(\mathrm{pred} = j\mid\mathrm{true} = i)C_{ij}.
  \]
  Felteheted, hogy minden osztálynak nemnulla a támogatottsága, és az osztályozó minden osztályra ad helyes és helytelen előrejelzéseket is (nem-degeneráltság).

1. Tegyük fel, hogy bináris osztályozóról van szó, \(0\) és \(1\) osztályokkal. Bizonyítsd be, hogy ha
   \[
   \mathrm{accuracy}=\mathrm{precision}_1=\mathrm{recall}_1,
   \]
   akkor a két osztály támogatottságának azonosnak kell lennie.

[5 pont]

A további részekhez felteheted a következő kontextust.

Kontextus

Egy közegészségügyi triázsrendszer a beérkező üzeneteket három osztály egyikébe sorolja:
\[
U = \text{Sürgős}, \quad
S = \text{Félig sürgős}, \quad
N = \text{Nem sürgős}.
\]

A tanító adathalmazt szándékosan feldúsították sürgős és félig sürgős esetekkel.
A tanítóhalmazon az osztályozó a következő konfúziós mátrixot adta (a sorok a valódi címkének, az oszlopok az előrejelzett címkének felelnek meg):

A hozzá tartozó tanítási címkeeloszlás:
\[
\pi_{\text{train}} =
\big(P(U)=0.25,\; P(S)=0.35,\; P(N)=0.40\big).
\]

Telepítéskor a valós címkeeloszlás eltérő:
\[
\pi_{\text{dep}} =
\big(P(U)=0.05,\; P(S)=0.15,\; P(N)=0.80\big).
\]

Felteheted, hogy az osztályozó feltételes viselkedése stabil:
\[
P_{\text{train}}(\mathrm{pred} = j \mid \mathrm{true} = i) = P_{\text{dep}}(\mathrm{pred} = j \mid \mathrm{true} = i)
\quad \text{minden } i,j \in \{U,S,N\}\text{-re}.
\]

Adott a következő költségmátrix
(annak költsége, hogy az oszlopban lévő címkét jósoljuk, amikor a valódi címke a sorban lévő):

\[
C(\mathrm{pred} = j \mid \mathrm{true} = i) =
\begin{array}{c|ccc}
& U & S & N \\ \hline
U & 0 & 20 & 100 \\
S & 5 & 0 & 10 \\
N & 1 & 1 & 0
\end{array}
\]

2. Számítsd ki \(\mathrm{Precision}_U\)-t mind \(\pi_{\text{train}}\), mind \(\pi_{\text{dep}}\) alatt.
   Magyarázd el, miért változik a precizitás eloszláseltolódás esetén, miközben a visszahívás (recall) nem.

[5 pont]

3. Tekintsünk két stratégiát a telepített döntési szabály kiválasztására:
   1. a tanítási pontosság maximalizálása;
   2. a telepítési várható költség minimalizálása.

Magyarázd el, miért vezethet az (1) stratégia magasabb várható költséghez telepítéskor, mint a (2) stratégia.

[3 pont]

[Összesen 13 pont]