Task 6 - Macedonian

Задача 6

Да разгледаме проблем на повеќе-ознаковна (multi-label) класификација. За секоја класа \(c\), \(TP_c\) ги претставува примероците што се во класата \(c\) и се точно идентификувани дека припаѓаат на \(c\); \(TN_c\) ги претставува примероците што не се во класата \(c\) и се точно идентификувани дека не припаѓаат на \(c\); \(FP_c\) ги претставува примероците што не се во класата \(c\), но погрешно се означени дека припаѓаат на \(c\); \(FN_c\) ги претставува примероците што се во класата \(c\), но погрешно се означени дека не припаѓаат на \(c\).

Ги имаме следните метрики:

• по класа враќање (recall):
  \[
  \mathrm{Recall}_c = \frac{TP_c}{TP_c+FN_c}=P(\mathrm{pred} = c\mid\mathrm{true}=c);
  \]
• по класа прецизност (precision):
  \[
  \mathrm{Precision}_c = \frac{TP_c}{TP_c+FP_c}=P(\mathrm{true}=c\mid\mathrm{pred} =c);
  \]
• по класа специфичност:
  \[
  \mathrm{Spec}_c = \frac{TN_c}{TN_c+FP_c}=P(\mathrm{pred}\neq c\mid\mathrm{true}\neq c);
  \]
• за секоја класа-зависна метрика на грешка \(M_c\), макро-усреднетата метрика на грешка е аритметичка средина од класно-специфичните резултати
  \[
  \mathrm{Macro}-M=\frac{\sum_c M_c}{\textrm{број на класи}};
  \]
• за распределба \(\pi=(\pi_c)\) на ознаките, точност (accuracy):
  \[
  \mathrm{acc}(\pi)=\sum_c\pi_c\mathrm{Recall}_c;
  \]
• ако \(C = (C_{ij})\) е матрица на трошоци каде \(C_{ij} = \mathrm{Cost}(\mathrm{pred} = j\mid\mathrm{true} = i)\), тогаш очекуваниот трошок е
  \[
  \mathbb{E}_\pi(C) = \sum_{i,j}\pi_i P(\mathrm{pred} = j\mid\mathrm{true} = i)C_{ij}.
  \]
  Може да претпоставите дека секоја класа има ненулта поддршка и дека класификаторот прави и точни и неточни предвидувања за секоја класа (недегенеративност).

1. Да претпоставиме дека имате бинарен класификатор, со класи \(0\) и \(1\). Докажете дека, ако
   \[
   \mathrm{accuracy}=\mathrm{precision}_1=\mathrm{recall}_1,
   \]
   тогаш поддршката на двете класи мора да биде иста.

[5 поени]

За преостанатите делови, може да го претпоставите следниот контекст.

Контекст

Јавноздравствен тријажен систем ги класифицира пристигнатите пораки во една од три класи:
\[
U = \text{Итно}, \quad
S = \text{Полу-итно}, \quad
N = \text{Не-итно}.
\]

Тренинг-податочниот сет беше намерно збогатен со итни и полу-итни случаи.
На тренинг сетот, класификаторот ја произведе следната конфузиона матрица
(редиците одговараат на вистинската ознака, колоните на предвидената ознака):

Соодветната тренинг распределба на ознаки е
\[
\pi_{\text{train}} =
\big(P(U)=0.25,\; P(S)=0.35,\; P(N)=0.40\big).
\]

При пуштање во употреба, реалната распределба на ознаки е различна:
\[
\pi_{\text{dep}} =
\big(P(U)=0.05,\; P(S)=0.15,\; P(N)=0.80\big).
\]

Може да претпоставите дека условното однесување на класификаторот е стабилно:
\[
P_{\text{train}}(\mathrm{pred} = j \mid \mathrm{true} = i) = P_{\text{dep}}(\mathrm{pred} = j \mid \mathrm{true} = i)
\quad \text{за сите } i,j \in \{U,S,N\}.
\]

Дадена ни е следната матрица на трошоци
(трошок за предвидување на колонската ознака кога вистинската ознака е редовната):

\[
C(\mathrm{pred} = j \mid \mathrm{true} = i) =
\begin{array}{c|ccc}
& U & S & N \\ \hline
U & 0 & 20 & 100 \\
S & 5 & 0 & 10 \\
N & 1 & 1 & 0
\end{array}
\]

2. Пресметајте \(\mathrm{Precision}_U\) и под \(\pi_{\text{train}}\) и под \(\pi_{\text{dep}}\).
   Објаснете зошто прецизноста се менува при поместување на распределбата, додека враќањето (recall) не се менува.

[5 поени]

3. Разгледајте две стратегии за избор на одлуковното правило при пуштање во употреба:
   1. максимизирање на тренинг точноста;
   2. минимизирање на очекуваниот трошок при пуштање во употреба.

Објаснете зошто стратегијата (1) може да доведе до повисок очекуван трошок при пуштање во употреба отколку стратегијата (2).

[3 поени]

[Вкупно 13 поени]