Task 6 - Ukrainian

trong>специфічність:
\[
\mathrm{Spec}_c = \frac{TN_c}{TN_c+FP_c}=P(\mathrm{pred}\neq c\mid\mathrm{true}\neq c);
\]

• для кожної класозалежної метрики помилки \(M_c\) макросередня метрика помилки є арифметичним середнім клас-специфічних значень
  \[
  \mathrm{Macro}-M=\frac{\sum_c M_c}{\textrm{кількість класів}};
  \]
• для розподілу міток \(\pi=(\pi_c)\) точність (accuracy):
  \[
  \mathrm{acc}(\pi)=\sum_c\pi_c\mathrm{Recall}_c;
  \]
• якщо \(C = (C_{ij})\) — матриця вартостей, де \(C_{ij} = \mathrm{Cost}(\mathrm{pred} = j\mid\mathrm{true} = i)\), то очікувана вартість дорівнює
  \[
  \mathbb{E}_\pi(C) = \sum_{i,j}\pi_i P(\mathrm{pred} = j\mid\mathrm{true} = i)C_{ij}.
  \]
  Можна вважати, що кожен клас має ненульову підтримку, і класифікатор робить як правильні, так і неправильні передбачення для кожного класу (недегенеративність).

1. Припустімо, що маємо бінарний класифікатор з класами \(0\) і \(1\). Доведіть, що якщо
   \[
   \mathrm{accuracy}=\mathrm{precision}_1=\mathrm{recall}_1,
   \]
   то підтримка (support) двох класів має бути однаковою.

[5 балів]

Для решти пунктів можна припустити такий контекст.

Контекст

Система тріажу у сфері громадського здоров’я класифікує вхідні повідомлення в один із трьох класів:
\[
U = \text{Невідкладні}, \quad
S = \text{Напівневідкладні}, \quad
N = \text{Не невідкладні}.
\]

Навчальний датасет навмисно був збагачений невідкладними та напівневідкладними випадками.
На навчальній вибірці класифікатор отримав таку матрицю змішування (confusion matrix)
(рядки відповідають істинній мітці, стовпці — передбаченій мітці):

Відповідний розподіл міток у навчанні:
\[
\pi_{\text{train}} =
\big(P(U)=0.25,\; P(S)=0.35,\; P(N)=0.40\big).
\]

Під час розгортання реальний розподіл міток інший:
\[
\pi_{\text{dep}} =
\big(P(U)=0.05,\; P(S)=0.15,\; P(N)=0.80\big).
\]

Можна припустити, що умовна поведінка класифікатора є стабільною:
\[
P_{\text{train}}(\mathrm{pred} = j \mid \mathrm{true} = i) = P_{\text{dep}}(\mathrm{pred} = j \mid \mathrm{true} = i)
\quad \text{для всіх } i,j \in \{U,S,N\}.
\]

Наведено таку матрицю вартостей
(вартість передбачення мітки зі стовпця, коли істинна мітка — у рядку):

\[
C(\mathrm{pred} = j \mid \mathrm{true} = i) =
\begin{array}{c|ccc}
& U & S & N \\ \hline
U & 0 & 20 & 100 \\
S & 5 & 0 & 10 \\
N & 1 & 1 & 0
\end{array}
\]

2. Обчисліть \(\mathrm{Precision}_U\) як для \(\pi_{\text{train}}\), так і для \(\pi_{\text{dep}}\).
   Поясніть, чому точність (precision) змінюється при зсуві розподілу, тоді як повнота (recall) — ні.

[5 балів]

3. Розгляньмо дві стратегії вибору правила прийняття рішень під час розгортання:
   1. максимізація навчальної точності (training accuracy);
   2. мінімізація очікуваної вартості під час розгортання (expected deployment cost).

Поясніть, чому стратегія (1) може призвести до більшої очікуваної вартості під час розгортання, ніж стратегія (2).

[3 бали]

[Усього 13 балів]