Task 6 - Russian

Задача 6

Рассмотрим задачу многометочной классификации. Для каждого класса \(c\), \(TP_c\) обозначает объекты, принадлежащие классу \(c\) и правильно классифицированные как принадлежащие \(c\); \(TN_c\) — объекты, не принадлежащие классу \(c\) и правильно классифицированные как не принадлежащие \(c\); \(FP_c\) — объекты, не принадлежащие классу \(c\), но ошибочно отнесённые к \(c\); \(FN_c\) — объекты, принадлежащие классу \(c\), но ошибочно отнесённые как не принадлежащие \(c\).

Рассмотрим следующие метрики:

• поклассовая полнота (recall):
  \[
  \mathrm{Recall}_c = \frac{TP_c}{TP_c+FN_c}=P(\mathrm{pred} = c\mid\mathrm{true}=c);
  \]
• поклассовая точность (precision):
  \[
  \mathrm{Precision}_c = \frac{TP_c}{TP_c+FP_c}=P(\mathrm{true}=c\mid\mathrm{pred} =c);
  \]
• поклассовая специфичность (specificity):
  \[
  \mathrm{Spec}_c = \frac{TN_c}{TN_c+FP_c}=P(\mathrm{pred}\neq c\mid\mathrm{true}\neq c);
  \]
• для каждой метрики ошибки, зависящей от класса \(M_c\), макроусреднённая метрика ошибки — это арифметическое среднее значений по классам:
  \[
  \mathrm{Macro}-M=\frac{\sum_c M_c}{\textrm{number of classes}};
  \]
• для распределения меток \(\pi=(\pi_c)\) accuracy (общая точность) определяется как:
  \[
  \mathrm{acc}(\pi)=\sum_c\pi_c\mathrm{Recall}_c;
  \]
• если \(C = (C_{ij})\) — матрица затрат, где \(C_{ij} = \mathrm{Cost}(\mathrm{pred} = j\mid\mathrm{true} = i)\), то ожидаемая стоимость равна:
  \[
  \mathbb{E}_\pi(C) = \sum_{i,j}\pi_i P(\mathrm{pred} = j\mid\mathrm{true} = i)C_{ij}.
  \]
  Можно предположить, что каждый класс имеет ненулевую поддержку, и классификатор делает как правильные, так и ошибочные предсказания для каждого класса (невыражденный случай).

1. Предположим, что рассматривается бинарный классификатор с классами \(0\) и \(1\). Докажите, что если
   \[
   \mathrm{accuracy}=\mathrm{precision}_1=\mathrm{recall}_1,
   \]
   то поддержка (доля объектов) двух классов должна быть одинаковой.

[5 баллов]

Для остальных пунктов можно предположить следующий контекст.

Контекст

Система медицинской сортировки сообщений классифицирует входящие сообщения в один из трёх классов:
\[
U = \text{Срочные}, \quad
S = \text{Полусрочные}, \quad
N = \text{Несрочные}.
\]

Обучающая выборка была намеренно обогащена срочными и полусрочными случаями.
На обучающем наборе классификатор дал следующую матрицу ошибок (строки соответствуют истинной метке, столбцы — предсказанной метке):

Соответствующее распределение меток на обучении:
\[
\pi_{\text{train}} = \big(P(U)=0.25,\; P(S)=0.35,\; P(N)=0.40\big).
\]

Во время развертывания распределение меток в реальном мире отличается:
\[
\pi_{\text{dep}} = \big(P(U)=0.05,\; P(S)=0.15,\; P(N)=0.80\big).
\]

Можно предположить, что условное поведение классификатора стабильно:
\[
P_{\text{train}}(\mathrm{pred} = j \mid \mathrm{true} = i) = P_{\text{dep}}(\mathrm{pred} = j \mid \mathrm{true} = i) \quad \text{для всех } i,j \in \{U,S,N\}.
\]

Дана следующая матрица затрат (стоимость предсказания столбца при истинной метке строки):

C(pred=j∣true=i)= U S N U 0 20 100 S 5 0 10 N 1 1 0 C(pred=j∣true=i)= U S N ​ U 0 5 1 ​ S 20 0 1 ​ N 100 10 0 ​ ​

2. Вычислите \(\mathrm{Precision}_U\) при \(\pi_{\text{train}}\) и \(\pi_{\text{dep}}\). Объясните, почему точность (precision) изменяется при сдвиге распределения, тогда как полнота (recall) не изменяется.

[5 баллов]

3. Рассмотрите две стратегии выбора правила принятия решения при развертывании:
   1. максимизация точности на обучающем наборе;
   2. минимизация ожидаемой стоимости при развертывании.

Объясните, почему стратегия (1) может привести к большей ожидаемой стоимости при развертывании по сравнению со стратегией (2).

[3 балла]

[Всего 13 баллов]