Task 6 - Simplified Chinese

任务 6

考虑一个多标签分类问题。对于每个类别 \(c\)， \(TP_c\) 表示真实属于类别 \(c\) 且被正确预测为属于 \(c\) 的样本； \(TN_c\) 表示真实不属于类别 \(c\) 且被正确预测为不属于 \(c\) 的样本； \(FP_c\) 表示真实不属于类别 \(c\) 但被错误预测为属于 \(c\) 的样本； \(FN_c\) 表示真实属于类别 \(c\) 但被错误预测为不属于 \(c\) 的样本。

我们有如下评价指标：

• 按类别计算的 召回率（recall）：
  \[
  \mathrm{Recall}_c = \frac{TP_c}{TP_c+FN_c}=P(\mathrm{pred} = c\mid\mathrm{true}=c);
  \]
• 按类别计算的 精确率（precision）：
  \[
  \mathrm{Precision}_c = \frac{TP_c}{TP_c+FP_c}=P(\mathrm{true}=c\mid\mathrm{pred} =c);
  \]
• 按类别计算的 特异度（specificity）：
  \[
  \mathrm{Spec}_c = \frac{TN_c}{TN_c+FP_c}=P(\mathrm{pred}\neq c\mid\mathrm{true}\neq c);
  \]
• 对于每个与类别相关的误差指标 \(M_c\)，其 宏平均误差指标（macro average error metric） 为各类别得分的算术平均值：
  \[
  \mathrm{Macro}-M=\frac{\sum_c M_c}{\textrm{number of classes}};
  \]
• 对于标签分布 \(\pi=(\pi_c)\)， 准确率（accuracy） 为：
  \[
  \mathrm{acc}(\pi)=\sum_c\pi_c\mathrm{Recall}_c;
  \]
• 若 \(C = (C_{ij})\) 为代价矩阵，其中 \(C_{ij} = \mathrm{Cost}(\mathrm{pred} = j\mid\mathrm{true} = i)\)，则 期望代价（expected cost） 为：
  \[
  \mathbb{E}_\pi(C) = \sum_{i,j}\pi_i P(\mathrm{pred} = j\mid\mathrm{true} = i)C_{ij}.
  \]
  可假设每个类别的样本数均非零，且分类器对每个类别既有正确预测也有错误预测（非退化情况）。

1. 假设现在是一个二分类问题，类别为 \(0\) 和 \(1\)。证明：如果
   \[
   \mathrm{accuracy}=\mathrm{precision}_1=\mathrm{recall}_1,
   \]
   则两个类别的支持度（support）必须相同。

[5 分]

对于剩余部分，可假设如下背景。

背景

一个公共卫生分诊系统将接收到的消息分为以下三类之一：
\[
U = \text{紧急}, \quad
S = \text{半紧急}, \quad
N = \text{非紧急}.
\]

训练数据集刻意增加了紧急和半紧急案例。
在 训练集 上，分类器得到如下混淆矩阵（行表示真实标签，列表示预测标签）：

相应的训练标签分布为：
\[
\pi_{\text{train}} =
\big(P(U)=0.25,\; P(S)=0.35,\; P(N)=0.40\big).
\]

在部署时，真实世界中的标签分布不同：
\[
\pi_{\text{dep}} =
\big(P(U)=0.05,\; P(S)=0.15,\; P(N)=0.80\big).
\]

可假设分类器的条件行为是 稳定的：
\[
P_{\text{train}}(\mathrm{pred} = j \mid \mathrm{true} = i) = P_{\text{dep}}(\mathrm{pred} = j \mid \mathrm{true} = i)
\quad \text{对于所有 } i,j \in \{U,S,N\}.
\]

给定如下代价矩阵（当真实标签为行、预测标签为列时的预测代价）：

\[
C(\mathrm{pred} = j \mid \mathrm{true} = i) =
\begin{array}{c|ccc}
& U & S & N \\ \hline
U & 0 & 20 & 100 \\
S & 5 & 0 & 10 \\
N & 1 & 1 & 0
\end{array}
\]

2. 分别在 \(\pi_{\text{train}}\) 和 \(\pi_{\text{dep}}\) 下计算 \(\mathrm{Precision}_U\)。
   解释为何在分布发生变化时，精确率会改变，而召回率不会改变。

[5 分]

3. 考虑两种选择部署决策规则的策略：
   1. 最大化训练准确率；
   2. 最小化部署时的期望代价。

解释为什么策略（1）在部署时可能导致比策略（2）更高的期望代价。

[3 分]

[总计 13 分]