Bài 6

Hãy xem xét một bài toán phân loại đa nhãn. Với mỗi lớp \(c\), \(TP_c\) biểu thị các mẫu thuộc lớp \(c\) và được dự đoán đúng là thuộc lớp \(c\); \(TN_c\) biểu thị các mẫu không thuộc lớp \(c\) và được dự đoán đúng là không thuộc lớp \(c\); \(FP_c\) biểu thị các mẫu không thuộc lớp \(c\) nhưng bị gán nhãn sai là thuộc lớp \(c\); \(FN_c\) biểu thị các mẫu thuộc lớp \(c\) nhưng bị gán nhãn sai là không thuộc lớp \(c\).

Ta có các độ đo sau:

  • theo từng lớp recall:
    \[
    \mathrm{Recall}_c = \frac{TP_c}{TP_c+FN_c}=P(\mathrm{pred} = c\mid\mathrm{true}=c);
    \]
  • theo từng lớp precision:
    \[
    \mathrm{Precision}_c = \frac{TP_c}{TP_c+FP_c}=P(\mathrm{true}=c\mid\mathrm{pred} =c);
    \]
  • theo từng lớp specificity:
    \[
    \mathrm{Spec}_c = \frac{TN_c}{TN_c+FP_c}=P(\mathrm{pred}\neq c\mid\mathrm{true}\neq c);
    \]
  • với mỗi độ đo lỗi phụ thuộc lớp \(M_c\), độ đo lỗi trung bình macro là trung bình cộng của các điểm số theo từng lớp
    \[
    \mathrm{Macro}-M=\frac{\sum_c M_c}{\textrm{number of classes}};
    \]
  • với phân phối nhãn \(\pi=(\pi_c)\), độ chính xác:
    \[
    \mathrm{acc}(\pi)=\sum_c\pi_c\mathrm{Recall}_c;
    \]
  • nếu \(C = (C_{ij})\) là ma trận chi phí trong đó \(C_{ij} = \mathrm{Cost}(\mathrm{pred} = j\mid\mathrm{true} = i)\), thì chi phí kỳ vọng là
    \[
    \mathbb{E}_\pi(C) = \sum_{i,j}\pi_i P(\mathrm{pred} = j\mid\mathrm{true} = i)C_{ij}.
    \]
    Bạn có thể giả sử rằng mọi lớp đều có số mẫu khác 0 và bộ phân loại đưa ra cả dự đoán đúng và sai cho mọi lớp (không suy biến).
  1. Giả sử bạn đang làm việc với một bộ phân loại nhị phân, với hai lớp \(0\) và \(1\). Hãy chứng minh rằng nếu
    \[
    \mathrm{accuracy}=\mathrm{precision}_1=\mathrm{recall}_1,
    \]
    thì số lượng mẫu (support) của hai lớp phải bằng nhau.

[5 điểm]

Đối với các phần còn lại, bạn có thể giả sử bối cảnh sau.

Bối cảnh

Một hệ thống phân loại sàng lọc y tế công cộng phân loại các tin nhắn nhận được thành một trong ba lớp:
\[
U = \text{Khẩn cấp}, \quad
S = \text{Bán khẩn cấp}, \quad
N = \text{Không khẩn cấp}.
\]

Tập huấn luyện đã được cố ý tăng cường thêm các trường hợp khẩn cấp và bán khẩn cấp.
Trên tập huấn luyện, bộ phân loại tạo ra ma trận nhầm lẫn sau (các hàng tương ứng với nhãn thực, các cột tương ứng với nhãn dự đoán):

True \(\backslash\) Pred \(U\) \(S\) \(N\) Tổng
\(U\) 200 30 20 250
\(S\) 30 270 50 350
\(N\) 10 30 360 400

Phân phối nhãn tương ứng trong tập huấn luyện là
\[
\pi_{\text{train}} =
\big(P(U)=0.25,\; P(S)=0.35,\; P(N)=0.40\big).
\]

Tại thời điểm triển khai, phân phối nhãn thực tế khác đi:
\[
\pi_{\text{dep}} =
\big(P(U)=0.05,\; P(S)=0.15,\; P(N)=0.80\big).
\]

Bạn có thể giả sử rằng hành vi có điều kiện của bộ phân loại là ổn định:
\[
P_{\text{train}}(\mathrm{pred} = j \mid \mathrm{true} = i) = P_{\text{dep}}(\mathrm{pred} = j \mid \mathrm{true} = i)
\quad \text{với mọi } i,j \in \{U,S,N\}.
\]

Ta có ma trận chi phí sau (chi phí khi dự đoán nhãn ở cột trong khi nhãn thực là ở hàng):

\[
C(\mathrm{pred} = j \mid \mathrm{true} = i) =
\begin{array}{c|ccc}
& U & S & N \\ \hline
U & 0 & 20 & 100 \\
S & 5 & 0 & 10 \\
N & 1 & 1 & 0
\end{array}
\]

  1. Tính \(\mathrm{Precision}_U\) dưới cả hai phân phối \(\pi_{\text{train}}\) và \(\pi_{\text{dep}}\).
    Giải thích tại sao precision thay đổi khi có sự thay đổi phân phối, trong khi recall thì không.

[5 điểm]

  1. Xem xét hai chiến lược để lựa chọn quy tắc quyết định khi triển khai:
    1. tối đa hóa độ chính xác trên tập huấn luyện;
    2. tối thiểu hóa chi phí kỳ vọng khi triển khai.

Giải thích tại sao chiến lược (1) có thể dẫn đến chi phí kỳ vọng cao hơn khi triển khai so với chiến lược (2).

[3 điểm]

[Tổng 13 điểm]