Task 6 - French

Tâche 6

Considérons un problème de classification multi-étiquette. Pour chaque classe \(c\), \(TP_c\) représente les instances qui appartiennent à la classe \(c\) correctement identifiées comme appartenant à \(c\) ; \(TN_c\) représente les instances qui n’appartiennent pas à la classe \(c\) correctement identifiées comme n’appartenant pas à \(c\) ; \(FP_c\) représente les instances qui n’appartiennent pas à la classe \(c\) étiquetées à tort comme appartenant à \(c\) ; \(FN_c\) représente les instances qui appartiennent à la classe \(c\) étiquetées à tort comme n’appartenant pas à \(c\).

Nous avons les métriques suivantes :

• par classe, rappel :
  \[
  \mathrm{Recall}_c = \frac{TP_c}{TP_c+FN_c}=P(\mathrm{pred} = c\mid\mathrm{true}=c);
  \]
• par classe, précision :
  \[
  \mathrm{Precision}_c = \frac{TP_c}{TP_c+FP_c}=P(\mathrm{true}=c\mid\mathrm{pred} =c);
  \]
• par classe, spécificité :
  \[
  \mathrm{Spec}_c = \frac{TN_c}{TN_c+FP_c}=P(\mathrm{pred}\neq c\mid\mathrm{true}\neq c);
  \]
• pour chaque métrique d’erreur dépendante de la classe \(M_c\), la métrique d’erreur macro-moyenne est la moyenne arithmétique des scores spécifiques à chaque classe
  \[
  \mathrm{Macro}-M=\frac{\sum_c M_c}{\textrm{nombre de classes}};
  \]
• pour une distribution \(\pi=(\pi_c)\) des étiquettes, l’exactitude :
  \[
  \mathrm{acc}(\pi)=\sum_c\pi_c\mathrm{Recall}_c;
  \]
• si \(C = (C_{ij})\) est une matrice de coûts où \(C_{ij} = \mathrm{Cost}(\mathrm{pred} = j\mid\mathrm{true} = i)\), le coût attendu est
  \[
  \mathbb{E}_\pi(C) = \sum_{i,j}\pi_i P(\mathrm{pred} = j\mid\mathrm{true} = i)C_{ij}.
  \]
  Vous pouvez supposer que chaque classe a un support non nul et que le classificateur produit à la fois des prédictions correctes et incorrectes pour chaque classe (non-dégénérescence).

1. Supposons que nous soyons dans le cas d’un classificateur binaire, avec les classes \(0\) et \(1\). Prouvez que, si
   \[
   \mathrm{accuracy}=\mathrm{precision}_1=\mathrm{recall}_1,
   \]
   alors le support des deux classes doit être le même.

[5 points]

Pour les parties restantes, vous pouvez supposer le contexte suivant.

Contexte

Un système de triage en santé publique classe les messages entrants dans l’une des trois classes suivantes :
\[
U = \text{Urgent}, \quad
S = \text{Semi-urgent}, \quad
N = \text{Non urgent}.
\]

L’ensemble d’entraînement a été intentionnellement enrichi en cas urgents et semi-urgents.
Sur le jeu d’entraînement, le classificateur a produit la matrice de confusion suivante
(les lignes correspondent à l’étiquette vraie, les colonnes à l’étiquette prédite) :

La distribution des étiquettes correspondante sur l’entraînement est
\[
\pi_{\text{train}} =
\big(P(U)=0.25,\; P(S)=0.35,\; P(N)=0.40\big).
\]

Au moment du déploiement, la distribution réelle des étiquettes est différente :
\[
\pi_{\text{dep}} =
\big(P(U)=0.05,\; P(S)=0.15,\; P(N)=0.80\big).
\]

Vous pouvez supposer que le comportement conditionnel du classificateur est stable :
\[
P_{\text{train}}(\mathrm{pred} = j \mid \mathrm{true} = i) = P_{\text{dep}}(\mathrm{pred} = j \mid \mathrm{true} = i)
\quad \text{pour tout } i,j \in \{U,S,N\}.
\]

On vous donne la matrice de coûts suivante
(coût de prédire l’étiquette de la colonne lorsque l’étiquette vraie est celle de la ligne) :

\[
C(\mathrm{pred} = j \mid \mathrm{true} = i) =
\begin{array}{c|ccc}
& U & S & N \\ \hline
U & 0 & 20 & 100 \\
S & 5 & 0 & 10 \\
N & 1 & 1 & 0
\end{array}
\]

2. Calculez \(\mathrm{Precision}_U\) sous \(\pi_{\text{train}}\) et sous \(\pi_{\text{dep}}\).
   Expliquez pourquoi la précision change sous un changement de distribution alors que le rappel ne change pas.

[5 points]

3. Considérez deux stratégies pour choisir la règle de décision à déployer :
   1. maximiser l’exactitude sur l’entraînement ;
   2. minimiser le coût attendu au déploiement.

Expliquez pourquoi la stratégie (1) peut conduire à un coût attendu au déploiement plus élevé que la stratégie (2).

[3 points]

[Total 13 points]