Task 6 - Spanish

Tarea 6

Consideremos un problema de clasificación multietiqueta. Para cada clase \(c\), \(TP_c\) representa las instancias que están en la clase \(c\) correctamente identificadas como pertenecientes a \(c\); \(TN_c\) representa las instancias que no están en la clase \(c\) correctamente identificadas como no pertenecientes a \(c\); \(FP_c\) representa las instancias que no están en la clase \(c\) etiquetadas incorrectamente como pertenecientes a \(c\); \(FN_c\) representa las instancias que están en la clase \(c\) etiquetadas incorrectamente como no pertenecientes a \(c\).

Tenemos las siguientes métricas:

• por clase, recall:
  \[
  \mathrm{Recall}_c = \frac{TP_c}{TP_c+FN_c}=P(\mathrm{pred} = c\mid\mathrm{true}=c);
  \]
• por clase, precision:
  \[
  \mathrm{Precision}_c = \frac{TP_c}{TP_c+FP_c}=P(\mathrm{true}=c\mid\mathrm{pred} =c);
  \]
• por clase, especificidad:
  \[
  \mathrm{Spec}_c = \frac{TN_c}{TN_c+FP_c}=P(\mathrm{pred}\neq c\mid\mathrm{true}\neq c);
  \]
• para cada métrica de error dependiente de la clase \(M_c\), la métrica de error macro-promedio es la media aritmética de las puntuaciones específicas por clase
  \[
  \mathrm{Macro}-M=\frac{\sum_c M_c}{\textrm{número de clases}};
  \]
• para una distribución \(\pi=(\pi_c)\) de las etiquetas, la exactitud:
  \[
  \mathrm{acc}(\pi)=\sum_c\pi_c\mathrm{Recall}_c;
  \]
• si \(C = (C_{ij})\) es una matriz de costes donde \(C_{ij} = \mathrm{Cost}(\mathrm{pred} = j\mid\mathrm{true} = i)\), el coste esperado es
  \[
  \mathbb{E}_\pi(C) = \sum_{i,j}\pi_i P(\mathrm{pred} = j\mid\mathrm{true} = i)C_{ij}.
  \]
  Puede suponer que cada clase tiene soporte no nulo y que el clasificador realiza tanto predicciones correctas como incorrectas para cada clase (no degeneración).

1. Supongamos que estamos en el caso de un clasificador binario, con clases \(0\) y \(1\). Demuestre que, si
   \[
   \mathrm{accuracy}=\mathrm{precision}_1=\mathrm{recall}_1,
   \]
   entonces el soporte de las dos clases debe ser el mismo.

[5 puntos]

Para las partes restantes, puede asumir el siguiente contexto.

Contexto

Un sistema de triaje de salud pública clasifica los mensajes entrantes en una de tres clases:
\[
U = \text{Urgente}, \quad
S = \text{Semiurgente}, \quad
N = \text{No urgente}.
\]

El conjunto de entrenamiento se enriqueció intencionadamente con casos urgentes y semiurgentes.
En el conjunto de entrenamiento, el clasificador produjo la siguiente matriz de confusión
(las filas corresponden a la etiqueta verdadera, las columnas a la etiqueta predicha):

La distribución de etiquetas correspondiente en entrenamiento es
\[
\pi_{\text{train}} =
\big(P(U)=0.25,\; P(S)=0.35,\; P(N)=0.40\big).
\]

En el momento del despliegue, la distribución real de etiquetas es diferente:
\[
\pi_{\text{dep}} =
\big(P(U)=0.05,\; P(S)=0.15,\; P(N)=0.80\big).
\]

Puede suponer que el comportamiento condicional del clasificador es estable:
\[
P_{\text{train}}(\mathrm{pred} = j \mid \mathrm{true} = i) = P_{\text{dep}}(\mathrm{pred} = j \mid \mathrm{true} = i)
\quad \text{para todo } i,j \in \{U,S,N\}.
\]

Se nos da la siguiente matriz de costes
(coste de predecir la etiqueta de la columna cuando la etiqueta verdadera es la de la fila):

\[
C(\mathrm{pred} = j \mid \mathrm{true} = i) =
\begin{array}{c|ccc}
& U & S & N \\ \hline
U & 0 & 20 & 100 \\
S & 5 & 0 & 10 \\
N & 1 & 1 & 0
\end{array}
\]

2. Calcule \(\mathrm{Precision}_U\) tanto bajo \(\pi_{\text{train}}\) como bajo \(\pi_{\text{dep}}\).
   Explique por qué la precisión cambia bajo un cambio de distribución mientras que el recall no.

[5 puntos]

3. Considere dos estrategias para elegir la regla de decisión a desplegar:
   1. maximizar la exactitud en entrenamiento;
   2. minimizar el coste esperado en el despliegue.

Explique por qué la estrategia (1) puede llevar a un coste esperado en el despliegue más alto que la estrategia (2).

[3 puntos]

[Total 13 puntos]