Task 6 - Swedish

Uppgift 6

Låt oss betrakta ett multilabel-klassificeringsproblem. För varje klass \(c\) representerar \(TP_c\) de instanser som tillhör klass \(c\) och korrekt identifieras som tillhörande \(c\); \(TN_c\) representerar de instanser som inte tillhör klass \(c\) och korrekt identifieras som icke tillhörande \(c\); \(FP_c\) representerar de instanser som inte tillhör klass \(c\) men felaktigt etiketteras som tillhörande \(c\); \(FN_c\) representerar de instanser som tillhör klass \(c\) men felaktigt etiketteras som icke tillhörande \(c\).

Vi har följande mått:

• klassvis recall:
  \[
  \mathrm{Recall}_c = \frac{TP_c}{TP_c+FN_c}=P(\mathrm{pred} = c\mid\mathrm{true}=c);
  \]
• klassvis precision:
  \[
  \mathrm{Precision}_c = \frac{TP_c}{TP_c+FP_c}=P(\mathrm{true}=c\mid\mathrm{pred} =c);
  \]
• klassvis specificitet:
  \[
  \mathrm{Spec}_c = \frac{TN_c}{TN_c+FP_c}=P(\mathrm{pred}\neq c\mid\mathrm{true}\neq c);
  \]
• för varje klassberoende felmått \(M_c\) är makrogenomsnittligt felmått det aritmetiska medelvärdet av de klasspecifika värdena
  \[
  \mathrm{Macro}-M=\frac{\sum_c M_c}{\textrm{antal klasser}};
  \]
• för en fördelning \(\pi=(\pi_c)\) av etiketterna är noggrannheten:
  \[
  \mathrm{acc}(\pi)=\sum_c\pi_c\mathrm{Recall}_c;
  \]
• om \(C = (C_{ij})\) är en kostnadsmatris där \(C_{ij} = \mathrm{Cost}(\mathrm{pred} = j\mid\mathrm{true} = i)\), är den förväntade kostnaden
  \[
  \mathbb{E}_\pi(C) = \sum_{i,j}\pi_i P(\mathrm{pred} = j\mid\mathrm{true} = i)C_{ij}.
  \]
  Du kan anta att varje klass har icke-noll stöd och att klassificeraren gör både korrekta och felaktiga prediktioner för varje klass (icke-degenerering).

1. Antag att du har en binär klassificerare med klasserna \(0\) och \(1\). Visa att om
   \[
   \mathrm{accuracy}=\mathrm{precision}_1=\mathrm{recall}_1,
   \]
   måste stödet för de två klasserna vara detsamma.

[5 poäng]

För de återstående delarna kan du anta följande kontext.

Kontext

Ett triagesystem inom offentlig hälsovård klassificerar inkommande meddelanden i en av tre klasser:
\[
U = \text{Akut}, \quad
S = \text{Halvakut}, \quad
N = \text{Icke-akut}.
\]

Träningsdatasetet berikades avsiktligt med akuta och halvakuta fall.
På träningsmängden producerade klassificeraren följande förväxlingsmatris
(rader motsvarar sann etikett, kolumner den predicerade etiketten):

Motsvarande etikettfördelning i träningen är
\[
\pi_{\text{train}} =
\big(P(U)=0.25,\; P(S)=0.35,\; P(N)=0.40\big).
\]

Vid driftsättning är den verkliga etikettfördelningen annorlunda:
\[
\pi_{\text{dep}} =
\big(P(U)=0.05,\; P(S)=0.15,\; P(N)=0.80\big).
\]

Du kan anta att klassificerarens villkorliga beteende är stabilt:
\[
P_{\text{train}}(\mathrm{pred} = j \mid \mathrm{true} = i) = P_{\text{dep}}(\mathrm{pred} = j \mid \mathrm{true} = i)
\quad \text{för alla } i,j \in \{U,S,N\}.
\]

Vi ges följande kostnadsmatris
(kostnaden för att predicera kolumnens etikett när den sanna etiketten är radens etikett):

\[
C(\mathrm{pred} = j \mid \mathrm{true} = i) =
\begin{array}{c|ccc}
& U & S & N \\ \hline
U & 0 & 20 & 100 \\
S & 5 & 0 & 10 \\
N & 1 & 1 & 0
\end{array}
\]

2. Beräkna \(\mathrm{Precision}_U\) under både \(\pi_{\text{train}}\) och \(\pi_{\text{dep}}\).
   Förklara varför precision förändras vid fördelningsskifte medan recall inte gör det.

[5 poäng]

3. Betrakta två strategier för att välja beslutsregel vid driftsättning:
   1. maximera träningsnoggrannheten;
   2. minimera förväntad kostnad vid driftsättning.

Förklara varför strategi (1) kan leda till en högre förväntad kostnad vid driftsättning än strategi (2).

[3 poäng]

[Totalt 13 poäng]