Task 6 - Romanian

Sarcina 6

Să considerăm o problemă de clasificare multi-etichetă. Pentru fiecare clasă \(c\), \(TP_c\) reprezintă instanțele care aparțin clasei \(c\) și sunt identificate corect ca aparținând lui \(c\); \(TN_c\) reprezintă instanțele care nu aparțin clasei \(c\) și sunt identificate corect ca neaparținând lui \(c\); \(FP_c\) reprezintă instanțele care nu aparțin clasei \(c\), dar sunt etichetate greșit ca aparținând lui \(c\); \(FN_c\) reprezintă instanțele care aparțin clasei \(c\), dar sunt etichetate greșit ca neaparținând lui \(c\).

Avem următoarele metrici:

• pe clasă recall:
  \[
  \mathrm{Recall}_c = \frac{TP_c}{TP_c+FN_c}=P(\mathrm{pred} = c\mid\mathrm{true}=c);
  \]
• pe clasă precision:
  \[
  \mathrm{Precision}_c = \frac{TP_c}{TP_c+FP_c}=P(\mathrm{true}=c\mid\mathrm{pred} =c);
  \]
• pe clasă specificitate:
  \[
  \mathrm{Spec}_c = \frac{TN_c}{TN_c+FP_c}=P(\mathrm{pred}\neq c\mid\mathrm{true}\neq c);
  \]
• pentru fiecare metrică de eroare dependentă de clasă \(M_c\), media macro a metricii de eroare este media aritmetică a scorurilor specifice claselor:
  \[
  \mathrm{Macro}-M=\frac{\sum_c M_c}{\textrm{numărul de clase}};
  \]
• pentru o distribuție a etichetelor \(\pi=(\pi_c)\), acuratețea este:
  \[
  \mathrm{acc}(\pi)=\sum_c\pi_c\mathrm{Recall}_c;
  \]
• dacă \(C = (C_{ij})\) este o matrice de costuri unde \(C_{ij} = \mathrm{Cost}(\mathrm{pred} = j\mid\mathrm{true} = i)\), atunci costul așteptat este:
  \[
  \mathbb{E}_\pi(C) = \sum_{i,j}\pi_i P(\mathrm{pred} = j\mid\mathrm{true} = i)C_{ij}.
  \]
  Puteți presupune că fiecare clasă are suport nenul și că clasificatorul face atât predicții corecte, cât și incorecte pentru fiecare clasă (nedegenerare).

1. Să presupunem că avem un clasificator binar, cu clasele \(0\) și \(1\). Demonstrați că, dacă
   \[
   \mathrm{accuracy}=\mathrm{precision}_1=\mathrm{recall}_1,
   \]
   atunci suportul celor două clase trebuie să fie același.

[5 puncte]

Pentru părțile rămase, puteți presupune următorul context.

Context

Un sistem public de triaj în domeniul sănătății clasifică mesajele primite într-una dintre cele trei clase:
\[
U = \text{Urgent}, \quad
S = \text{Semi-urgent}, \quad
N = \text{Non-urgent}.
\]

Setul de date de antrenare a fost îmbogățit intenționat cu cazuri urgente și semi-urgente.
Pe setul de antrenare, clasificatorul a produs următoarea matrice de confuzie (rândurile corespund etichetei reale, coloanele etichetei prezise):

Distribuția etichetelor în antrenare este:
\[
\pi_{\text{train}} = \big(P(U)=0.25,\; P(S)=0.35,\; P(N)=0.40\big).
\]

La momentul implementării, distribuția reală a etichetelor este diferită:
\[
\pi_{\text{dep}} = \big(P(U)=0.05,\; P(S)=0.15,\; P(N)=0.80\big).
\]

Puteți presupune că comportamentul condițional al clasificatorului este stabil:
\[
P_{\text{train}}(\mathrm{pred} = j \mid \mathrm{true} = i) = P_{\text{dep}}(\mathrm{pred} = j \mid \mathrm{true} = i) \quad \text{pentru toate } i,j \in \{U,S,N\}.
\]

Se dă următoarea matrice de costuri
(costul prezicerii etichetei din coloană când eticheta reală este cea din rând):

C(pred=j∣true=i)= U S N U 0 20 100 S 5 0 10 N 1 1 0 C(pred=j∣true=i)= U S N ​ U 0 5 1 ​ S 20 0 1 ​ N 100 10 0 ​ ​

2. Calculați \(\mathrm{Precision}_U\) atât pentru \(\pi_{\text{train}}\), cât și pentru \(\pi_{\text{dep}}\). Explicați de ce precision se modifică în condițiile unei schimbări a distribuției, în timp ce recall nu se modifică.

[5 puncte]

3. Luați în considerare două strategii pentru alegerea regulii de decizie la implementare:
   1. maximizarea acurateței pe setul de antrenare;
   2. minimizarea costului așteptat la implementare.

Explicați de ce strategia (1) poate conduce la un cost așteptat mai mare la implementare decât strategia (2).

[3 puncte]

[Total 13 puncte]