Görev 6

Çok etiketli (multi-label) bir sınıflandırma problemi ele alalım. Her bir sınıf \(c\) için, \(TP_c\), sınıf \(c\)’ye ait olup doğru şekilde \(c\) olarak tanımlanan örnekleri; \(TN_c\), sınıf \(c\)’ye ait olmayıp doğru şekilde \(c\)’ye ait değil olarak tanımlanan örnekleri; \(FP_c\), sınıf \(c\)’ye ait olmadığı halde yanlışlıkla \(c\) olarak etiketlenen örnekleri; \(FN_c\) ise sınıf \(c\)’ye ait olduğu halde yanlışlıkla \(c\)’ye ait değil olarak etiketlenen örnekleri temsil eder.

Aşağıdaki metriklere sahibiz:

  • sınıf başına duyarlılık (recall):
    \[
    \mathrm{Recall}_c = \frac{TP_c}{TP_c+FN_c}=P(\mathrm{pred} = c\mid\mathrm{true}=c);
    \]
  • sınıf başına kesinlik (precision):
    \[
    \mathrm{Precision}_c = \frac{TP_c}{TP_c+FP_c}=P(\mathrm{true}=c\mid\mathrm{pred} =c);
    \]
  • sınıf başına özgüllük (specificity):
    \[
    \mathrm{Spec}_c = \frac{TN_c}{TN_c+FP_c}=P(\mathrm{pred}\neq c\mid\mathrm{true}\neq c);
    \]
  • her sınıfa bağlı hata metriği \(M_c\) için, makro ortalama hata metriği, sınıfa özgü skorların aritmetik ortalamasıdır:
    \[
    \mathrm{Macro}-M=\frac{\sum_c M_c}{\textrm{sınıf sayısı}};
    \]
  • etiketlerin \(\pi=(\pi_c)\) dağılımı için doğruluk (accuracy):
    \[
    \mathrm{acc}(\pi)=\sum_c\pi_c\mathrm{Recall}_c;
    \]
  • eğer \(C = (C_{ij})\) bir maliyet matrisi ise ve \(C_{ij} = \mathrm{Cost}(\mathrm{pred} = j\mid\mathrm{true} = i)\) olarak tanımlanmışsa, beklenen maliyet şu şekildedir:
    \[
    \mathbb{E}_\pi(C) = \sum_{i,j}\pi_i P(\mathrm{pred} = j\mid\mathrm{true} = i)C_{ij}.
    \]
    Her sınıfın sıfırdan farklı desteğe sahip olduğunu ve sınıflandırıcının her sınıf için hem doğru hem de yanlış tahminler yaptığını (dejenerasyon olmadığını) varsayabilirsiniz.
  1. İkili (binary) bir sınıflandırıcıda, sınıfların \(0\) ve \(1\) olduğunu varsayalım. Eğer
    \[
    \mathrm{accuracy}=\mathrm{precision}_1=\mathrm{recall}_1,
    \]
    ise, iki sınıfın desteklerinin eşit olması gerektiğini kanıtlayın.

[5 puan]

Kalan kısımlar için aşağıdaki bağlamı varsayabilirsiniz.

Bağlam

Bir halk sağlığı triyaj sistemi, gelen mesajları üç sınıftan birine ayırmaktadır:
\[
U = \text{Acil}, \quad
S = \text{Yarı acil}, \quad
N = \text{Acil değil}.
\]

Eğitim veri kümesi kasıtlı olarak acil ve yarı acil vakalarla zenginleştirilmiştir.
Eğitim kümesinde sınıflandırıcı aşağıdaki karışıklık (confusion) matrisini üretmiştir
(satırlar gerçek etiketi, sütunlar tahmin edilen etiketi göstermektedir):

Gerçek \(\backslash\) Tahmin \(U\) \(S\) \(N\) Toplam
\(U\) 200 30 20 250
\(S\) 30 270 50 350
\(N\) 10 30 360 400

Karşılık gelen eğitim etiketi dağılımı:
\[
\pi_{\text{train}} =
\big(P(U)=0.25,\; P(S)=0.35,\; P(N)=0.40\big).
\]

Gerçek dünya dağılımı dağıtıma (deployment) geçildiğinde farklıdır:
\[
\pi_{\text{dep}} =
\big(P(U)=0.05,\; P(S)=0.15,\; P(N)=0.80\big).
\]

Sınıflandırıcının koşullu davranışının kararlı olduğunu varsayabilirsiniz:
\[
P_{\text{train}}(\mathrm{pred} = j \mid \mathrm{true} = i) = P_{\text{dep}}(\mathrm{pred} = j \mid \mathrm{true} = i)
\quad \text{tüm } i,j \in \{U,S,N\} \text{ için}.
\]

Aşağıdaki maliyet matrisi verilmiştir
(satırdaki gerçek etiket için sütundaki etiketi tahmin etmenin maliyeti):

\[
C(\mathrm{pred} = j \mid \mathrm{true} = i) =
\begin{array}{c|ccc}
& U & S & N \\ \hline
U & 0 & 20 & 100 \\
S & 5 & 0 & 10 \\
N & 1 & 1 & 0
\end{array}
\]

  1. \(\pi_{\text{train}}\) ve \(\pi_{\text{dep}}\) altında \(\mathrm{Precision}_U\)’yu hesaplayın.
    Dağılım değişimi altında kesinliğin neden değiştiğini, ancak duyarlılığın değişmediğini açıklayın.

[5 puan]

  1. Dağıtımdaki karar kuralını seçmek için iki stratejiyi ele alın:
    1. eğitim doğruluğunu maksimize etmek;
    2. dağıtımdaki beklenen maliyeti minimize etmek.

Strateji (1)’in, strateji (2)’ye kıyasla dağıtımda daha yüksek beklenen maliyete yol açabileceğini açıklayın.

[3 puan]

[Toplam 13 puan]