Zadanie 3

Podczas opracowywania dużego modelu językowego (LLM) zespół wdraża „Prywatność Różnicową” (Differential Privacy, DP) jako ograniczenie projektowe wynikające z zasad etycznych, aby zapobiec wyciekowi danych osobowych (Personally Identifiable Information, PII). Proces ten obejmuje parametr budżetu prywatności ε.

Które z poniższych stwierdzeń najlepiej opisuje wynikający z tego ograniczenia wpływ na wydajność systemu?

  1. Przydatność modelu pozostaje stała, ale czas trenowania rośnie wykładniczo w celu obsługi warstw prywatności.
  2. Istnieje nieodłączny kompromis (trade-off), w wyniku którego zwiększenia gwarancji prywatności (zmniejszenie ε) pogarsza się dokładność modelu i szybkość jego zbieżności.
  3. Ograniczenie działa jak składnik regularyzacyjny, poprawiając generalizację poprzez zapobieganie nadmiernemu dopasowaniu (overfitting) modelu do konkretnych punktów danych.
  4. Ograniczenia etyczne, takie jak Różnicowa Prywatność, mają charakter wyłącznie architektoniczny i nie wpływają na funkcję straty ani na końcowe wagi modelu.

[Łącznie 3 punkty]