Naloga 3

Med razvojem velikega jezikovnega modela (an. large language model, LLM) skupina implementira "Differential Privacy" (DP) kot etično omejitev načrtovanja za preprečevanje uhajanje določljivih osebnih podatkov (an. personally identifiable information, PII). Ta proces vključuje parameter proračuna zasebnosti ε. 

Katera od naslednjih trditev najbolje opisuje vpliv te omejitve na zmogljivost sistema?

  1. Uporabnost modela ostane nespremenjena, vendar se čas učenja poveča eksponentno zaradi obdelave zasebnostnih slojev.
  2. Obstaja neločljiv kompromis, kjer povečanje jamstva zasebnosti (tj., zmanjšanje ε) nujno poslabša natančnost in hitrost konvergence modela.
  3. Omejitev deluje kot regularizacijski izraz, ki izboljšuje generalizacijo s preprečevanjem prekomernega prileganja modela določenim podatkovnim točkam.
  4. Etične omejitve, kot je diferencialna zasebnost, so izključno arhitekturne in ne vplivajo na funkcijo izgube ali končnih uteži modela.

[Skupaj 3 točke]