Taak 3

Tijdens de ontwikkeling van een Large Language Model (LLM) implementeert een team “Differential Privacy” (DP) als een ontwerpbeperking uit ethische overwegingen om het lekken van Personally Identifiable Information (PII) te voorkomen. Dit proces omvat een privacybudget-parameter ε.

Welke van de volgende opties beschrijft de impact van deze beperking op de prestaties van het systeem het beste?

  1. De bruikbaarheid van het model blijft constant, maar de trainingstijd neemt exponentieel toe om de privacy-lagen te verwerken.
  2. Er is een intrinsieke afweging waarbij het verhogen van de privacygarantie (ε verlagen) noodzakelijkerwijs de nauwkeurigheid en de convergentiesnelheid van het model verslechtert.
  3. De beperking werkt als een regularisatieterm, waardoor de generalisatie verbetert doordat overfitting op specifieke datapunten wordt voorkomen.
  4. Ethische beperkingen zoals Differential Privacy zijn puur architecturaal en beïnvloeden de loss function of de uiteindelijke gewichten van het model niet.

[Totaal 3 punten]