3. feladat

Egy nagy nyelvi modell (LLM) fejlesztése során egy csapat a „Differenciális adatvédelem” (Differential Privacy, DP) módszerét etikai tervezési megkötésként alkalmazza a személyazonosításra alkalmas információk ( Personally Identifiable Information, PII) kiszivárgásának megelőzésére. Ez egy ε adatvédelmi költségvetés paramétert használ.

Az alábbiak közül melyik írja le legjobban ennek a megkötésnek a rendszer teljesítményére gyakorolt hatását?

  1. A modell hasznossága konstans marad, de a tanítási idő exponenciálisan megnő az adatvédelmi rétegek kezelése miatt.
  2. Fennáll egy az algoritmusból származó kompromisszum (trade-off), amely szerint az adatvédelmi garancia növelése (ε csökkentése) szükségszerűen rontja a modell pontosságát és konvergencia-sebességét.
  3. A megkötés regularizációként működik, javítva az általánosítást azáltal, hogy megakadályozza, hogy a modell túltanuljon konkrét adatpontokon.
  4. Az olyan etikai megkötések, mint a "Differenciális adatvédelem" (DP), kizárólag architekturális jellegűek, és nem befolyásolják a hibafüggvényt (loss function), sem a modell végső súlyait.

[Összesen 3 pont]