Задача 3

За време на развојот на Голем Јазичен Модел (анг. Large Language Model - LLM), еден тим имплементира „Диференцијална приватност“ (анг. Differential Privacy - DP) како етичко ограничување на дизајнот за да спречи истекување на лично идентификувачки информации (анг. Personal Identifiable Information - PII). Овој процес вклучува параметар - буџет на приватност ε.

Која од следните опции најдобро го опишува резултантното влијание на ова ограничување врз перформансите на системот?

  1. Корисноста на моделот (анг. model utility) останува константна, но времето за тренирање се зголемува експоненцијално за да се справи со слоевите за приватност.
  2. Постои вграден компромис при кој зголемувањето на гаранцијата за приватност (намалување на ε) неизбежно ја влошува точноста на моделот и ратата на конвергенција.
  3. Ограничувањето делува како регуларизациски поим, подобрувајќи ја генерализацијата со спречување на претерано вклопување (анг. overfitting) на моделот на специфични податочни точки.
  4. Етичките ограничувања како Диференцијалната приватност се чисто архитектонски и не влијаат на функцијата на загуба (анг. loss function) или на конечните тежини на моделот.

[Вкупно 3 поени]