Bài 3

Trong quá trình phát triển một Mô hình Ngôn ngữ Lớn (LLM), một nhóm triển khai "Differential Privacy" (DP) như một ràng buộc thiết kế mang tính đạo đức nhằm ngăn chặn việc rò rỉ Thông tin Nhận dạng Cá nhân (PII). Quá trình này liên quan đến một tham số ngân sách riêng tư (privacy budget parameter) ε.

Mô tả nào sau đây giải thích đúng nhất về tác động của việc triển khai này đối với hiệu năng của hệ thống?

  1. Độ hữu ích của mô hình giữ nguyên, nhưng thời gian huấn luyện tăng theo hàm mũ (exponentially) để xử lý các lớp bảo vệ quyền riêng tư.
  2. Tồn tại một sự đánh đổi nội tại, trong đó việc tăng mức đảm bảo quyền riêng tư (giảm ε) tất yếu làm giảm độ chính xác và tốc độ hội tụ của mô hình.
  3. Ràng buộc này hoạt động như một yếu tố chuẩn hóa (regularization term), cải thiện khả năng tổng quát hóa (improve the generalization) bằng cách ngăn mô hình quá khớp với các điểm dữ liệu cụ thể.
  4. Các ràng buộc đạo đức như Differential Privacy chỉ mang tính kiến trúc và không ảnh hưởng đến hàm mất mát hoặc các trọng số cuối cùng của mô hình.

[Tổng 3 điểm]