차분 프라이버시
더 많은 작업
- Differential privacy, DP; 차분 프라이버시, 차등 프라이버시
- 어떤 한 사람의 데이터가 들어가든 빠지든 분석 결과의 확률 분포가 거의 달라지지 않도록 만들어, 개인정보 노출 정도를 수치로 묶어 두는 수학적 프라이버시 정의
차분 프라이버시(differential privacy, DP)는 데이터 분석이나 기계 학습 결과에서 특정 개인에 대한 정보가 새어 나가는 정도를 ε(엡실론)과 δ(델타)라는 두 숫자로 묶어 두는 프라이버시 정의다. 국내에서는 차등 프라이버시, 차등 개인정보 보호라고도 쓴다. 신시아 드워크(Cynthia Dwork), 프랭크 맥셰리(Frank McSherry), 코비 니심(Kobbi Nissim), 애덤 스미스(Adam Smith)가 2006년 질의 결과에 민감도에 비례하는 잡음을 더하는 방법과 함께 제안했다.[1]
K-익명성 같은 개인정보 비식별 기법은 "결과 데이터가 어떻게 생겼는가"를 규정하므로 공격자가 가진 배경지식에 따라 재식별이 가능해진다. 차분 프라이버시는 결과가 아니라 결과를 만드는 알고리즘(메커니즘)에 거는 조건이어서, 공격자가 다른 모든 사람의 데이터를 알고 있어도 보장이 유지된다. 그 대가로 결과에 잡음이 섞여 정확도가 떨어지며, ε을 얼마로 잡을지가 실무의 핵심 결정이 된다. 미국 인구조사, 애플·구글의 사용 통계 수집, 연합 학습으로 학습하는 언어 모델 등에 쓰였다.
데이터셋 와 가 한 사람의 레코드만 다를 때 이웃(neighboring)이라 한다. 한 레코드를 추가·삭제한 관계로 정의하는 방식(unbounded)과 한 레코드를 다른 값으로 바꾼 관계로 정의하는 방식(bounded)이 있으며, 바꾸는 방식에서는 민감도가 대개 두 배가 된다.
무작위 알고리즘 이 모든 이웃 와 모든 출력 집합 에 대해 다음을 만족하면 (ε, δ)-차분 프라이버시를 만족한다.[2]
- δ = 0이면 순수(pure) ε-DP라고 한다. ε이 작을수록 두 분포가 비슷해 보호가 강하다. ε = 1이면 어떤 결과든 확률 비가 e ≈ 2.72배 이내다.
- δ는 위 부등식이 깨질 수 있는 확률 질량이다. 데이터셋 크기를 n이라 할 때 δ는 1/n보다 훨씬 작게 잡는 것이 관례다(흔히 , 처럼). δ가 1/n 수준이면 "무작위로 한 명의 레코드를 통째로 공개"하는 메커니즘도 정의를 만족해 버리기 때문이다.[2]
- 가설 검정 해석: 공격자가 출력만 보고 "그 사람이 데이터에 있었다"와 "없었다"를 가리는 검정을 할 때, 위양성률과 위음성률의 합은 ε, δ로 정해지는 하한 밑으로 내려가지 못한다. 그래서 차분 프라이버시는 멤버십 추론 공격의 성공률에 상한을 준다(아래 "공격과의 관계" 참고).
- 후처리 불변성(post-processing): ε-DP 출력에 어떤 계산을 더 해도(데이터를 다시 보지 않는 한) 보장이 약해지지 않는다. 잡음 섞인 통계를 반올림하거나, 학습된 모델로 추론하는 것은 추가 비용이 없다.
- 합성(composition): 여러 메커니즘을 같은 데이터에 쓰면 ε이 쌓인다. 아래 "합성 정리와 프라이버시 예산" 절 참고.
- 집단 프라이버시: ε-DP 메커니즘은 k명이 함께 바뀌는 경우에 kε-DP가 된다. 가족 단위나 한 사용자가 여러 레코드를 가진 경우에는 보호 단위(레코드 수준인지 사용자 수준인지)를 따로 정해야 한다.[2]
함수 f의 전역 민감도(global sensitivity)는 이웃 데이터셋 사이에서 f 값이 바뀔 수 있는 최대 크기다.
| 질의 | 민감도(추가·삭제 이웃 기준) | 비고 |
|---|---|---|
| 개수(조건을 만족하는 사람 수) | 1 | 가장 기본적인 질의 |
| 히스토그램(각 사람은 한 칸에만 속함) | L1 = 1, L2 = 1 | 칸 수와 무관. 바꾸는 이웃이면 L1 = 2, L2 = √2 |
| 합계(값을 [0, B]로 자름) | B | 값을 자르지 않으면 민감도가 무한대 |
| 평균(n이 공개, 값 [0, B]) | 대략 B/n | n 자체가 비공개면 합계와 개수를 따로 잡음 처리 |
| 신경망 기울기 합(표본별 L2 노름을 C로 자름) | L2 = C | DP-SGD의 원리 |
값을 일정 범위로 자르는 클리핑은 민감도를 유한하게 만드는 기본 수단이다. 너무 좁게 자르면 편향이 생기고, 너무 넓게 자르면 잡음이 커진다.
L2 민감도에 비례하는 정규 분포 잡음을 더한다. 0 < ε < 1에서 로 잡으면 (ε, δ)-DP다(드워크·로스 정리 A.1).[2] 순수 DP는 아니지만 고차원 벡터에서는 L2 민감도가 L1보다 훨씬 작고, 정규 분포 잡음끼리의 합성 분석이 깔끔해 기계 학습에서 표준이 되었다. ε ≥ 1인 영역은 위 공식이 성립하지 않으므로 해석적 보정법이나 아래의 회계 방법으로 σ를 정한다.
출력이 수치가 아니라 후보 중 하나를 고르는 문제(가장 많이 쓰인 단어, 최적 가격 등)에서는 점수 함수 u의 민감도 Δu에 대해 로 후보를 뽑는 지수 메커니즘(exponential mechanism)을 쓴다.[2]
import numpy as np
rng = np.random.default_rng(0)
def laplace_mechanism(value, l1_sensitivity, epsilon):
"""epsilon-DP"""
return value + rng.laplace(0.0, l1_sensitivity / epsilon, size=np.shape(value))
def gaussian_mechanism(value, l2_sensitivity, epsilon, delta):
"""(epsilon, delta)-DP, 0 < epsilon < 1 에서 성립하는 고전적 보정"""
sigma = np.sqrt(2 * np.log(1.25 / delta)) * l2_sensitivity / epsilon
return value + rng.normal(0.0, sigma, size=np.shape(value))
# 개수 질의: 한 사람이 빠지면 최대 1 변한다
flags = rng.integers(0, 2, size=10_000)
print(flags.sum(), laplace_mechanism(flags.sum(), 1, epsilon=0.5))
# 평균 질의: [0, 100]으로 자른 뒤, n이 공개라면 민감도는 약 100/n
ages = np.clip(rng.normal(40, 15, size=10_000), 0, 100)
print(ages.mean(), laplace_mechanism(ages.mean(), 100 / len(ages), epsilon=0.5))
# 히스토그램: 각 사람은 한 칸에만 속하므로 L2 민감도 1
hist = np.bincount(rng.integers(0, 5, size=10_000), minlength=5).astype(float)
print(hist, gaussian_mechanism(hist, 1.0, epsilon=0.9, delta=1e-5).round(1))
# 로컬 DP: 무작위 응답과 서버 측 보정
def randomized_response(bit, epsilon):
p = np.exp(epsilon) / (np.exp(epsilon) + 1)
return bit if rng.random() < p else 1 - bit
def estimate_rate(reports, epsilon):
p = np.exp(epsilon) / (np.exp(epsilon) + 1)
return (np.mean(reports) - (1 - p)) / (2 * p - 1)
truth = rng.random(100_000) < 0.3
reports = [randomized_response(int(b), 1.0) for b in truth]
print(estimate_rate(reports, 1.0)) # 약 0.30
연구용 예시다. 실서비스에서는 부동소수점 잡음의 최하위 비트로 원값이 새는 문제가 알려져 있어 검증된 라이브러리(OpenDP, 구글 differential-privacy 등)의 이산 잡음 구현을 쓰는 편이 안전하다.[4]
같은 데이터에 여러 번 질의하면 보호가 줄어든다. 전체 분석에 허용하는 ε 총량을 프라이버시 예산(privacy budget)이라 하고, 질의마다 일부를 나눠 쓴다.
| 방법 | k번 합성 결과 | 쓰임 |
|---|---|---|
| 기본 합성 | (Σεᵢ, Σδᵢ) | 계산이 단순. 질의 수가 적을 때 |
| 고급 합성(advanced composition) | 각 (ε, δ)를 k번: | ε가 대략 √k로 늘어남. 질의가 많을 때 |
| 병렬 합성 | 서로 겹치지 않는 부분집합에 각각 ε을 쓰면 전체는 max εᵢ | 히스토그램 칸별 집계 |
| 렌니 DP(RDP), zCDP, 프라이버시 손실 분포(PRV) 회계 | 차수별 렌니 발산을 더한 뒤 (ε, δ)로 변환 | 반복 횟수가 수만 번인 DP-SGD, 인구조사 |
고급 합성은 드워크·로스 정리 3.20,[2] 렌니 차분 프라이버시는 미로노프가 2017년 정리했다.[5] 무작위 표본 추출을 거치면 보호가 증폭되는 표본 추출 증폭(privacy amplification by subsampling)도 DP-SGD의 ε을 작게 만드는 핵심 요소다.
예산 관리의 실무 쟁점은 다음과 같다.
- 예산이 바닥나면 같은 데이터로는 더 공개할 수 없다. 공개 계획을 미리 세워 질의를 묶어야 한다.
- ε의 "적정값"에 대한 합의된 기준은 없다. 학계에서는 1 안팎을 강한 보호로 보지만, 아래 실제 적용 사례들은 수~수십을 썼다. 공개하는 ε 값과 보호 단위(레코드, 사용자, 기간)를 함께 밝혀야 비교가 된다.
- 시간 단위 예산: 매일 수집하는 서비스는 "하루 ε"만 밝히는 경우가 많다. 장기간 누적 손실은 그보다 크다.
| 구분 | 중앙 DP(central, curator 모델) | 로컬 DP(local DP, LDP) |
|---|---|---|
| 잡음 추가 위치 | 원본을 모은 신뢰된 수집자(큐레이터)가 결과에 추가 | 각 사용자 기기가 보내기 전에 추가 |
| 신뢰 가정 | 수집자를 믿어야 함 | 수집자를 믿지 않아도 됨 |
| 같은 ε에서 정확도 | 높음. 오차가 대략 1/ε 수준 | 낮음. 오차가 대략 √n/ε 수준으로 사용자 수가 많아야 쓸 만함 |
| 대표 사례 | 미국 2020 인구조사, DP-SGD 모델 학습 | 구글 RAPPOR, 애플 키보드·이모지 통계 |
둘 사이에 셔플 모델(익명 중계자가 보고를 섞어 출처를 끊음)과 연합 학습의 분산 DP(보안 집계 + 각 기기의 작은 잡음)가 있다. 보안 집계로 서버가 합계만 보게 하면 로컬 DP보다 훨씬 적은 잡음으로 중앙 DP에 가까운 보장을 얻는다.
기존 IT위키 문서가 그림으로 설명하던 두 유형(원본을 받아 큐레이터가 잡음을 넣는 신뢰 큐레이터 방식, 잡음을 넣은 데이터를 제공하는 방식)이 각각 중앙 DP와 로컬 DP에 해당한다.
DP-SGD(differentially private stochastic gradient descent)는 신경망 학습을 차분 프라이버시로 만드는 표준 방법이다. 마틴 아바디(Martín Abadi) 등 구글 연구진이 2016년 ACM CCS에서 발표했다.[6] 학습이 끝난 모델 가중치에 잡음을 넣으려면 가중치의 민감도를 알아야 하는데 심층 신경망에서는 이를 구할 수 없다. 그래서 각 학습 단계의 기울기에 개입한다.
알고리즘(원 논문 Algorithm 1)은 다음과 같다. 매 단계 t마다
- 각 표본을 확률 q = L/N으로 독립 추출해 묶음(lot) 를 만든다(포아송 추출).
- 묶음의 각 표본 i에 대해 표본별 기울기 를 구한다.
- 표본별 기울기를 L2 노름 C로 자른다:
- 합에 가우시안 잡음을 더해 평균낸다:
클리핑 덕분에 한 표본이 합에 주는 영향이 L2 기준 최대 C이므로(민감도 C), 잡음 표준편차 σC가 보호 수준을 정한다. 일반 그래디언트 클리핑이 미니배치 전체 기울기를 자르는 것과 달리 표본 하나하나를 자른다는 점이 다르다.
아바디 등의 또 다른 기여는 모멘트 회계(moments accountant)다. 표본 추출 확률 q, 단계 수 T에 대해 이면 (ε, δ)-DP임을 보였고, 이는 강한 합성 정리로 구한 경계보다 배만큼 작은 잡음으로 충분하다는 뜻이다. 논문 예시에서 q = 0.01, σ = 4, δ = 10⁻⁵, T = 10000이면 모멘트 회계로 ε ≈ 1.26, 강한 합성 정리로는 ε ≈ 9.34였다. 실험 결과 MNIST에서 (0.5, 10⁻⁵), (2, 10⁻⁵), (8, 10⁻⁵)-DP로 테스트 정확도 90%, 95%, 97%, CIFAR-10에서 ε = 2, 4, 8(δ = 10⁻⁵)로 67%, 70%, 73%를 얻었다.[6] 모멘트 회계는 이후 렌니 DP 회계로 정리되었다.
DP-SGD의 실무 특성은 다음과 같다.
- 표본별 기울기를 구해야 해서 메모리와 계산이 늘어난다. 파이토치에서는 Opacus, 텐서플로에서는 TensorFlow Privacy가 이를 구현한다.
- 정확도 손실이 크다. 같은 모델을 비공개 학습했을 때보다 낮은 정확도가 일반적이며, 공개 데이터로 사전 학습한 모델을 DP로 미세 조정하면 손실이 줄어든다.
- 배치 정규화는 표본 사이에 정보를 섞어 표본별 민감도 분석을 깨므로 그룹 정규화 등으로 바꾼다.
- 하이퍼파라미터 탐색에 쓴 검증 데이터도 프라이버시 비용을 쓴다는 점을 원 논문이 지적했다.
Opacus는 메타가 만든 파이토치용 DP-SGD 라이브러리로, 기존 모델·옵티마이저·데이터로더를 감싸 표본별 기울기 계산, 클리핑, 잡음 추가, ε 회계를 붙인다. 아래 인자 이름은 2026년 10월 공식 API 문서 기준이다.[7]
import torch
from opacus import PrivacyEngine
model = MyNet() # BatchNorm 대신 GroupNorm 등 Opacus 호환 층
optimizer = torch.optim.SGD(model.parameters(), lr=0.05)
train_loader = torch.utils.data.DataLoader(train_ds, batch_size=256)
privacy_engine = PrivacyEngine(accountant="rdp")
model, optimizer, train_loader = privacy_engine.make_private(
module=model,
optimizer=optimizer,
data_loader=train_loader, # 포아송 추출 로더로 바뀐다(poisson_sampling=True 기본)
noise_multiplier=1.1, # sigma
max_grad_norm=1.0, # 표본별 클리핑 노름 C
)
# 목표 epsilon으로 sigma를 자동 계산하려면 make_private_with_epsilon(
# ..., target_epsilon=8.0, target_delta=1e-5, epochs=10, max_grad_norm=1.0)
for epoch in range(10):
for x, y in train_loader:
optimizer.zero_grad()
loss = torch.nn.functional.cross_entropy(model(x), y)
loss.backward() # 표본별 기울기 계산
optimizer.step() # 클리핑 + 잡음 + 갱신
print(epoch, privacy_engine.get_epsilon(delta=1e-5))
make_private는 기본 설정에서 (모델, 옵티마이저, 데이터로더) 세 개를 돌려주고, grad_sample_mode="ghost"(빠른 클리핑)를 쓰면 손실 함수 래퍼까지 네 개를 돌려준다.[7]
- 멤버십 추론 공격: 모델 출력으로 특정 표본이 학습에 쓰였는지 맞히는 공격이다. ε-DP 학습 알고리즘에 대해 멤버십 추론 공격자의 이득(참양성률 − 위양성률)은 이하로 묶인다(예오미 등 2018 정리 1).[8] ε이 크면(예: 8) 이 상한은 의미가 없어지지만, 실제 공격 성공률은 이론 상한보다 훨씬 낮게 관찰되는 경우가 많다. 반대로 실제 공격으로 ε의 하한을 재는 작업을 프라이버시 감사(privacy auditing)라 한다.
- 학습 데이터 추출 공격: 대형 언어 모델이 학습 문장을 그대로 내뱉는 현상은 드물게 반복된 개인 데이터를 외운 결과다. 사용자 단위 DP로 학습하면 한 사용자의 데이터가 모델에 주는 영향이 묶인다.
- 모델 인버전 공격: 집단 평균 특성을 복원하는 공격은 DP로 막히지 않는다. 차분 프라이버시는 "이 사람이 데이터에 있었는가"를 숨길 뿐, 데이터 전체에서 배운 통계적 사실(예: 흡연과 폐암의 관계)은 공개하는 것이 목적이다.
- 데이터 오염 공격: 한 표본의 영향을 묶는 성질 덕분에 소수 표본 오염에는 어느 정도 강건해진다. 다만 많은 표본을 오염하면 집단 프라이버시 kε만큼만 보장되므로 방어책으로 설계된 것은 아니다.
| 주체 | 대상 | 모델 | 공개된 매개변수 |
|---|---|---|---|
| 구글 RAPPOR(2014) | 크롬 브라우저 설정(홈페이지·검색 엔진 등) 통계 | 로컬 DP. 블룸 필터 + 영구 무작위 응답 + 즉시 무작위 응답 | 홈페이지 수집에서 ε₁ = 0.5343 등, 옵트인 사용자 하루 약 1400만 명 |
| 애플(iOS 10, macOS 시에라부터) | 퀵타입 단어, 이모지, 룩업 힌트, 사파리 전력 과다·충돌 도메인, 건강 데이터 유형 사용 | 로컬 DP. 카운트 민 스케치, 하다마드 카운트 민 스케치 | 기부 1회당 ε: 이모지 4(하루 1회), 퀵타입 8(하루 2회), 건강 유형 2(하루 1회) 등 |
| 미국 인구조사국(2020 인구조사) | 선거구 획정용 인구 통계(P.L. 94-171) | 중앙 DP. 탑다운 알고리즘(TopDown Algorithm) | 총 ε = 19.61(인구 17.14, 주택 2.47) |
| 구글 지보드 | 다음 단어 예측 언어 모델 | 연합 학습 + DP-FTRL | 20개 넘는 모델, zCDP ρ는 0.2~2 |
- RAPPOR: 울파르 에를링손 등이 2014년 ACM CCS에서 발표했다. 크롬에서 악성 소프트웨어가 몰래 바꾸는 홈페이지·검색 엔진 설정의 분포를 파악하는 데 쓰였다. 값을 블룸 필터(128비트, 해시 함수 2개)에 넣고, 기기가 한 번 정한 무작위 답을 기억해 계속 쓰는 영구 무작위 응답과 매번 새로 섞는 즉시 무작위 응답을 거듭해 같은 사용자가 여러 번 보고해도 평균내어 원값을 알아내기 어렵게 했다.[9]
- 애플: 기기에서 SHA-256 변형 해시로 값을 부호화한 뒤 각 좌표를 확률로 뒤집고, 스케치 행렬의 한 행만 보낸다. 하다마드 변형은 1비트만 보내 통신량을 줄인다. 기기 식별자를 떼고, IP 주소를 저장하지 않으며, 데이터는 최대 3개월 보관한다고 밝혔다. 사용자가 기기 분석 공유에 동의한 경우에만 동작한다.[10]
- 미국 인구조사: 인구조사국은 공개 통계표만으로 개인 레코드를 재구성하는 공격을 차분 프라이버시 도입 이유로 들었다. 2023년 12월 작업 보고서는 2010년 인구조사 공개 표로 약 9700만 명의 레코드를 완전히 재구성한 모의 공격 결과를 보고했다.[11] 데이터관리정책위원회가 2021년 6월 9일 선거구 획정 자료의 매개변수로 총 ε = 19.61을 확정했다.[12] 2026년 10월 현재 인구조사국의 차분 프라이버시 안내 페이지에는 "더 이상 최신 정보가 아니며, 잡음 주입을 금지한 상무부 행정 명령에 맞는 대안을 검토 중"이라는 공지가 붙어 있다.[11]
- 구글 지보드: 2023년 논문에서 지보드의 다음 단어 예측 신경망 언어 모델 전부가 DP 보장을 갖게 되었고, 앞으로 출시할 신경망 언어 모델에도 DP를 요구한다고 밝혔다.[13] 자세한 내용은 연합 학습 문서 참고.
- 정확도와의 상충: 작은 집단, 드문 범주, 꼬리 분포에서 오차가 커진다. DP-SGD로 학습하면 소수 집단에 대한 모델 정확도가 더 많이 떨어진다는 연구도 있다.[14]
- ε 해석의 어려움: 같은 ε이라도 보호 단위(레코드·사용자·하루)와 이웃 정의에 따라 의미가 다르다. 정책 문서가 "차분 프라이버시를 적용했다"고만 쓰고 ε을 밝히지 않으면 보호 수준을 판단할 수 없다.
- 구현 결함: 부동소수점 잡음, 클리핑 누락, 데이터 의존적 전처리(전체 데이터로 정규화 범위를 정하는 것 등)가 보장을 깨뜨린다.[4]
- 속성 추론은 막지 않음: 앞서 말했듯 DP는 개인 참여 여부를 숨기는 것이지, 모집단 수준의 추론으로 개인 속성을 짐작하는 것까지 막지 않는다.
- 법적 지위: 2022년 4월 개정된 국내 가명정보 처리 가이드라인은 가명처리에 쓸 수 있는 기법으로 차분 프라이버시와 동형 암호 등을 소개한다.[15] 다만 DP를 적용했다고 곧바로 익명정보가 되는 것은 아니며, 재식별 가능성 판단은 별도로 한다.
- ↑ 1.0 1.1 Cynthia Dwork, Frank McSherry, Kobbi Nissim, Adam Smith, 〈Calibrating Noise to Sensitivity in Private Data Analysis〉, TCC 2006, LNCS 3876, 265~284. doi:10.1007/11681878_14
- ↑ 2.0 2.1 2.2 2.3 2.4 2.5 2.6 2.7 Cynthia Dwork, Aaron Roth, 《The Algorithmic Foundations of Differential Privacy》, Foundations and Trends in Theoretical Computer Science 9(3~4), 2014. 정의 2.4, 정리 3.6·3.16·3.20·A.1. 저자 공개본
- ↑ Stanley L. Warner, 〈Randomized Response: A Survey Technique for Eliminating Evasive Answer Bias〉, Journal of the American Statistical Association 60(309), 63~69, 1965. doi:10.1080/01621459.1965.10480775
- ↑ 4.0 4.1 Ilya Mironov, 〈On Significance of the Least Significant Bits For Differential Privacy〉, ACM CCS 2012. doi:10.1145/2382196.2382264
- ↑ Ilya Mironov, 〈Rényi Differential Privacy〉, IEEE CSF 2017. arXiv:1702.07476
- ↑ 6.0 6.1 Martín Abadi, Andy Chu, Ian Goodfellow, H. Brendan McMahan, Ilya Mironov, Kunal Talwar, Li Zhang, 〈Deep Learning with Differential Privacy〉, ACM CCS 2016, 308~318. arXiv:1607.00133
- ↑ 7.0 7.1 Opacus API: Privacy Engine (2026-10-16 확인).
PrivacyEngine(accountant='prv')가 기본값이며 rdp·gdp도 고를 수 있다. - ↑ Samuel Yeom, Irene Giacomelli, Matt Fredrikson, Somesh Jha, 〈Privacy Risk in Machine Learning: Analyzing the Connection to Overfitting〉, IEEE CSF 2018. arXiv:1709.01604
- ↑ Úlfar Erlingsson, Vasyl Pihur, Aleksandra Korolova, 〈RAPPOR: Randomized Aggregatable Privacy-Preserving Ordinal Response〉, ACM CCS 2014. arXiv:1407.6981 5.4절.
- ↑ Apple, Differential Privacy Technical Overview
- ↑ 11.0 11.1 U.S. Census Bureau, Differential Privacy and the 2020 Census (2026-06-18 개정본, 2026-10-16 확인)
- ↑ U.S. Census Bureau, Census Bureau Sets Key Parameters to Protect Privacy in 2020 Census Results, 2021-06-09.
- ↑ Zheng Xu 외, 〈Federated Learning of Gboard Language Models with Differential Privacy〉, 2023. arXiv:2305.18465
- ↑ Eugene Bagdasaryan, Omid Poursaeed, Vitaly Shmatikov, 〈Differential Privacy Has Disparate Impact on Model Accuracy〉, NeurIPS 2019. arXiv:1905.12101
- ↑ OECD, 〈Emerging Privacy-Enhancing Technologies: Current Regulatory and Policy Approaches〉, OECD Digital Economy Papers No. 351, 2023-03. OECD 발행 페이지