언어 식별과 생성에서의 프라이버시 비용에 관하여
On the Price of Privacy for Language Identification and Generation
한국어 초록
대규모 언어 모델은 민감한 사용자 데이터로 학습되므로, 본 연구는 언어 학습에서 차분 프라이버시(DP)가 어떤 비용을 초래하는지 묻는다. 불가지론적 통계 설정에서 프라이버시를 보장하는 언어 식별과 생성을 연구한다. 식별의 경우 프라이버시는 비용이 들지 않는다. 즉, 모든 고정된 $\varepsilon$에서 순수 DP와 $\delta\ge n^{-O(1)}$인 $(\varepsilon,\delta)$-DP는 $r(n)=o(n)$인 모든 $r(n)$에 대해 비프라이빗 속도 $\exp(-r(n))$를 유지한다. 생성의 경우 비용은 무엇이 공개되어 있는지에 따라 달라진다. 공개된 증인 한계가 있을 때 순수 DP는 지수에서 최대 $\Theta(\min\{1,\varepsilon\})$ 배만큼만 손실하며, 적절한 두 언어 컬렉션에서 최적 속도는 $\exp(-\Theta(\min\{1,\varepsilon\}\,n))$이다. 이러한 한계가 없으면 순수 DP는 이미 두 언어만으로도 지수적 속도 자체를 잃을 수 있다. 즉, 모든 $\exp(-o(n))$ 속도는 달성 가능하지만 어떤 지수적 속도도 달성할 수 없다. 이러한 컬렉션에서 $(\varepsilon,\delta)$-DP가 지수적 속도를 유지하는 것은 $\log(1/\delta)=o(n)$일 때, 그리고 그 경우에 한한다. 순수 DP에 관한 세 가지 사실이 증명을 이끈다. 첫째, 강건성 여유를 지수적으로 작은 오류로 변환한다. 둘째, Le Cam의 두 점 한계의 프라이빗 형태를 따른다. 셋째, 문자열의 부재를 볼 수 없다.
원문 초록
Large language models train on sensitive user data, so we ask what differential privacy (DP) costs in language learning. We study private language identification and generation in the agnostic statistical setting. For identification, privacy is free: at every fixed $\varepsilon$, pure DP and $(\varepsilon,\delta)$-DP with $\delta\ge n^{-O(1)}$ keep the non-private rate $\exp(-r(n))$ for every $r(n)=o(n)$. For generation, the price depends on what is public. With a public witness bound, pure DP loses at most a factor $\Theta(\min\{1,\varepsilon\})$ in the exponent, and on suitable two-language collections the optimal rate is $\exp(-\Theta(\min\{1,\varepsilon\}\,n))$. Without such a bound, pure DP can lose the exponential rate itself, already for two languages: every rate $\exp(-o(n))$ stays achievable, but no exponential rate is. On these collections, $(\varepsilon,\delta)$-DP keeps an exponential rate if and only if $\log(1/\delta)=o(n)$. Three facts about pure DP drive the proofs. It turns a robustness margin into an exponentially small error. It obeys a private form of Le Cam's two-point bound. And it cannot see the absence of a string.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2604.07238v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.