arXiv:2604.15851 cs.LG

DPrivBench: Benchmarking LLMs' Reasoning for Differential Privacy

제출 2026-04-17

한국어 초록

차등 프라이버시(DP)는 데이터 프라이버시를 보호하는 데 폭넓게 활용되지만, DP 알고리즘을 설계하고 검증하려면 전문가 수준의 추론이 필요하여 비전문가 실무자에게 높은 진입 장벽을 만든다. 기존 연구들은 상당한 도메인 전문성을 요구하는 특화된 검증 언어에 의존하거나, 인간의 개입이 필요한 반자동 방식에 머무르는 경우가 많았다. 본 연구에서는 대규모 언어 모델(LLM)이 DP 추론을 자동화할 수 있는지 살펴본다. 우리는 각 사례에서 주어진 가정 하에 함수 또는 알고리즘이 명시된 DP 보장을 만족하는지 묻는 벤치마크인 DPrivBench를 소개한다. 이 벤치마크는 다양한 DP 주제를 포괄하고, 폭넓은 난이도 수준을 아우르며, 단순한 패턴 매칭과 같은 지름길 추론으로는 해결하기 어렵도록 세심하게 설계되었다. 실험 결과, 가장 강력한 모델들도 교과서적 메커니즘은 잘 다루지만 모든 모델이 고급 알고리즘에서는 어려움을 보였으며, 이는 현재 DP 추론 능력에 상당한 격차가 있음을 드러낸다. 추가적인 분석 연구와 실패 모드 분석을 통해 우리는 자동화된 DP 추론을 개선하기 위한 몇 가지 유망한 방향을 도출했다. 우리의 벤치마크는 이러한 방법을 개발하고 평가하기 위한 견고한 기반을 제공하며, 수학적 추론을 위한 기존 벤치마크를 보완한다.

요약

차등 개인정보보호(differential privacy, DP)는 데이터 프라이버시를 보장하는 핵심 기법이지만, 실제 알고리즘이 특정 보장을 만족하는지 판정하는 과정은 전문가 수준의 추론을 요구해 비전문가에게 큰 장벽이 됩니다. 이러한 문제의식에서 DPrivBench는 대규모 언어 모델(large language models, LLMs)이 DP 추론을 어느 수준까지 자동화할 수 있는지를 검증하기 위한 벤치마크로 제안되었습니다. 각 문제는 주어진 함수나 알고리즘이 명시된 가정 하에서 특정 DP 보장을 만족하는지를 예 또는 아니오로 판단하도록 구성되어, 모델이 단순한 정의 암기보다 논리적 연결과 조건 검토를 수행해야 하도록 설계되었습니다. 특히 벤치마크는 교과서적 메커니즘과 연구 문헌의 고난도 알고리즘을 함께 포함해, 기본적인 민감도 기반 추론부터 복잡한 조건부 보장 검증까지 폭넓게 시험합니다. 구성 방식도 매우 체계적입니다. Category 1에서는 49개의 함수 은행(function bank)을 바탕으로 Laplace 메커니즘, Gaussian 메커니즘, Report-Noisy-Max, Permute-and-Flip 등 여섯 가지 민감도 기반 기법을 템플릿으로 결합하여, 노이즈 스케일과 전역 민감도(global sensitivity)의 관계를 정확히 이해해야만 풀 수 있는 문제를 만듭니다. 긍정 예시와 부정 예시는 거의 동일한 형태를 유지하되 노이즈 계수만 미세하게 바꾸어, 단순한 패턴 매칭이나 표면적 유사성으로는 정답을 맞히기 어렵게 만들었습니다. Category 2에서는 프라이버시 어카운팅, DP 통계, DP 기반 기계학습, 데이터 적응형 메커니즘 등 네 축 아래 16개 토픽을 다루며, 알고리즘 설명, 가정, 보장 중 하나만 의도적으로 변형한 음성 예시를 통해 논리적 추론의 견고함을 점검합니다. 이처럼 두 범주는 서로 다른 수준의 추론 능력을 분리해 측정하도록 설계되어, 모델이 어디에서 실패하는지를 정밀하게 진단할 수 있게 합니다. 실험에서는 총 11개의 LLM을 평가하고 출력 형식을 yes/no로 고정해 채점의 일관성을 높였으며, 그 결과 가장 강한 모델조차 교과서 수준에서는 높은 성능을 보였지만 연구 수준의 복잡한 알고리즘으로 갈수록 급격히 약해졌습니다. 특히 일부 모델은 익숙한 메커니즘에서는 잘 작동했지만, 유사한 정리나 보장식을 서로 혼동하거나 필수 가정을 놓치는 구조적 오류를 반복했습니다. 이는 현재 LLM이 DP의 기본 개념 일부는 활용할 수 있으나, 실제 연구와 검증에 필요한 세밀한 판단까지 안정적으로 수행하기에는 아직 큰 간극이 있음을 보여줍니다. 동시에 이러한 실패 분석은 향후 검색 결합 추론, 더 정교한 보상 설계, 전문가 검증 보조 시스템 등 자동화된 DP 추론을 개선할 수 있는 유망한 방향을 제시합니다. 결과적으로 DPrivBench는 차등 개인정보보호 분야에서 LLM의 추론 역량을 평가하는 기준점이자, 수학적 추론 벤치마크를 보완하는 중요한 연구 인프라로서 의미를 갖습니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.