arXiv:2104.07504

Natural Language Understanding with Privacy-Preserving BERT

Chen Qu, Weize Kong, Liu Yang, Mingyang Zhang, Michael Bendersky, Marc Najork

제출 2021-04-15

원문 초록

Privacy preservation remains a key challenge in data mining and Natural Language Understanding (NLU). Previous research shows that the input text or even text embeddings can leak private information. This concern motivates our research on effective privacy preservation approaches for pretrained Language Models (LMs). We investigate the privacy and utility implications of applying dx-privacy, a variant of Local Differential Privacy, to BERT fine-tuning in NLU applications. More importantly, we further propose privacy-adaptive LM pretraining methods and show that our approach can boost the utility of BERT dramatically while retaining the same level of privacy protection. We also quantify the level of privacy preservation and provide guidance on privacy configuration. Our experiments and findings lay the groundwork for future explorations of privacy-preserving NLU with pretrained LMs.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10268v1cs.CL공통 태그 Language Modelling, Natural Language Understanding

언어 재생성: 재구성에 대한 정보 국소성 효과 탐구

Language Re-generation: An investigation into information locality effects on reconstruction

정보 국소성(information locality)은 구문적으로 관련된 단어들이 서로 가까이 나타나는 경향으로, 인간의 언어 처리와 언어 모델 학습 모두에 영향을 미친다. 언어 모델이 불가능한 언어(impossible language)를 습득할 수 있는지에 대한 선행 연구가 있었지만, 언어 모델이 그러한 입력으로부터 자연어를 복원할 수 있는지, 그리고 이것이 언어 모델의 귀납적 바이어스에 대해 무엇을 드러내는지는 아직 불분명하다. 우리는 학습 가능성 기반 접근법을 재구성 프레임워크로 보완함으로써 이 문제를 다룬다: 불가능한 언어로 사전학습된 GPT-2 모델을 미세조정하여 세 가지 유형의 교란(perturbation)으로부터 자연스러운 영어를 재구성한다. 우리의 결과에 따르면, 복원된 구조는 원본 텍스트보다 짧은 의존성 길이(dependency length)를 나타내며, 이는 제약 없는 언어 모델 생성에서 관찰되는 국소성 선호를 반영하고 학습 가능성 실험만으로는 드러나지 않는 아키텍처 바이어스의 정량적 특징을 제공한다. 복원 난이도는 국소성 교란의 정도에 따라 증가한다. 구조적 복원(의존성 Triple F1)은 표면적 복원(정확 일치)과 분리되며, 전역 셔플링(global shuffling) 하에서 유창성은 충실한 재구성과 분리된다. 문장 길이는 성능을 추가로 조절하는데, 긴 문장은 지역 구조가 보존될 때 복원을 촉진하지만 전역 셔플링 하에서는 완전한 붕괴를 초래한다. 마지막으로, 복원 난이도는 교란 유형 전반에 걸쳐 학습 가능성 난이도를 추적하며, 이는 정보 국소성이 두 현상 모두를 지배하는 공통 제약임을 시사한다.

arXiv:2610.10592v2cs.CL공통 태그 Language Modelling

Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델

Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch

역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.

arXiv:2607.05479v2cs.CR공통 태그 Privacy Preserving

생성형 AI 워크플로우에서의 특권과 기밀성

Privilege and confidentiality in generative AI workflows

생성형 AI(GenAI) 시스템은 클라이언트 데이터를 세 가지 방식으로 저장하고 처리한다: 학습과 기억화를 통해 모델의 파라미터에, 실시간 세션 중 컨텍스트 윈도우에, 그리고 검색-증강 생성(RAG)을 위한 지식 데이터베이스에. 각 방식은 기밀성과 법적 직업상 특권에 대해 서로 다르고 종종 반직관적인 위험을 초래하며, 각각 특정한 거버넌스 대응을 요구한다. 특권과 생성형 AI를 다룬 최초의 영국 및 미국 판결인 UK and Munir v Secretary of State for the Home Department와 United States v Heppner, 이 판결들이 해석되어야 할 기존의 특권 판례들, 그리고 최근의 컴퓨터 과학 연구를 바탕으로, 우리는 실무자들이 이해할 수 있는 방식으로 데이터 저장 및 처리의 세 가지 방식을 설명하고 각각의 법적 결과를 분석한다. 이어서 우리는 이 분석을 잉글랜드 및 웨일스의 사무변호사를 규율하는 규제 체계와 통상적인 직업상 과실의 일반 원칙 내에 위치시키며, 효과적인 정보 거버넌스의 기준(그리고 그에 따라 과실 및 위법 행위를 판단하는 벤치마크)이 변화하고 있다고 주장한다. 우리는 주로 SRA 규제를 받는 실무자들을 대상으로 서술하지만, 데이터 거버넌스 분석은 특권 또는 직업상 비밀의 보호가 증명 가능한 기밀성에 달려 있는 모든 법적 관할권으로 확장될 수 있도록 구성하였다. 이 논문의 궁극적인 목적은 법률 서비스 전문가들이 GenAI 시스템에서의 주요 데이터 유출 위험을 이해하도록 돕고, 이를 통해 클라이언트 데이터 및 기타 민감한 자료에 대한 GenAI의 보다 책임 있는 배포를 촉진하는 것이다.

arXiv:2607.09767v2eess.SP공통 태그 Privacy Preserving

특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화

Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction

이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.

arXiv:2610.02418v2cs.CR공통 태그 Privacy Preserving

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

arXiv:2608.13545v3cs.CL공통 태그 Language Modelling

LittleLearner: 교육학적으로 제어된 지식 노출 환경에서의 언어 모델

LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure

현대 언어 모델은 이종의 웹 규모 텍스트 말뭉치로 학습됩니다. 결과적으로 관련 콘텐츠에 대한 사전 노출을 명확히 규정하기 어렵기 때문에, 지식 및 기술 습득을 연구하는 데 한계가 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 미국 초등학교 교육 자료에 맞추어 5학년을 초과하는 학년에서 가르치는 개념, 사실 및 어휘를 명시적으로 제외하고 구축한 880억(88B) 토큰 규모의 사전학습 말뭉치인 LittleCurriculum을 소개합니다. LittleCurriculum을 기반으로 50억(5B) 매개변수 대규모 언어 모델(LLM)을 처음부터 학습(scratch)시켜, 개방형 평가를 수행하기에 충분한 언어 능력을 갖추면서도 해석 가능한 교육과정 지침에 부합하는 명확한 지식 및 능력 경계를 지닌 모델인 LittleLearner를 도출했습니다. 잘 정의된 학습 범위 내에서 모델이 데이터를 어떻게 습득하고, 표현하며, 활용하는지 연구할 수 있도록 발달적으로 제한된 샌드박스로 LittleCurriculum과 LittleLearner를 공개합니다. 또한 사후 학습(post-training)과 문맥 내 학습(ICL)을 통해 새로운 지식을 주입하는 첫 번째 일련의 실험을 통해 이 샌드박스의 유용성을 입증합니다. 이러한 방식은 LittleLearner가 기존 지식을 더 잘 활용할 수 있도록 돕지만, 범위를 벗어난 능력을 향상시키지는 못합니다. 본 연구 결과는 향후 연구를 위한 이러한 통제된 환경의 가치를 강조합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.