RepSelect: 표현 선택성을 통한 강건한 LLM 언러닝
RepSelect: Robust LLM Unlearning via Representation Selectivity
한국어 초록
대규모 언어 모델(LLM)이 일반적인 능력을 희생하지 않으면서 특정 지식과 가치를 깊이 잊게 하는 것은 언러닝(unlearning)의 핵심 과제로 남아 있다. 그러나 현재 방법들은 미세조정이나 퓨샷(few-shot) 프롬프팅에 의해 쉽게 되돌릴 수 있어, 그들의 망각이 얕기만 함을 시사한다. 우리는 근본 원인을 밝혀낸다. 기존 방법들은 유지 집합(retain set)과 미세조정 공격자가 복원하는 부분공간(subspace) 모두와 공유되는 표현을 대상으로 삼아, 언러닝이 일반 능력에 혼란을 주면서도 쉽게 되돌릴 수 있게 만든다. 우리는 RepSelect(Representation Selectivity)를 제안한다. 이 방법은 매 업데이트 전에 가중치 그래디언트의 상위 주성분(principal components)을 붕괴시켜 망각 집합(forget set) 특이적 표현을 분리하며, 일반 능력은 그대로 유지하면서 미세조정이 복원할 수 있는 것을 제한한다. 우리는 생물학적 위험(biohazardous) 지식과 학대적 성향(abusive tendencies)이라는 두 가지 망각 카테고리, 그리고 밀집(dense) 및 전문가 혼합(MoE) 아키텍처를 아우르는 네 가지 모델 계열(Llama 3, Qwen 3.5, Gemma 4 E4B, DeepSeek V2 Lite)에 대해 평가한다. 다섯 가지 인기 기준선(GradDiff, NPO, SimNPO, RMU, UNDIAL)과 비교할 때, RepSelect는 가장 강한 기준선 대비 재학습(post-relearning) 후 답변 정확도를 4~50배 더 크게 낮추며, 퓨샷 프롬프팅 공격에 거의 완벽하게 견고하다. 따라서 선택적 표현을 겨냥하는 것은 깊고 강건한 LLM 망각을 향한 중요한 단계이다.
원문 초록
Making large language models (LLMs) deeply forget specific knowledge and values without sacrificing general capabilities remains a central challenge in unlearning. However, current methods are easily reversed by fine-tuning or few-shot prompting, suggesting their forgetting is only shallow. We identify the root cause. Existing methods target representations shared with both the retain set and the subspace recovered by a fine-tuning attacker, making unlearning both disruptive to general capabilities and easy to reverse. We propose RepSelect (Representation Selectivity), isolates forget-set-specific representations by collapsing top principal components of weight gradients before each update, leaving general capabilities intact while limiting what fine-tuning can recover. We evaluate across two forget categories, biohazardous knowledge and abusive tendencies, and four model families spanning dense and Mixture-of-Experts architectures (Llama 3, Qwen 3.5, Gemma 4 E4B, DeepSeek V2 Lite). Compared to five popular baselines (GradDiff, NPO, SimNPO, RMU, UNDIAL), RepSelect achieves a 4-50x larger reduction in post-relearning answer accuracy than the strongest baseline, and is near-perfectly robust to few-shot prompting attacks. Targeting selective representations is thus an important step towards deep and robust LLM forgetting.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.17168v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
빈도는 민감도가 아니다: 희소 MoE 대규모 언어 모델에서 안전성에 민감한 전문가 식별
Frequency Is Not Sensitivity Identifying Safety-Sensitive Experts in Sparse MoE LLM
라우팅되는 소수의 전문가를 억제하면 재학습 없이도 희소 전문가 혼합(MoE) 언어 모델의 안전성(safety) 동작을 약화시킬 수 있습니다. 따라서 어떤 전문가를 억제할 것인가는 보안상의 질문이 되며, 통상적인 해답은 활성화 빈도였으나 빈도는 영향력이 아닌 사용량을 측정할 뿐입니다. 본 연구에서는 대안으로 라우터-그래디언트 민감도, 즉 전문가를 선택하는 게이트 가중치에 대한 시퀀스 손실의 민감도를 테스트합니다. 5개의 MoE 아키텍처에 걸쳐 500개의 무해한 프롬프트와 500개의 악의적인 프롬프트에서 각 신호별로 전문가의 순위를 매기고, 동일한 전문가 수와 동일한 명목상의 악의적 라우팅 트래픽(1%~5%)이라는 두 가지 예산 조건 하에서 100개의 홀드아웃된 악의적 프롬프트에 대한 거부율을 측정합니다. 두 예산 조건 각각에서 라우터-그래디언트 선택은 25개 조건 중 24개 조건에서 활성화 빈도보다 거부율을 더 많이 감소시켰으며, 25개 모든 조건에서 10회 시행 무작위 평균보다 거부율을 더 크게 줄였습니다. 가장 큰 효과는 OLMoE에서 나타났는데, 거부 횟수가 100개 프롬프트 중 34개에서 9개로 감소하여(상대적 73.53%) 생성 품질 저하 없이 실질적인 순응을 보였으며, 이는 망가진 생성이 아님을 나타냅니다. 모든 층에서 전문가 수를 일치시킨 후에도 그래디언트 선택은 25개 조건 중 23개 조건에서 활성화 빈도보다 더 큰 거부율 감소를 보였으며, 2개 조건에서는 동률을 기록했습니다. 탐색적 교차 모델 분석에서는 무해 대비 악의적 집중도 격차가 클수록 더 큰 피크 그래디언트 효과와 연관됨을 보여줍니다(rho = 0.90; 정확한 양측 p = 0.083, n = 5). 종합적으로 이러한 결과는 테스트된 예산 조건 하에서 그래디언트 선택 방식을 지지합니다.
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
전문가 선택 편향을 통한 데이터 불균형 극복
Overcoming Data Imbalances with Expert Selection Biases
전문가 혼합(MoE) 모델은 프론티어 대규모 언어 모델(LLM)의 표준 아키텍처로 자리 잡았습니다. 각 트랜스포머(transformer) 블록에 존재하는 다수의 병렬 전문가는 이론적으로 사전학습(pre-training) 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 맞춰 전문가의 전문화를 가능하게 합니다. 그러나 카테고리 간 데이터가 불균형할 경우, 소수 카테고리는 전문가 풀의 작은 일부분에 집중되거나 비효율적으로 분산되어 실질적으로 활용 가능한 용량이 제한될 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(expert-selection bias)을 통해 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 우선 라우팅할 수 있음을 입증합니다. 입력 카테고리에 기반한 편향을 적용함으로써, 유연한 카테고리 맞춤형 전문화를 유도하는 간단한 방법을 제시합니다. 이러한 개입은 필요에 따라 카테고리 간 공유를 유지하면서도 카테고리가 구별된 전문가 하위 집합으로 향하도록 유도합니다. 더 중요하게는, 데이터 부족으로 인해 불리할 수 있는 카테고리에 전문가 용량을 초과 할당(over-allocation)할 수 있도록 지원합니다. 최대 10.6B 파라미터 크기의 모델에서 다양한 모달리티, 저자원 언어, 코드 전반에 걸친 성능 향상을 확인했습니다. 가장 작은 모델 규모와 가장 큰 모델 규모에서 이러한 성능 향상은 기준선(baseline) 대비 각각 18.5% 및 2.7%의 추가 학습 토큰을 할당한 것과 맞먹는 수준입니다. 전반적으로 본 연구 결과는 전문가 편향이 표준 MoE 추론을 유지하면서도 저자원 카테고리를 위한 공간을 확보하고 카테고리 수준의 전문가 할당을 위한 경량화된 제어 수단으로 활용될 수 있음을 보여줍니다.
멀티스트림 어텐션 잔차
Multi-Stream Attention Residuals
어텐션 잔차(Attention Residuals, AttnRes)는 네트워크 깊이(depth) 축을 따라 콘텐츠 종속적(content-dependent) 검색(retrieval)을 가능하게 하며, 이는 깊이 축을 따른 단일 스트림 소프트맥스 어텐션으로 볼 수 있다. 시퀀스(sequence) 축을 따른 멀티헤드 어텐션(multi-head attention)의 성공에서 영감을 받아, 우리는 AttnRes를 멀티헤드 깊이 어텐션(multi-head depth attention)으로 일반화한 확장 기법인 멀티스트림 어텐션 잔차(Multi-Stream Attention Residuals, MSAR)를 제안하며, 이는 최소한의 추가 오버헤드로 상당한 성능 향상을 가져온다. MSAR는 멀티스케일 코잘 컨볼루션(multi-scale causal convolution)을 통해 시퀀스 컨텍스트로부터 스트림 다양성을 이끌어내며, 이를 통해 서로 다른 헤드가 은닉 표현(hidden representation)의 무결성을 유지하면서도 서로 다른 컨텍스트 관점을 통해 과거 표현(historical representation)을 검색할 수 있도록 한다. 검색된 스트림들은 경량의 적응형 믹싱(adaptive mixing)을 통해 결합되어 단일 스트림 층 입력을 생성한다. 단일 스트림 소스를 유지하면서 필요 시 이를 확장함으로써, MSAR는 지속적인 멀티스트림 저장이나 통신 없이도 멀티스트림 연산을 지원한다. 180억(18B) 및 280억(28B) 규모의 MoE(전문가 혼합) 모델에서 수행한 12개의 다운스트림 벤치마크 전반에 걸쳐, MSAR는 표준 잔차 연결(residual connection), 매니폴드 제약 하이퍼커넥션(manifold-constrained Hyper-Connections, mHC), AttnRes를 포함한 기존의 모든 잔차 변형 기법을 일관되게 능가한다. 스케일링 법칙(scaling-law) 실험 결과, 표준 잔차 기준선 대비 동일 손실(iso-loss) 기준 연산 속도 향상이 $1.58\times$로 나타났으며, 이는 AttnRes의 $1.35\times$ 및 mHC의 $1.30\times$와 비교된다. 이러한 결과는 MSAR를 대규모 사전학습을 위한 유망한 잔차 아키텍처로 만든다.
입력 시퀀스 변화에 대한 대규모 언어 모델(LLM)의 강건성 평가 및 개선
Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations
프로덕션 시스템에서 운영되는 대규모 언어 모델(LLM)은 프롬프트 인젝션(prompt injection), 트로이목마(trojan, 백도어), 그리고 자동 품질 지표 조작 공격에 직면한다. 본 논문은 적대적 입력 시퀀스 변화에 대한 LLM의 강건성을 평가하고 개선하기 위한 모델, 방법, 알고리즘을 개발한다. 우리는 작은 입력 교란(perturbation) 하에서 단계별 출력 분포 간의 Jensen-Shannon 발산(divergence)에 기반한 생성적 강건성 지표인 R_stab(f)를 제안한다. 국소적(localized) 공격에 대해서는 V(h) <= 1 - R_class(h)를 증명하며, 여기서 R_class(h)는 의사결정 연산자 h가 작은 교란 하에서도 자신의 결정을 유지할 확률이다. 비국소적(non-localized) 공격에 대해서는 보정된(calibrated) 경험적 모델을 제안한다. LLM-as-a-judge 시스템에 대해서는 적응형 진화 블랙박스 공격인 ASA를 개발했으며, 이는 최대 73.8%의 공격 성공률(ASR)을 달성하고 오픈 모델 간 전이(transfer) 시에도 최대 62.6%를 기록한다. Trojan Detection Challenge 2023 데이터(Pythia-1.4B)에서는 대리(surrogate) 트리거가 REASR ~0.99에 도달하는 반면, 실제 트리거에 대한 재현율은 기준선 ~0.14에 비해 ~0.17에 불과하다. SaTML CTF 2024에서는 다층(multi-layer) 방어를 우회하는 네 가지 유형을 체계화했으며, 이를 통해 ASR을 90%에서 15~25%로 감소시켰다. 5~7개의 이질적(heterogeneous) 모델로 구성된 위원회(committee)는 Gemma-3-4B의 ASR을 47~55퍼센트포인트 감소시켜, 7개 모델 사용 시 19.3%까지 낮춘다. Model Context Protocol(MCP) 기반 에이전트형(agentic) 시스템에 대해서는, 호출당 0.1ms 미만으로 HMAC으로 보호된 패킷을 사용해 도구 호출(tool call)을 증명(attest)하는 AttestMCP와 Commit Boundary 격리 패턴을 제안한다. 847개 시나리오로 구성된 MCPBench 벤치마크(benchmark)에서 이들 방법은 평균 ASR을 53.7%에서 12.4%로 감소시킨다. 이 방법들은 JudgeGuard 및 TrojanArmor 소프트웨어 스위트와 MCPSec 모듈로 구현되었다.
라우팅이 멤버십을 드러낼 때: MoE 라우터 텔레메트리로 인한 프라이버시 누출
When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry
전문가 혼합(MoE) 언어 모델은 추론(inference) 과정에서 모니터링, 디버깅, 부하 분석, 안전성 감사 등을 위해 로깅되거나 노출될 수 있는 라우팅 정보를 생성합니다. 일반적인 모델 출력과 달리 이러한 텔레메트리는 모델의 내부 연산에 대한 관점을 드러내어, 특정 예시가 배포된 모델의 미세조정(fine-tuning)에 사용되었는지 여부를 드러낼 수 있는가라는 프라이버시 질문을 제기합니다. 본 논문에서는 기존의 출력 측 신호와 집계된 라우팅 특징을 결합하고 독립적으로 미세조정된 섀도 모델(shadow model)로부터 학습한 멤버십 분류기를 타깃 모델에 적용하는 라우터 증강 멤버십 추론 공격(membership inference attack)을 도입합니다. 세 가지 MoE 아키텍처와 세 가지 데이터 도메인 전반에서, 라우터 텔레메트리는 강력한 출력 신호 앙상블(ensemble) 대비 멤버십 추론 성능을 지속적으로 향상시켰으며, 9가지 모든 설정에서 1% FPR 기준 TPR을 2.7~9.4%p 증가시켰습니다. 이러한 누출은 전체 미세조정, 라우터 고정 학습(frozen-router training), LoRA 및 지시 미세조정(instruction tuning) 전반에서 지속되며, 이산적 전문가 선택, 제한된 텔레메트리, 또는 단일 섀도 모델만으로도 관찰 가능한 상태로 유지됩니다. 메커니즘 분석에 따르면 이러한 누출에는 라우터에 특화된 암기가 반드시 필요하지 않음을 보여줍니다. 즉, 미세조정은 은닉 표상에 멤버십 정보를 도입하며, 라우터는 파라미터가 고정되어 있더라도 이 신호의 투영을 노출합니다. 텔레메트리를 섭동(perturbation)시키는 것은 충실도가 저하될 때만 이러한 추가 누출을 감소시킵니다. 본 연구 결과는 라우터 텔레메트리가 운영 신호를 미세조정된 MoE 모델을 위한 추가적인 프라이버시 공격 표면으로 전환할 수 있음을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.