arXiv:2606.18309v1 cs.LG

SAGE: 최종 잊기 벡터의 유지 인지형 사후 정제

SAGE: Retain-Aware Post-Hoc Sanitization of Final Unlearning Vector

Jingyuan Zhang, Yucheng Bai, Peixi Wen, Zhehao Huang, Zhengbao He, Hanling Tian, Xinwen Cheng, Haiyin Ran, Xiaolin Huang

제출 2026-06-16

한국어 초록

대규모 언어 모델(LLM) 잊기(unlearning)는 바람직하지 않은 지식이나 행동을 제거하면서 유지(retention)되는 능력을 보존하는 것을 목표로 합니다. 현재의 잊기 방법들은 모두 잊기와 유지 사이의 트레이드오프를 수반합니다. 우리는 잊기 과정의 구체적인 구현을 고려하지 않고도, 유지 활성화 바이어스(retention activation bias)를 사용하여 잊기 방법이 유지에 가하는 손상을 정량화할 수 있음을 발견했습니다. 이를 통해 우리는 사후적(post-hoc) 접근법을 사용하여 모든 잊기 방법에 대해 유지 성능을 복원할 수 있습니다. 따라서 우리는 원래의 잊기 파이프라인을 다시 실행하지 않고 최종 업데이트 벡터를 정제하는 보완적인 사후 설정을 제안합니다. 이 설정에서 우리는 최종 잊기 업데이트에 대한 소스 무관(source-agnostic) 보정인 SAGE(Spectral Activation-GEometry Sanitization)를 설계했습니다. SAGE는 작은 유지 프록시(retain proxy)에서 실제 모듈 입력을 수집하고, 그들의 주요 활성화 기하학(dominant activation geometry)을 추출하며, 소스 고정(source-anchored) 최적화 목적함수를 닫힌 형식(closed form)으로 풉니다. 이는 소스 방법의 망각 담지체(forgetting carrier)를 보존하면서 고에너지 유지 방향과 정렬된 업데이트 구성 요소를 억제합니다. 다양한 잊기 방법, 모델 규모, 벤치마크에 걸쳐 SAGE는 유지-망각 트레이드오프를 일관되게 완화하며, 최종 벡터의 사후 정제를 머신 잊기(machine unlearning)의 실용적이고 미탐색된 축으로 식별합니다.

원문 초록

Large Language Model (LLM) unlearning aims to remove undesirable knowledge or behaviors while preserving retained capabilities. Current unlearning methods all involve a trade-off between unlearning and retention. We have found that the retention activation bias can also be used to quantify the damage an unlearning method inflicts on retention, without considering the specific implementation of the unlearning process. This allows us to restore retention performance for any unlearning method using a post-hoc approach. Therefore, we propose a complementary post-hoc setting to sanitize the final update vector without rerunning the original unlearning pipeline. In this setting, we design SAGE, Spectral Activation-GEometry Sanitization, a source-agnostic correction for final unlearning updates. SAGE collects real module inputs from a small retain proxy, extracts their dominant activation geometry, and solves a source-anchored optimization objective in closed form, which suppresses update components aligned with high-energy retained directions while preserving the source method's forgetting carrier. Across multiple unlearning methods, model scales, and benchmarks, SAGE consistently relieves the retain-forget trade-off, identifying post-hoc sanitization of final vectors as a practical and underexplored axis for machine unlearning.

요약

LLM 잊기(unlearning)에서 유지-망각 트레이드오프를 줄이기 위해, 원래 파이프라인을 재실행하지 않고 최종 업데이트 벡터를 사후 정제하는 SAGE(Spectral Activation-GEometry Sanitization)를 제안한다. 작은 유지 프록시(retain proxy)의 활성화 기하학을 이용해 닫힌 형식(closed form)으로 고에너지 유지 방향 성분을 억제하면서 망각 신호는 보존하며, TOFU·MUSE·WMDP 등에서 유지 성능을 높이고 유틸리티와 프라이버시 누출도 개선한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18309v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10854v2cs.LG공통 태그 Knowledge Distillation, Large Language Model

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2610.15840v1cs.LG공통 태그 Knowledge Distillation, Large Language Model

에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수

LLM Value Functions for Credit Assignment in Agentic RL

대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.

arXiv:2610.15997v1cs.LG공통 태그 Representation Learning, Knowledge Distillation

표현 차이 증류

Representational Difference Distillation

지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.

arXiv:2610.13521v1cs.AI공통 태그 Knowledge Distillation, Large Language Model

도메인 라우팅 감독을 넘어서: 다중 교사 온-정책 증류를 위한 교차 교사 가딩

Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation

다중 교사 온-정책 증류(multi-teacher on-policy distillation, MOPD)는 도메인별 데이터를 전문화된 교사(teacher)들에게 라우팅하고, 학생(student)이 생성한 궤적(trajectory)에 대해 토큰 단위의 밀집(dense) 감독을 통해 이들의 능력을 통합함으로써 온-정책 증류(on-policy distillation, OPD)를 확장한다. 그러나 도메인 라우팅은 서로 다른 도메인에 대한 감독 소스만을 구분할 뿐이며, 모든 도메인에서 발생하는 업데이트는 여전히 공유 파라미터에 작용한다. 교사들이 응답 스타일과 도메인 전문성에서 크게 다를 경우, 개별적으로는 효과적인 감독이라 하더라도 공동 최적화 과정에서 지속적인 그래디언트 충돌과 능력 저하로 이어질 수 있다. 이러한 문제를 해결하기 위해, 우리는 동일한 학생 궤적에 대해 라우팅되지 않은 교사들을 보조적인 교차 도메인 비평자(critic)로 도입하고, 토큰 단위의 크레딧 할당(credit assignment)과 그래디언트 업데이트를 통해 다중 교사 감독을 조율하는 Cross-Teacher Guarding for MOPD(Road MOPD)를 제안한다. 구체적으로, 교차 교사 기반 크레딧 할당(cross-teacher-guided credit assignment)은 교사 간의 합의(agreement)를 활용하여 교사들이 공동으로 지지하는 토큰 단위 보정을 강화하고 상충하는 신호를 약화시킨다. 예방적 다중 교사 그래디언트 프로젝션(preventive multi-teacher gradient projection)은 동일한 궤적에서 얻은 보조 그래디언트를 사용하여 잠재적으로 충돌하는 업데이트를 제약하며, 목표 도메인의 학습 신호를 보존하기 위해 프로젝션 강도를 적응적으로 조절한다. 실험에서 Road MOPD는 불리한 도메인에서의 성능 저하를 완화하고, 충돌이 심한 상황에서 5퍼센트포인트 이상의 향상을 얻으며, 충돌이 적은 설정과 세 가지 도메인 설정 모두에서 전반적인 성능을 향상시킨다.

arXiv:2610.13536v1stat.ML공통 태그 Representation Learning, Knowledge Distillation

증류의 어둠의 기술에 대한 방어: 서브리미널 학습(subliminal learning)의 비지도 발견

Defence against the dark arts of distillation: Unsupervised discovery of subliminal learning

언어 모델(language model)이 기본 매개변수(parameter)를 공유하는 교사 모델로부터 증류(distillation)될 때, 학생 모델은 해당 특성과 의미적으로 무관한 데이터로부터도 교사 모델의 행동적 특성---정렬 실패(misalignment)를 포함하여---을 물려받을 수 있다(Cloud et al., 2026). 기존의 모든 방어 기법은 해당 특성을 미리 알아야 한다는 조건을 요구한다. 본 연구는 이러한 요구 조건을 제거하고, 서브리미널하게 전이된 특성이 단 하나의 비대칭성을 활용함으로써 감독(supervision) 없이 매개변수 업데이트만으로도 복원될 수 있음을 증명한다: 그 특성은 교사 모델이 생성한 다양한 데이터셋(dataset) 전반에서 일관되게 나타나는 반면, 과제별 능력과 공유 능력은 데이터셋마다 달라진다. 이로부터 도출되는 추정량(estimator)은 가중치(weight) 공간상의 방향을 반환하며, 이를 증폭하여 해당 특성을 발견하고 해석할 수도 있고, 투영 제거(project out)하여 그 특성의 발현을 억제할 수도 있다. (Cloud et al., 2026)의 서브리미널 학습 벤치마크(benchmark)에 적용한 결과, 본 방법은 특성 레이블(label) 없이도 전이된 동물 선호(animal-preference) 특성을 복원하며, 과제 성능에는 거의 영향을 주지 않으면서 그 발현을 억제한다.

arXiv:2610.13944v1cs.CV공통 태그 Representation Learning, Knowledge Distillation

InstantFusion: 이종 이미지 생성기를 위한 공유 잠재 인터페이스

InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators

디퓨전/플로우(diffusion/flow) 모델은 이미지 생성의 사실상 표준 패러다임으로 자리 잡으며, 점차 이종의(heterogeneous) 아키텍처와 표현을 갖춘 다양한 현대적 생성기 계열을 탄생시켰습니다. 뛰어난 생성 능력에도 불구하고, 잠재 표현(latent representation)의 교차 모델 정렬(cross-model alignment)과 기반이 되는 디노이징 동역학(denoising dynamics)의 일관성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 흥미로운 교차 모델 호환성을 발견했습니다. 독립적으로 학습된 생성기들이 유사한 잠재 공간 구성을 보이며, 정렬되지 않은 모델 간에 중간 상태를 직접 전달하더라도 대략적인 시각적 콘텐츠는 여전히 보존될 수 있음을 확인했습니다. 이러한 관찰에 착안하여, 우리는 이종 이미지 생성기 간의 디노이징 궤적을 연결하는 경량 공유 잠재 인터페이스인 InstantFusion을 제안합니다. 구체적으로, 유연한 교차 모델 상태 변환을 가능하게 하기 위해 모델별 잠재 오토인코더(LAE)를 도입하여 서로 다른 생성기의 중간 상태를 공유 잠재 공간으로 투영한 뒤 이를 타깃 생성기의 잠재 공간으로 디코딩합니다. 이 공유 공간은 두 가지 상호보완적인 목표를 통해 제약됩니다. 즉, 일치하는 노이즈 수준에서 동일한 이미지로부터 파생된 중간 상태를 정렬하는 것과 이에 대응하는 로컬 디노이징 속도(velocity)를 동기화하는 것입니다. 학습이 완료되면 InstantFusion은 모든 모델 쌍에 대한 전용 매핑을 필요로 하지 않고도 고정된(frozen) 생성기 전반에서 디노이징이 매끄럽게 전환되도록 합니다. InstantFusion의 범용성은 가속화, 다중 선호도 조합, 교차 아키텍처 온-정책(on-policy) 지식 증류(distillation), 교차 모델 조합 전반에서 입증되었으며, 이러한 다양한 환경에서 경쟁력 있는 성능을 달성했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.