CurvDelta: 정밀한 학습과 언러닝을 위한 저곡률 델타 모델링
CurvDelta: Low-Curvature Delta Modeling For Surgical Learning and Unlearning
한국어 초록
대규모 언어모델(LLM)을 적응시킬 때의 핵심 과제는 능력 보존이다. 적응이 목표를 달성하면서도 일반 능력을 저하시킬 수 있기 때문이다. 본 논문에서는 보존 제약을 모델 업데이트의 매개변수화에 통합하는 확장 가능한 프레임워크인 CurvDelta를 소개한다. CurvDelta는 적응 이전 모델 주변에서 보존 제약의 국소 기하를 분석하여, 매개변수 업데이트가 보존 손실을 거의 변화시키지 않는 저곡률 공간을 구성한다. 우리는 Kronecker-factored approximate curvature(K-FAC)와 분해된 사영을 통해 이 구성을 LLM에 실용적으로 적용할 수 있게 한다. 또한 동일한 보존 기하 내에서 더 효율적인 적응을 위해 설계된 저랭크 변형인 CurvLoRA를 소개한다. 두 방법은 능력 학습과 선택적 언러닝 같은 보존 제약 적응 과제에 모두 적용된다. 수학적 추론, 코드 생성, 지식 언러닝에서 방법을 평가하였다. 수학적 추론과 코드 생성에서 제안 방법은 경쟁력 있는 하위 과제 성능을 달성하면서 일반 능력을 더 잘 보존하여, 기준선 대비 유리한 습득-유지 절충을 제공한다. 지식 언러닝에서는 TOFU와 MUSE의 주요 결과가 기준선보다 목표 망각과 지식 유지 사이에서 더 나은 균형을 보이며, 유지 성능은 처음부터 재학습한 기준에 근접한다.
원문 초록
A central challenge in adapting large language models (LLMs) is capability preservation: an adaptation can achieve its target while degrading general capabilities. We introduce CurvDelta, a scalable framework that incorporates the preservation constraint into the parameterization of the model update. By analyzing the local geometry of the preservation constraint around the pre-adaptation model, CurvDelta constructs a low-curvature space in which parameter updates leave the preservation loss nearly invariant. We make its construction practical for LLMs through Kronecker-factored approximate curvature (K-FAC) and a factorized projection. We also introduce CurvLoRA, a low-rank variant within the same preservation geometry, designed for more efficient adaptation. Both methods apply to preservation-constrained adaptation tasks such as capability learning and selective unlearning. We evaluate our methods on mathematical reasoning, code generation, and knowledge unlearning. For mathematical reasoning and code generation, our approaches achieve competitive downstream performance while better preserving general capabilities, offering a favorable acquisition--retention trade-off relative to the baselines. For knowledge unlearning, our main results on TOFU and MUSE show a better balance between targeted forgetting and knowledge retention than the baselines, with retention performance close to the from-scratch retraining reference.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24654v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.