arXiv:2602.00722v2 cs.LG

Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation

Hao Gu, Mao-Lin Luo, Zi-Hao Zhou, Han-Chen Zhang, Min-Ling Zhang, Tong Wei

제출 2026-01-31

원문 초록

Parameter-efficient continual learning aims to adapt pre-trained models to sequential tasks without forgetting previously acquired knowledge. Most existing approaches treat continual learning as avoiding interference with past updates, rather than considering what properties make the current task-specific update naturally preserve previously acquired knowledge. From a knowledge-decomposition perspective, we observe that low-rank adaptations exhibit highly imbalanced singular value spectra: a few dominant components absorb most of the adaptation energy, thereby (i) more likely to disrupt previously acquired knowledge and (ii) making the update more vulnerable to interference from subsequent tasks. To enable explicit balance among components, we decouple the magnitude of the task update from its directional structure and formulate it as a constrained optimization problem on a restricted Stiefel manifold. We address this problem using a projected first-order method compatible with standard deep-learning optimizers used in vision-language models. Our method mitigates both backward and forward forgetting, consistently outperforming continual learning baselines. The implementation code is available at https://github.com/haodotgu/EBLoRA.

요약

LoRA 기반 연속 학습(continual learning)에서 특이값 스펙트럼의 불균형이 치명적 망각(catastrophic forgetting)을 유발한다는 관찰에서 출발하여, 태스크 업데이트의 크기와 방향 구조를 분리하고 이를 restricted Stiefel 매니폴드 위의 제약 최적화 문제로 정식화하는 EBLoRA를 제안한다. 제안 방법은 비전-언어 모델(VLM) 실험에서 backward/forward forgetting을 모두 완화하며 기존 연속 학습 베이스라인을 일관되게 능가한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.00722v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02278v1cs.LG공통 태그 Incremental Learning, Continual Learning, catastrophic forgetting

CLEAN: 구조적 격리를 통한 개념 공간 확장 하에서 심리측정학적으로 일관된 점진적 인지 진단

CLEAN: Psychometrically Consistent Incremental Cognitive Diagnosis under Concept-Space Expansion via Architectural Isolation

인지 진단(Cognitive Diagnosis, CD)은 지식 개념에 대한 학습자의 숙련도를 프로파일링하는 지능형 교육의 기본 과제입니다. 실제 학습 플랫폼에서는 새로 추가되는 문항들이 이전에 보지 못한 개념을 지속적으로 도입하므로, 기저의 개념 공간을 동적으로 확장해야 합니다. 그러나 기존의 점진적 인지 진단 모델들은 고정된 개념 공간을 가정하여 새 문항의 그래디언트(gradient)가 과거 경로를 덮어쓰고 치명적 망각(catastrophic forgetting)을 유발하도록 방치합니다. 더욱 심각한 점은 이러한 방법들이 과거 진단을 보존하기 위해 연성 제약 조건(soft constraints)에만 의존한다는 것입니다. 이러한 제약 조건은 인지 진단에서 심리측정학적 일관성(psychometric consistency)으로 알려진 요구 사항인, 점진적 업데이트 이후의 진단 불변성 조건을 만족하지 못할 수 있습니다. 따라서 우리는 개념 공간 확장을 지원하는 동시에 과거 진단의 점별 불변성(pointwise invariance)에 대한 구조적 보장을 제공하는 새로운 점진적 인지 진단 프레임워크인 CLEAN(Continual Learning with Expandable and Architecturally Isolated Networks)을 제안합니다. 구체적으로, CLEAN은 먼저 엄격한 위상학적 이분할 프로토콜을 도입하고, 과거 진단 함수를 동결하며, 결정론적 직교 열 마스킹을 적용하여 그래디언트 간섭을 차단합니다. 둘째로, 개념 확장을 수용하기 위해 미세 분산 초기화(micro-variance initialization)가 적용된 확장 가능한 풀 랭크(full-rank) 브랜치를 배치하여 새로운 개념을 학습합니다. 마지막으로, 이러한 구조적 설계가 구조적으로 불변성을 달성하는지 검증하기 위해 과거 특성의 섭동을 정량화하는 표현 표류(Representation Drift, RD)를 공식화합니다. 3개의 대규모 교육 데이터셋에 대한 광범위한 실험을 통해, CLEAN이 제로 RD를 달성하여 구조적 격리를 통해 이전 문항 지표를 정적 앵커와 동일하게 보존하는 동시에, 새 문항에 대해서도 강력한 연속 학습(continual learning) 베이스라인과 경쟁력 있거나 우수한 성능을 유지함을 입증합니다.

arXiv:2609.28395v1cs.CL공통 태그 Transfer Learning, Continual Learning, catastrophic forgetting

번역을 위한 LLM 미세조정: 일반적인 망각 완화 기법은 MT 특화 지시 이행 능력을 보존하지 못한다

Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following

병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.

arXiv:2609.27262v2cs.CL공통 태그 Transfer Learning, Continual Learning

하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택

Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs

실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.

arXiv:2610.13432v1eess.AS공통 태그 Continual Learning, catastrophic forgetting

금융 분야 음성에 지속 학습 정규화가 필요한가? 실적 발표 컨퍼런스 콜 ASR에서의 EWC 및 mini-KFAC 연구

Does Financial Speech Need Continual Learning Regularization? A Study of EWC and mini-KFAC on Earnings Call ASR

실적 발표 컨퍼런스 콜(Earnings call) 전사는 새로운 녹음 데이터를 통해 자동 음성 인식(ASR) 시스템을 업데이트하지만, 이전에 학습한 금융 음성 패턴에 대한 치명적 망각(catastrophic forgetting) 위험이 존재하는 현실적인 지속 학습(continual learning) 시나리오를 제시합니다. 일반 도메인 음성 코퍼스에서 학습된 Whisper-small을 Earnings22 벤치마크에 적응(adaptation)시킨 결과, 그 반대의 현상이 나타났습니다. 평가된 모든 방법론이 적응 과정에서 망각을 겪기보다는 동일한 도메인의 유보(held-out) 금융 음성 데이터에서 성능 향상을 보였습니다. 이러한 태스크 상호보완성(task complementarity)으로 인해 정규화(regularization)는 오히려 역효과를 낳게 됩니다. 그럼에도 불구하고 정규화가 필요한 상황에서는, 층(layer)별 mini-Kronecker-Factored Approximate Curvature(mini-KFAC) 근사가 표준 대각 탄성 가중치 통합(diagonal Elastic Weight Consolidation, EWC)보다 더 낮은 단어 오류율(WER)과 더 안정적인 최적화를 달성하는 것으로 나타났습니다. 본 연구 결과는 지속 학습 제약을 적용하기 전에 태스크 상호보완성을 먼저 평가해야 하며, 제약이 필요한 경우에는 대각 EWC보다 mini-KFAC EWC를 선호해야 함을 시사합니다.

arXiv:2610.11076v1cs.LG공통 태그 Continual Learning, catastrophic forgetting

LLM 지속 학습에서 특이벡터 선택을 통한 안정성-가소성 균형 유지

Stability-Plasticity Balance via Singular-Vector Selection in LLM Continual Learning

대규모 언어 모델(LLM)의 도메인 특화 지속 적응(continual adaptation)은 치명적 망각(catastrophic forgetting)을 유발할 위험이 있어, 새로운 능력을 습득하는 것과 사전학습(pretraining) 중에 학습된 능력을 보존하는 것 사이의 근본적인 긴장 관계를 형성합니다. 매개변수 효율적 미세조정(PEFT)은 학습 가능한 매개변수 수를 제한하여 이 문제를 완화하지만, 기존 방법들은 가소성(plasticity)을 어디에 할당하고 안정성(stability)을 어디에 보존해야 할지 결정하는 원칙적인 단위를 결여하고 있습니다. 본 연구에서는 이러한 절충(trade-off)을 관리하기 위한 자연스러운 단위로 특이벡터 채널(singular-vector channel)을 식별합니다. 각 채널은 입력-출력 변환을 나타내며, 이는 새로운 지식을 습득하기 위해 업데이트되거나 사전학습된 능력을 보존하기 위해 고정될 수 있습니다. 이러한 관점을 바탕으로, 특이벡터 채널을 선택적으로 업데이트하는 매개변수 효율적 지속 학습 방법인 SVC를 제안합니다. 미세조정 전에 SVC는 도메인 특화 데이터를 사용하여 각 채널의 적응 이점을 추정하고, 고정된 공개 일반 도메인 코퍼스를 망각 비용 추정을 위한 과거 활성화 프록시로만 사용합니다. 그런 다음 니(knee) 기반 비용 스크리닝, 파레토 프론트(Pareto-front) 필터링, 오츠 임계값 처리(Otsu thresholding)를 통해 이 점수들을 바탕으로 학습 가능한 채널을 적응적으로 선택합니다. 4개 LLM 제품군과 8개 다운스트림 태스크에 걸친 실험 결과는 SVC가 기존 PEFT 베이스라인 대비 강력한 다운스트림 성능을 달성하는 동시에 사전학습된 능력을 더 잘 보존함을 보여줍니다. 채널 스코어링 및 선택에 대한 추가 분석은 특이벡터 채널 수준에서의 선택적 가소성이 효과적인 지속적 LLM 적응을 가능하게 함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.