치명적 망각은 저계수입니다: 지속적 적응을 위한 함수 공간 이론
Catastrophic Forgetting is Low-Rank: A Function-Space Theory for Continual Adaptation
한국어 초록
지속적 적응(continual adaptation)에서의 치명적 망각(catastrophic forgetting)은 일반적으로 매개변수 드리프트, 리플레이, 또는 증류를 통해 연구되지만, 이러한 관점들은 어떤 출력 공간 방향이 취약한지 식별하지 못합니다. 우리는 NTK(신경망 접선 커널) 체제에서 함수 공간적 설명을 제시합니다: 새 작업 학습은 교차 작업 커널을 통해 이전 작업 예측 드리프트를 유발하며, 이는 새 작업의 그래디언트 스텝 이전에 망각 벡터에 대한 닫힌 형식 예측기를 산출합니다. 학습 가능한 매개변수에 대해 모델이 선형인 동결된 백본 선형 헤드 PEFT-CL(지속적 학습을 위한 파라미터 효율적 미세조정)에서, 예측기는 수치적 정밀도 내에서 정확합니다. 비선형 어댑터나 완전 미세조정의 경우, 이는 국소 NTK 근사입니다. 동일한 식은 망각이 소수의 이전 작업 NTK 고유모드에 집중됨을 보여주며, 동결된 선형 헤드 하에서는 취약 랭크에 대한 크로네커 스케일링 규칙을 제공합니다. 이러한 결과들은 기존 NTK 중첩 이론과의 관계를 명확히 하고, 매개변수 공간 정규화기가 출력 공간 간섭을 놓칠 수 있는 이유를 설명하며, 표적화된 스펙트럴 정규화기를 제안합니다.
원문 초록
Catastrophic forgetting in continual adaptation is usually studied through parameter drift, replay, or distillation, but these views do not identify which output-space directions are vulnerable. We give a function-space account in the NTK regime: new-task training induces old-task prediction drift through the cross-task kernel, yielding a closed-form predictor for the forgetting vector before any new-task gradient step. In frozen-backbone linear-head PEFT-CL, where the model is linear in the trainable parameters, the predictor is exact up to numerical precision; for nonlinear adapters/full fine-tuning, it is a local NTK approximation. The same expression reveals that forgetting concentrates in a small number of old-task NTK eigenmodes and under frozen linear heads gives a Kronecker scaling rule for the vulnerable rank. These results clarify the relation to prior NTK-overlap theory, explain why parameter-space regularizers can miss output-space interference, and motivate a targeted spectral regularizer.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.18024v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CLEAN: 구조적 격리를 통한 개념 공간 확장 하에서 심리측정학적으로 일관된 점진적 인지 진단
CLEAN: Psychometrically Consistent Incremental Cognitive Diagnosis under Concept-Space Expansion via Architectural Isolation
인지 진단(Cognitive Diagnosis, CD)은 지식 개념에 대한 학습자의 숙련도를 프로파일링하는 지능형 교육의 기본 과제입니다. 실제 학습 플랫폼에서는 새로 추가되는 문항들이 이전에 보지 못한 개념을 지속적으로 도입하므로, 기저의 개념 공간을 동적으로 확장해야 합니다. 그러나 기존의 점진적 인지 진단 모델들은 고정된 개념 공간을 가정하여 새 문항의 그래디언트(gradient)가 과거 경로를 덮어쓰고 치명적 망각(catastrophic forgetting)을 유발하도록 방치합니다. 더욱 심각한 점은 이러한 방법들이 과거 진단을 보존하기 위해 연성 제약 조건(soft constraints)에만 의존한다는 것입니다. 이러한 제약 조건은 인지 진단에서 심리측정학적 일관성(psychometric consistency)으로 알려진 요구 사항인, 점진적 업데이트 이후의 진단 불변성 조건을 만족하지 못할 수 있습니다. 따라서 우리는 개념 공간 확장을 지원하는 동시에 과거 진단의 점별 불변성(pointwise invariance)에 대한 구조적 보장을 제공하는 새로운 점진적 인지 진단 프레임워크인 CLEAN(Continual Learning with Expandable and Architecturally Isolated Networks)을 제안합니다. 구체적으로, CLEAN은 먼저 엄격한 위상학적 이분할 프로토콜을 도입하고, 과거 진단 함수를 동결하며, 결정론적 직교 열 마스킹을 적용하여 그래디언트 간섭을 차단합니다. 둘째로, 개념 확장을 수용하기 위해 미세 분산 초기화(micro-variance initialization)가 적용된 확장 가능한 풀 랭크(full-rank) 브랜치를 배치하여 새로운 개념을 학습합니다. 마지막으로, 이러한 구조적 설계가 구조적으로 불변성을 달성하는지 검증하기 위해 과거 특성의 섭동을 정량화하는 표현 표류(Representation Drift, RD)를 공식화합니다. 3개의 대규모 교육 데이터셋에 대한 광범위한 실험을 통해, CLEAN이 제로 RD를 달성하여 구조적 격리를 통해 이전 문항 지표를 정적 앵커와 동일하게 보존하는 동시에, 새 문항에 대해서도 강력한 연속 학습(continual learning) 베이스라인과 경쟁력 있거나 우수한 성능을 유지함을 입증합니다.
연속 학습에서의 간섭과 보존
Interference and Retention in Continual Learning
연속 학습(continual learning)은 일반적으로 리플레이(replay), 탄성 정규화(elastic regularization), 또는 지식 증류(distillation)와 같은 사후 메커니즘에 의존한다. 본 연구는 망각(forgetting)을 태스크 간 간섭(interference)으로 직접 모델링해야 한다고 주장한다. 특징(feature) 동결 체제에서, 새로운 태스크 학습으로 인한 망각은 이전 태스크에 유도된 간섭 에너지와 정확히 일치한다. 심층 네트워크에서는 최소한의 추가 순전파(forward pass)를 통한 경로 평균 곡률(path-averaged curvature)로 동일한 양이 도출된다. 태스크 지지 집합(task supports)이 상호 배타적인 경우 망각은 구조적으로 제거될 수 있으며, 태스크 지지 집합이 상충하는 방향으로 겹치는 경우 0이 아닌 왜곡 하한(distortion floor)이 불가피하다. 동일한 기하학적 구조를 통해 태스크 인식 직교화(task-aware orthogonalization)로 모델을 최적으로 병합할 수 있다. 이 분석으로부터 우리는 간섭 게이팅 기능 할당(Interference-Gated Functional Allocation, IGFA)을 도출하는데, 이는 리플레이와 Fisher 정보 행렬 없이 태스크가 정렬될 때 방향을 공유하고 충돌할 때 방향을 보호하는 방법이다. 벤치마크 전반에 걸쳐, IGFA는 태스크가 구조적으로 분리 가능한 경우 손실 없는 보존(lossless retention)을 달성하고, 그렇지 않은 경우 불가역적 망각의 비용을 지연되지만 복구 가능한 가소성(plasticity)으로 전환한다. IGFA는 이질적 태스크 스트림에서 가장 강력한 리플레이 없는 구조적 기준선과 동등한 성능을 보이며, 유사성이 전이(transfer)를 보존할 가치가 있는 경우 무조건적 투영(unconditional projection)보다 향상된 성능을 보인다.
MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization
강화학습은 잊는다! 연속적 정책 최적화를 향하여
RL Forgets! Towards Continual Policy Optimization
하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택
Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs
실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.
금융 분야 음성에 지속 학습 정규화가 필요한가? 실적 발표 컨퍼런스 콜 ASR에서의 EWC 및 mini-KFAC 연구
Does Financial Speech Need Continual Learning Regularization? A Study of EWC and mini-KFAC on Earnings Call ASR
실적 발표 컨퍼런스 콜(Earnings call) 전사는 새로운 녹음 데이터를 통해 자동 음성 인식(ASR) 시스템을 업데이트하지만, 이전에 학습한 금융 음성 패턴에 대한 치명적 망각(catastrophic forgetting) 위험이 존재하는 현실적인 지속 학습(continual learning) 시나리오를 제시합니다. 일반 도메인 음성 코퍼스에서 학습된 Whisper-small을 Earnings22 벤치마크에 적응(adaptation)시킨 결과, 그 반대의 현상이 나타났습니다. 평가된 모든 방법론이 적응 과정에서 망각을 겪기보다는 동일한 도메인의 유보(held-out) 금융 음성 데이터에서 성능 향상을 보였습니다. 이러한 태스크 상호보완성(task complementarity)으로 인해 정규화(regularization)는 오히려 역효과를 낳게 됩니다. 그럼에도 불구하고 정규화가 필요한 상황에서는, 층(layer)별 mini-Kronecker-Factored Approximate Curvature(mini-KFAC) 근사가 표준 대각 탄성 가중치 통합(diagonal Elastic Weight Consolidation, EWC)보다 더 낮은 단어 오류율(WER)과 더 안정적인 최적화를 달성하는 것으로 나타났습니다. 본 연구 결과는 지속 학습 제약을 적용하기 전에 태스크 상호보완성을 먼저 평가해야 하며, 제약이 필요한 경우에는 대각 EWC보다 mini-KFAC EWC를 선호해야 함을 시사합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.