arXiv:2604.13460v2 cs.LG

순서에서 분포로: 지속 학습에서의 망각을 위한 정확한 연산자 프레임워크

From Order to Distribution: An Exact Operator Framework for Forgetting in Continual Learning

Zonghuan Xu, Xingjun Ma

제출 2026-04-15

저자 비고

arXiv Comments

34 pages, 3 figures. Revised analysis and proofs; new fixed-operator comparisons and recovery results

한국어 초록

지속 학습(continual learning)의 핵심 과제는 망각(forgetting), 즉 새로운 태스크를 학습한 후 이전에 학습한 태스크의 성능이 손실되는 현상입니다. 기존 이론은 과매개변수화된 선형 회귀에서 고정된 태스크 집합의 무작위 순서 하에 망각을 분석했습니다. 본 연구에서는 초점을 태스크 순서에서 태스크 분포로 전환하여, 태스크 분포의 구조가 망각을 어떻게 결정하는지 질문을 던집니다. 공유 해(shared solution), i.i.d. 태스크 샘플링, 순차적 정확한 적합(exact fitting)을 가정한 선형 설정에서, 우리는 과거 망각(historical forgetting)을 태스크 분포의 관점에서 직접 표현하는 정확한 연산자 항등식을 유도합니다. 이 항등식을 기반으로 유한 차원의 모든 고정된 태스크 분포 하에서 기대 과거 망각에 대한 지수적 감쇠(exponential decay) 보장을 확립하고, 점근적 동작을 특성화하며, 감쇠를 관측 가능한 방향에 대한 분포의 커버리지와 연관 짓습니다. 개별 학습 태스크의 경우, 정확한 재방문 없이도 후속 태스크들이 집합적으로 복구를 지원할 수 있음을 보입니다. 또한 복구 시간에 대한 하한을 유도하고, 역커버리지 스케일링(inverse-coverage scaling)을 달성하는 태스크 분포를 구성합니다.

원문 초록

A central challenge in continual learning is forgetting: the loss of performance on previously learned tasks after learning new ones. Prior theory has analyzed forgetting under random orderings of fixed task collections in overparameterized linear regression. We shift the focus from task order to task distribution, asking how its structure determines forgetting. In the linear setting with a shared solution, i.i.d. task sampling, and sequential exact fitting, we derive an exact operator identity expressing historical forgetting directly in terms of the task distribution. Building on this identity, we establish an exponential decay guarantee for expected historical forgetting under every fixed task distribution in finite dimensions, characterize its asymptotic behavior, and relate decay to the distribution's coverage of observable directions. For an individual learned task, we show that subsequent tasks can collectively support recovery without exact revisits. We derive a lower bound on recovery time and construct a task distribution attaining its inverse-coverage scaling.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.13460v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13432v1eess.AS공통 태그 Continual Learning, catastrophic forgetting

금융 분야 음성에 지속 학습 정규화가 필요한가? 실적 발표 컨퍼런스 콜 ASR에서의 EWC 및 mini-KFAC 연구

Does Financial Speech Need Continual Learning Regularization? A Study of EWC and mini-KFAC on Earnings Call ASR

실적 발표 컨퍼런스 콜(Earnings call) 전사는 새로운 녹음 데이터를 통해 자동 음성 인식(ASR) 시스템을 업데이트하지만, 이전에 학습한 금융 음성 패턴에 대한 치명적 망각(catastrophic forgetting) 위험이 존재하는 현실적인 지속 학습(continual learning) 시나리오를 제시합니다. 일반 도메인 음성 코퍼스에서 학습된 Whisper-small을 Earnings22 벤치마크에 적응(adaptation)시킨 결과, 그 반대의 현상이 나타났습니다. 평가된 모든 방법론이 적응 과정에서 망각을 겪기보다는 동일한 도메인의 유보(held-out) 금융 음성 데이터에서 성능 향상을 보였습니다. 이러한 태스크 상호보완성(task complementarity)으로 인해 정규화(regularization)는 오히려 역효과를 낳게 됩니다. 그럼에도 불구하고 정규화가 필요한 상황에서는, 층(layer)별 mini-Kronecker-Factored Approximate Curvature(mini-KFAC) 근사가 표준 대각 탄성 가중치 통합(diagonal Elastic Weight Consolidation, EWC)보다 더 낮은 단어 오류율(WER)과 더 안정적인 최적화를 달성하는 것으로 나타났습니다. 본 연구 결과는 지속 학습 제약을 적용하기 전에 태스크 상호보완성을 먼저 평가해야 하며, 제약이 필요한 경우에는 대각 EWC보다 mini-KFAC EWC를 선호해야 함을 시사합니다.

arXiv:2610.11076v1cs.LG공통 태그 Continual Learning, catastrophic forgetting

LLM 지속 학습에서 특이벡터 선택을 통한 안정성-가소성 균형 유지

Stability-Plasticity Balance via Singular-Vector Selection in LLM Continual Learning

대규모 언어 모델(LLM)의 도메인 특화 지속 적응(continual adaptation)은 치명적 망각(catastrophic forgetting)을 유발할 위험이 있어, 새로운 능력을 습득하는 것과 사전학습(pretraining) 중에 학습된 능력을 보존하는 것 사이의 근본적인 긴장 관계를 형성합니다. 매개변수 효율적 미세조정(PEFT)은 학습 가능한 매개변수 수를 제한하여 이 문제를 완화하지만, 기존 방법들은 가소성(plasticity)을 어디에 할당하고 안정성(stability)을 어디에 보존해야 할지 결정하는 원칙적인 단위를 결여하고 있습니다. 본 연구에서는 이러한 절충(trade-off)을 관리하기 위한 자연스러운 단위로 특이벡터 채널(singular-vector channel)을 식별합니다. 각 채널은 입력-출력 변환을 나타내며, 이는 새로운 지식을 습득하기 위해 업데이트되거나 사전학습된 능력을 보존하기 위해 고정될 수 있습니다. 이러한 관점을 바탕으로, 특이벡터 채널을 선택적으로 업데이트하는 매개변수 효율적 지속 학습 방법인 SVC를 제안합니다. 미세조정 전에 SVC는 도메인 특화 데이터를 사용하여 각 채널의 적응 이점을 추정하고, 고정된 공개 일반 도메인 코퍼스를 망각 비용 추정을 위한 과거 활성화 프록시로만 사용합니다. 그런 다음 니(knee) 기반 비용 스크리닝, 파레토 프론트(Pareto-front) 필터링, 오츠 임계값 처리(Otsu thresholding)를 통해 이 점수들을 바탕으로 학습 가능한 채널을 적응적으로 선택합니다. 4개 LLM 제품군과 8개 다운스트림 태스크에 걸친 실험 결과는 SVC가 기존 PEFT 베이스라인 대비 강력한 다운스트림 성능을 달성하는 동시에 사전학습된 능력을 더 잘 보존함을 보여줍니다. 채널 스코어링 및 선택에 대한 추가 분석은 특이벡터 채널 수준에서의 선택적 가소성이 효과적인 지속적 LLM 적응을 가능하게 함을 입증합니다.

arXiv:2610.02278v1cs.LG공통 태그 Continual Learning, catastrophic forgetting

CLEAN: 구조적 격리를 통한 개념 공간 확장 하에서 심리측정학적으로 일관된 점진적 인지 진단

CLEAN: Psychometrically Consistent Incremental Cognitive Diagnosis under Concept-Space Expansion via Architectural Isolation

인지 진단(Cognitive Diagnosis, CD)은 지식 개념에 대한 학습자의 숙련도를 프로파일링하는 지능형 교육의 기본 과제입니다. 실제 학습 플랫폼에서는 새로 추가되는 문항들이 이전에 보지 못한 개념을 지속적으로 도입하므로, 기저의 개념 공간을 동적으로 확장해야 합니다. 그러나 기존의 점진적 인지 진단 모델들은 고정된 개념 공간을 가정하여 새 문항의 그래디언트(gradient)가 과거 경로를 덮어쓰고 치명적 망각(catastrophic forgetting)을 유발하도록 방치합니다. 더욱 심각한 점은 이러한 방법들이 과거 진단을 보존하기 위해 연성 제약 조건(soft constraints)에만 의존한다는 것입니다. 이러한 제약 조건은 인지 진단에서 심리측정학적 일관성(psychometric consistency)으로 알려진 요구 사항인, 점진적 업데이트 이후의 진단 불변성 조건을 만족하지 못할 수 있습니다. 따라서 우리는 개념 공간 확장을 지원하는 동시에 과거 진단의 점별 불변성(pointwise invariance)에 대한 구조적 보장을 제공하는 새로운 점진적 인지 진단 프레임워크인 CLEAN(Continual Learning with Expandable and Architecturally Isolated Networks)을 제안합니다. 구체적으로, CLEAN은 먼저 엄격한 위상학적 이분할 프로토콜을 도입하고, 과거 진단 함수를 동결하며, 결정론적 직교 열 마스킹을 적용하여 그래디언트 간섭을 차단합니다. 둘째로, 개념 확장을 수용하기 위해 미세 분산 초기화(micro-variance initialization)가 적용된 확장 가능한 풀 랭크(full-rank) 브랜치를 배치하여 새로운 개념을 학습합니다. 마지막으로, 이러한 구조적 설계가 구조적으로 불변성을 달성하는지 검증하기 위해 과거 특성의 섭동을 정량화하는 표현 표류(Representation Drift, RD)를 공식화합니다. 3개의 대규모 교육 데이터셋에 대한 광범위한 실험을 통해, CLEAN이 제로 RD를 달성하여 구조적 격리를 통해 이전 문항 지표를 정적 앵커와 동일하게 보존하는 동시에, 새 문항에 대해서도 강력한 연속 학습(continual learning) 베이스라인과 경쟁력 있거나 우수한 성능을 유지함을 입증합니다.

arXiv:2610.02593v1cs.LG공통 태그 Continual Learning, catastrophic forgetting

대규모 언어 모델의 지속적 사전학습을 위한 피셔 유도 서브모듈러 데이터 선택

Fisher-Guided Submodular Data Selection for Continual Pre-Training of Large Language Models

데이터 선택은 웹 규모 말뭉치에 노이즈가 많고 토큰 예산이 한정된 대규모 언어 모델(LLM) 학습에서 이미 핵심적인 병목 지점입니다. 지속적 사전학습(Continual Pre-Training, CPT)에서 이는 망각 제어 문제로 전환됩니다. 잘못 선택된 타깃 도메인 말뭉치는 사전학습된 체크포인트에 인코딩된 역량을 덮어써 버릴 수 있습니다. 기존의 CPT 관행은 펄플렉서티(perplexity)와 같은 매개변수 무관 스칼라값으로 후보를 점수화하거나, 다수의 일반 도메인 리플레이(replay) 토큰을 추가로 소모하여 망각을 완화합니다. 그러나 두 전략 모두 후보 데이터에 대한 학습이 모델 매개변수를 어떻게 변화시킬지 직접적으로 고려하지 않습니다. 본 연구에서는 손실 기반 선택을 사용할 경우 CPT 이후 피셔 대각 성분(Fisher diagonal)이, 사전학습 모델이 이미 확정해 둔 바로 그 고피셔(high-Fisher) 좌표에서 하향 표류(drift)하는 반면 저피셔 좌표는 대체로 건드리지 않은 채로 남겨둔다는 점을 보입니다. 이러한 비대칭성은 치명적 망각(catastrophic forgetting)의 매개변수 공간 메커니즘을 드러냅니다. 이러한 관찰에 착안하여, 각 후보 데이터의 그래디언트를 확정된 매개변수 방향에 대한 섭동을 측정하는 앵커(anchor) 성분과 제약 없는 저피셔 부분공간에서의 업데이트 역량을 측정하는 프론티어(frontier) 성분으로 분해하는 피셔 인식 CPT 선택기를 제안합니다. 우리는 로그 행렬식(log-determinant) 서브모듈러 목적함수로 이러한 신호들을 종합하며, 확장 가능한 스트리밍 데이터 선택 파이프라인을 사용해 단일 패스(single pass)로 이를 최적화합니다. 의료 데이터에 대한 TinyLlama-1.1B 및 Llama-3.1-8B CPT 실험에서, 제안한 선택기는 미보유(held-out) 사전학습 벤치마크에 대한 망각을 억제하면서 타깃 도메인 품질을 개선합니다. 가장 중요한 점은 망각 인식 리플레이 방식보다 토큰 효율성이 대폭 향상된다는 것입니다. 선택된 1B 토큰만으로도 적응과 망각 방지 모두에서 10B 토큰으로 학습된 리플레이 전략을 능가하여 10배의 토큰 효율성 이점을 달성합니다.

arXiv:2605.19145v3cs.LG공통 태그 Continual Learning, catastrophic forgetting

PMF-CL: 상충하는 태스크를 위한 파레토 최소 망각 연속 학습기

PMF-CL: Pareto-Minimal-Forgetting Continual Learner for Conflicting Tasks

기존 연구에서는 머신러닝 모델의 치명적 망각(catastrophic forgetting, 즉 새로운 태스크를 학습할 때 이전에 학습한 태스크의 성능이 저하되는 현상) 문제를 해결하기 위해 수많은 연속 학습(CL) 알고리즘이 제안되었다. 모든 CL 접근법은 과거 태스크에 대한 정보를 유지하기 위해 어떤 형태로든 메모리를 사용하지만, 치명적 망각을 최소화하기 위해 어떤 정보를 저장해야 하는지에 대한 탄탄한 이론적 이해는 여전히 명확하지 않다. 최근에는 모든 태스크에 걸쳐 공통의 전역 최솟값(global minimizer)이 존재한다는 강력한 가정 하에서는 치명적 망각을 완전히 피할 수 있다는 점이 밝혀졌다. 그러나 실제로는 태스크들이 공통의 전역 최솟값을 갖는 경우가 드물며, 어느 정도의 망각은 불가피하다. 본 논문에서는 멀티태스크 학습(MTL) 관점에서 CL을 사후적으로(in hindsight) 상충하는 태스크 간의 균형을 맞추는 문제로 재정의하는 기초적 프레임워크를 제안한다. 이 접근법은 파레토 최적(Pareto-optimal) 해, 즉 정의상 파레토 관점에서 이전 태스크를 최소한으로 망각하는 해를 찾는 것에 기반한다. 저자들은 선형 및 기저 함수 회귀를 위한 파레토 최소 망각 CL(PMF-CL) 알고리즘을 유도한다. 이 알고리즘은 순차적으로 발생하는 태스크 수 $T$와 무관하게 $d$개의 모델 파라미터에 대해 $O(d^2)$의 정적 메모리 공간만을 사용하면서도, 최솟값 주변에서 2차 상한(quadratic upper bound)을 갖는 손실 함수로 자연스럽게 확장된다. 2차 손실 환경에서는 망각에 대한 정확한 사후 파레토 최적 보장을 도출한다. 2차 상한 환경에서는 망각이 증명 가능하게 바운드되며, 망각 바운드의 엄밀함은 손실 함수의 2차 바운드의 엄밀함에 의해 직접적으로 결정된다. 수치 실험 결과는 파레토 최적 해로의 수렴에 관한 이론적 주장을 검증하며, 더 적은 메모리를 차지하면서도 기존의 실증적 방법들을 일관되게 능가함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.