arXiv:2301.01033

Dissecting Continual Learning a Structural and Data Analysis

Francesco Pelosin

제출 2023-01-03

원문 초록

Continual Learning (CL) is a field dedicated to devise algorithms able to achieve lifelong learning. Overcoming the knowledge disruption of previously acquired concepts, a drawback affecting deep learning models and that goes by the name of catastrophic forgetting, is a hard challenge. Currently, deep learning methods can attain impressive results when the data modeled does not undergo a considerable distributional shift in subsequent learning sessions, but whenever we expose such systems to this incremental setting, performance drop very quickly. Overcoming this limitation is fundamental as it would allow us to build truly intelligent systems showing stability and plasticity. Secondly, it would allow us to overcome the onerous limitation of retraining these architectures from scratch with the new updated data. In this thesis, we tackle the problem from multiple directions. In a first study, we show that in rehearsal-based techniques (systems that use memory buffer), the quantity of data stored in the rehearsal buffer is a more important factor over the quality of the data. Secondly, we propose one of the early works of incremental learning on ViTs architectures, comparing functional, weight and attention regularization approaches and propose effective novel a novel asymmetric loss. At the end we conclude with a study on pretraining and how it affects the performance in Continual Learning, raising some questions about the effective progression of the field. We then conclude with some future directions and closing remarks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02283v2cs.LG공통 태그 Incremental Learning, Continual Learning

MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응

MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization

저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.

arXiv:2606.30266v2cs.LG공통 태그 Incremental Learning, Continual Learning

지속적 모션-언어 에이전트를 향하여: 점진적 모션 이해 및 생성을 위한 LoRA 변형

Towards Continual Motion-Language Agents: LoRA Variants for Incremental Motion Understanding and Generation

모션-언어 에이전트는 인간 동작을 이해하는 방향(모션-텍스트, M2T)과 자연어로부터 동작을 생성하는 방향(텍스트-모션, T2M) 모두에서 양방향 능력을 갖추어야 한다. 기반 모델들이 정적 환경에서 높은 성능을 달성했음에도 불구하고, 동적 환경에서 운용되는 자율 에이전트는 이전에 습득한 기술을 파국적으로 망각하지 않으면서 새로운 운동 스타일이나 특수 제스처와 같은 새로운 모션 개념을 지속적으로 통합해야 한다. 본 연구에서는 순차적 태스크 노출 하에서 양방향 모션-언어 학습의 안정성-가소성 트레이드오프를 조사한다. 고정된 대규모 언어 모델(LLM) 백본을 기반으로, 태스크 간 간섭을 완화하도록 설계된 저랭크 적응(LoRA) 변형을 도입한다. 특히, 추론 시 태스크 레이블 없이 태스크별 전문가를 선택하기 위해 오토인코더 기반 라우터를 활용하는 전문가 혼합(MoE) 아키텍처를 제안한다. 이러한 방법들을 평가하기 위해, 모션 설명의 의미적 클러스터링을 통해 HumanML3D로부터 도출된 재현 가능한 5개 태스크 벤치마크를 구축한다. 실험 결과, M2T 및 T2M 방향 모두에서 높은 생성 및 캡셔닝 품질을 유지하면서 망각이 거의 발생하지 않음을 보인다. 또한, 라우팅을 통한 하드 전문가 선택이 소프트 전문가 혼합보다 품질 지표에서 유의미하게 우수하며, 이는 지속적 학습 환경에서 성능 유지를 위해 전문가 격리 보존이 중요함을 시사한다. 마지막으로, 토큰 수준의 정확도와 다운스트림 생성 품질 간의 괴리가 발생할 수 있음을 관찰하며, 이는 평생 모션-언어 에이전트에 관한 향후 연구에서 보다 포괄적인 평가 프로토콜의 필요성을 부각시킨다.

arXiv:2610.02278v1cs.LG공통 태그 Incremental Learning, Continual Learning

CLEAN: 구조적 격리를 통한 개념 공간 확장 하에서 심리측정학적으로 일관된 점진적 인지 진단

CLEAN: Psychometrically Consistent Incremental Cognitive Diagnosis under Concept-Space Expansion via Architectural Isolation

인지 진단(Cognitive Diagnosis, CD)은 지식 개념에 대한 학습자의 숙련도를 프로파일링하는 지능형 교육의 기본 과제입니다. 실제 학습 플랫폼에서는 새로 추가되는 문항들이 이전에 보지 못한 개념을 지속적으로 도입하므로, 기저의 개념 공간을 동적으로 확장해야 합니다. 그러나 기존의 점진적 인지 진단 모델들은 고정된 개념 공간을 가정하여 새 문항의 그래디언트(gradient)가 과거 경로를 덮어쓰고 치명적 망각(catastrophic forgetting)을 유발하도록 방치합니다. 더욱 심각한 점은 이러한 방법들이 과거 진단을 보존하기 위해 연성 제약 조건(soft constraints)에만 의존한다는 것입니다. 이러한 제약 조건은 인지 진단에서 심리측정학적 일관성(psychometric consistency)으로 알려진 요구 사항인, 점진적 업데이트 이후의 진단 불변성 조건을 만족하지 못할 수 있습니다. 따라서 우리는 개념 공간 확장을 지원하는 동시에 과거 진단의 점별 불변성(pointwise invariance)에 대한 구조적 보장을 제공하는 새로운 점진적 인지 진단 프레임워크인 CLEAN(Continual Learning with Expandable and Architecturally Isolated Networks)을 제안합니다. 구체적으로, CLEAN은 먼저 엄격한 위상학적 이분할 프로토콜을 도입하고, 과거 진단 함수를 동결하며, 결정론적 직교 열 마스킹을 적용하여 그래디언트 간섭을 차단합니다. 둘째로, 개념 확장을 수용하기 위해 미세 분산 초기화(micro-variance initialization)가 적용된 확장 가능한 풀 랭크(full-rank) 브랜치를 배치하여 새로운 개념을 학습합니다. 마지막으로, 이러한 구조적 설계가 구조적으로 불변성을 달성하는지 검증하기 위해 과거 특성의 섭동을 정량화하는 표현 표류(Representation Drift, RD)를 공식화합니다. 3개의 대규모 교육 데이터셋에 대한 광범위한 실험을 통해, CLEAN이 제로 RD를 달성하여 구조적 격리를 통해 이전 문항 지표를 정적 앵커와 동일하게 보존하는 동시에, 새 문항에 대해서도 강력한 연속 학습(continual learning) 베이스라인과 경쟁력 있거나 우수한 성능을 유지함을 입증합니다.

arXiv:2610.02661v1cs.LG공통 태그 Incremental Learning, Continual Learning

AIGS: 비정상 데이터 스트림에서의 온라인 표현 학습을 위한 적응형 점진적 게이팅 시스템

AIGS: Adaptive Incremental Gating System for Online Representation Learning in Non-Stationary Data Streams

사물 웹(WoT) 및 엣지 컴퓨팅 환경의 실시간 데이터 스트림은 잠재적인 체제 변화(regime changes)를 거치며 진화하는 경우가 많습니다. 엄격한 계산 제약 하의 온라인 표현 학습(online representation learning)에서 핵심 문제는 유용한 과거 지식을 유지하면서 개념 드리프트(concept drift)에 신속하게 반응하는 안정성-가소성 딜레마(stability-plasticity dilemma)를 해결하는 것입니다. 기존 방법들은 고정된 업데이트 일정이나 롤링 윈도우를 사용합니다. 그러나 이러한 방식은 급격한 변화가 발생할 때 매개변수 경직화(parameter ossification)를 겪고, 스트림이 안정적으로 유지될 때는 계산 자원을 낭비합니다. 본 논문에서는 경량 폐루프 상태 인지 적응 프레임워크인 적응형 점진적 게이팅 시스템(AIGS, Adaptive Incremental Gating System)을 제안합니다. AIGS는 최근 변동성에 대해 현재 재구성 오차를 정규화하는 내생적 잔차 피드백 메커니즘인 Shock Ratio를 도입합니다. 이 신호는 학습 가소성과 기억 유지 사이를 부드럽게 보간하는 연속 가소성 컨트롤러(Continuous Plasticity Controller)를 구동합니다. 표현 학습을 폐루프 제어 메커니즘으로 다룸으로써, AIGS는 치명적 망각(catastrophic forgetting)을 방지하고 지연 시간에 민감한 엣지 디바이스에 적합한 스텝당 엄격한 선형 복잡도 $\mathcal{O}\left(k\cdot d\right)$를 유지합니다. 교통 네트워크, 기상 시스템, 산업 인프라를 아우르는 실제 스마트 시티 동적 스트림에 대한 실험은 도메인에 따라 뚜렷한 이점을 보여줍니다. Electricity Transformer Temperature 데이터셋에서 AIGS는 점진적인 성능 저하 상황에서 8.31(ETTm1) 및 9.88(ETTm2) 스텝의 예방적 조기 경보 리드 타임을 달성합니다. Performance Measurement System 교통 데이터셋에서는 급격한 변화 이후 훨씬 빠른 변화 후 회복 속도를 보입니다. 노이즈가 매우 심한 Weather 데이터셋에서는 확률적 노이즈 과적합을 방지하면서 이상치 재현율을 향상시킵니다. 이러한 결과는 AIGS가 자원 제약이 있는 엣지 모니터링 시스템을 위한 실용적인 플러그 앤 플레이 어댑터임을 입증합니다.

arXiv:2607.01674v4cs.AI공통 태그 Incremental Learning, Continual Learning

원시 ECG 리플레이가 없는 지속적 ECG 배포에서 전문가 유지와 자율 소스 추론의 분리

Separating Expert Retention from Autonomous Source Inference in Raw-ECG-Replay-Free Continual ECG Deployment

다중 소스 심전도(ECG) 배포 환경에서는 이전의 원시 ECG 데이터를 보관하거나 재생(replay)할 수 없는 상황에서 새로운 소스가 유입될 수 있습니다. 고정된 백본(backbone) 상에서 소스별 분류기를 격리하면 매개변수(parameter) 간섭을 방지할 수 있지만, 소스를 알 수 없는 상태의 추론(inference)에서는 여전히 적절한 전문가를 선택해야 하는 문제가 남습니다. 본 연구에서는 고정된 1024차원 ECGFounder 특징(feature)을 기반으로 구축된 통제된 지속적 배포 프레임워크인 IRFE-ECG를 통해 이러한 차이를 연구합니다. 새로운 소스가 추가될 때마다 격리된 Balanced-Softmax 선형 전문가가 추가되며, 이전에 관찰된 소스들로부터 보존된 고정 학습(training) 특징과 소스 레이블을 사용하여 경량 라우터가 재적합(re-fit)됩니다. 본 논문의 주된 기여는 새로운 라우팅 아키텍처를 제안하기보다는 보존된 전문가 성능을 자율적 소스 추론과 분리하고, 그로 인해 발생하는 배포 격차(deployment gap)를 정량화하는 것입니다. CPSC, PTB-XL, Georgia, Chapman-Shaoxing 데이터셋 전반에서 소스 인식 전문가 선택은 $0.7915 \pm 0.0036$의 Macro-F1에 도달하여, 매칭된 오프라인 독립 헤드 기준치인 $0.7885 \pm 0.0009$에 근접합니다. 소스 ID가 없는 경우 MLP 라우터는 $0.7756 \pm 0.0027$을 달성하며, 상위 2개 마진(margin) 융합은 $0.7782 \pm 0.0022$에 도달합니다. 상위 2개 융합의 개선 폭은 작으며(+0.0026), 대응 부트스트랩(paired bootstrap) 검정에서 통계적으로 유의미하지 않았습니다. 세 가지 도메인 순서 전반에서 상위 2개 방식과 오라클 간의 격차는 0.0111-0.0133으로 유지되어, 이 프로토콜 내에서 지속적인 소스 추론 격차가 존재함을 보여줍니다. 신뢰할 수 있는 환자 식별자를 사용할 수 없었기 때문에 결과는 레코드 수준(record-level)으로 평가되었습니다. 이 방법은 원시 ECG를 재생하지 않지만 라우터 업데이트를 위해 고정된 특징 벡터를 보존하므로, 메모리가 전혀 필요 없는(memory-free) 방식이라기보다는 원시 ECG 리플레이가 없는(raw-ECG-replay-free) 방식입니다. 코드는 https://github.com/yufanlu221/IRFE-ECG 에서 공개되어 있습니다.

arXiv:2606.21253v2cs.LG공통 태그 Incremental Learning, Continual Learning

그래디언트-프리 웜-스타트 라이브러리 복원: 상각 후회 분리

Gradient-Free Warm-Start Library Recovery: an Amortized-Regret Separation

그래디언트-프리, 로컬, 온라인, 그리고 append-only 방식의 지속 학습(continual learning)은 엣지 및 스트리밍 배포에 매력적이지만, 그 가치는 보통 비공식적으로만 주장된다. 우리는 반복 레짐(regime) 스트림에 대해 증명 가능한 설명을 제시한다. 분할(segmentation)이 주어지면, 웜-스타트(warm-start) 라이브러리 학습기는 무기억(memoryless) 재추정기의 $Θ(RD/\varepsilon^2)$에 대비하여 상각(amortized) 복원(recovery) 비용 $O\!\big(KD/\varepsilon^2+(R-K)\logK/Δ^2\big)$를 달성하며, 차원 $D$와 재발(recurrence) 밀도에 따라 증가하는 $(R-K)\,Θ(D/\varepsilon^2)$의 이점을 갖는다. 메커니즘은 분리(decoupling)이다: 관측된 $K$개 레짐 중 어느 것이 활성인지 인식(recognition)하는 비용은 $D$와 무관하게 $O(\log K/Δ^2)$이며, 한 레짐을 추정하는 비용은 $Θ(D/\varepsilon^2)$이다. 우리는 이것이 tight함을 증명한다: 일치하는 하한(matching lower bounds)은 인식 $Θ(\log K/Δ^2)$와 무기억 클래스 bound $Ω(RD/\varepsilon^2)$를 주므로, 각 항은 개별적으로 minimax-tight하다(결합 진술은 조건부이다). 분리(separation)는 born-immune(무기억 학습기의 이점은 항등적으로 0)이고 패러다임 수준이다: 공정한 spawn 가능 베이지안 기준선(baseline)과 일치하며 그를 능가하지 않는다; 기여는 end-to-end 역전파(backprop) 없이 그리고 구조적으로 제로 망각(zero forgetting)으로 이 비용 구조를 달성하는 것이다. count-calibrated 변형은 바운드된, 결코 음수가 아닌 per-recurrence overshoot까지 기준선(baseline)의 선행 상수(leading constant)와 일치시키며, 하이퍼파라미터(hyperparameter)-free이고 per-step 초월함수(transcendentals)가 없다. 우리는 범위를 제한한다: 인식 가능한 레짐은 심플렉스(simplex) packing에 의해 상한이 정해진다(벽(walls) $e^{Θ(D)}$); 자율 분할(autonomous segmentation)은 packing 벽에서 불가능하다(레짐이 겹칠 때 detector가 오경보/지연(false-alarm/delay) 프론티어(frontier)를 벗어날 수 없음); 이점은 겹침(overlap) 하에서 사라진다. 차원 의존 분리는 합성 스트림과 실제 $k$-mer 게놈 분포에서 확인된다(무기억 비용 $\propto D^{1.04}$, 인식은 $D$-independent); 하나의 실제 순차 스트림은 $D{=}1$ near-null 코너에 위치한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.