Sparsity and Heterogeneous Dropout for Continual Learning in the Null Space of Neural Activations
원문 초록
Continual/lifelong learning from a non-stationary input data stream is a cornerstone of intelligence. Despite their phenomenal performance in a wide variety of applications, deep neural networks are prone to forgetting their previously learned information upon learning new ones. This phenomenon is called "catastrophic forgetting" and is deeply rooted in the stability-plasticity dilemma. Overcoming catastrophic forgetting in deep neural networks has become an active field of research in recent years. In particular, gradient projection-based methods have recently shown exceptional performance at overcoming catastrophic forgetting. This paper proposes two biologically-inspired mechanisms based on sparsity and heterogeneous dropout that significantly increase a continual learner's performance over a long sequence of tasks. Our proposed approach builds on the Gradient Projection Memory (GPM) framework. We leverage k-winner activations in each layer of a neural network to enforce layer-wise sparse activations for each task, together with a between-task heterogeneous dropout that encourages the network to use non-overlapping activation patterns between different tasks. In addition, we introduce two new benchmarks for continual learning under distributional shift, namely Continual Swiss Roll and ImageNet SuperDog-40. Lastly, we provide an in-depth analysis of our proposed method and demonstrate a significant performance boost on various benchmark continual learning problems.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
보유할 것인가, 적응할 것인가? 지속 학습의 일반화
To Retain or to Adapt? Generalizing Continual Learning
지속 학습(CL) 문헌은 오랫동안 파국적 망각(catastrophic forgetting)을 완화하는 목표에 의해 주도되어 왔다. 이 목표는 평생 학습자가 결합 작업 학습(Joint-Task Learning, JTL) 해법을 근사하여 이전에 습득한 모든 지식을 보유해야 한다는, 만연하지만 종종 명시되지 않는 가정에 기반한다. 우리는 이 보유 중심 전제에 이의를 제기하며, 비정상(non-stationary) 환경에서 보유를 우선시하면 실시간 적응을 저해할 수 있다고 주장한다. 평균 평생 오차(Average Lifelong Error, ALE)에 초점을 맞춰, 우리는 CL을 환경 역학과 학습 역학 간의 상호작용에 의해 지배되는 온라인 최적화 문제로 형식화한다. 우리는 전이 효율성(Transfer Efficiency)을 불안정성(Instability), 즉 상충하는 과거 경험으로부터 상속된 바이어스와 과도 오차(Transient Error), 즉 새로운 작업을 처음부터 학습하는 최적화 비용 사이의 긴장을 정량적으로 측정하는 척도로 도입한다. 선형 모델과 신경망 모델 전반에 걸쳐 성립하는 온화한 수렴 조건 하에서, 이 분해는 임계 작업 지속 시간(Critical Task Duration)을 도출한다: 보유가 양의 정상 바이어스를 유발할 때마다 역사적 지식이 웜스타트(warm-start) 이점에서 최적화 부담으로 전환되는 경계를 명시적 형태로 제공하는 임계값이다. 우리는 지속적 이미지 분류와 강화학습 벤치마크에서 이러한 이론적 예측을 검증한다. 마지막으로, 지속 학습을 예측 가능한 시퀀스의 온라인 학습 프레임워크와 연결함으로써, JTL이 더 넓은 목표 패밀리의 한 사례에 불과함을 보이고, 예측적 지속 학습(Predictive Continual Learning)이라 부르는 새로운 일반적 지속 학습 알고리즘 클래스를 제안한다. 예측적 CL 알고리즘은 미래 작업에 대한 명시적이고 동적으로 갱신되는 모델 하에서 기대 미래 성능을 최적화한다. 개념 증명으로서, JTL과 독립 작업 학습(Independent-Task Learning, ITL) 사이를 보간하며 제어된 분포적 드리프트(distributional drift) 하에서 양자를 모두 능가하는 윈도우(Window) 알고리즘을 분석한다.
Cross-Modal Alternating Learning with Task-Aware Representations for Continual Learning
A Unified Framework against Topology and Class Imbalance
Increasingly Packing Multiple Facial-Informatics Modules in A Unified Deep-Learning Model via Lifelong Learning
온라인 추론을 통한 계층적 잠재 구조 학습
Hierarchical Latent Structure Learning through Online Inference
학습 시스템은 경험 전반에 걸친 일반화와 과업 관련 세부 사항의 구별 사이의 균형을 맞춰야 한다. 따라서 효과적인 학습은 두 가지를 모두 지원하는 표현을 필요로 한다. 온라인 잠재 원인(latent-cause) 모델은 점진적 추론을 지원하지만 평평한(flat) 분할을 가정하는 반면, 계층적 베이즈 모델은 다수준 구조를 포착하지만 일반적으로 오프라인 추론을 필요로 한다. 우리는 \textbf{Hierarchical Online Learning of Multiscale Experience Structure (HOLMES) model}을 소개한다. 이는 온라인 추론을 통한 계층적 잠재 구조 학습을 위한 계산 프레임워크이다. HOLMES는 중첩 중국식 식당 과정(nested Chinese Restaurant Process) 사전분포의 변형과 순차 몬테카를로(sequential Monte Carlo) 추론을 결합하여, 잠재 구조에 대한 명시적 감독 없이 계층적 잠재 표현에 대해 처리 가능한 시행별(trial-by-trial) 추론을 수행한다. 시뮬레이션에서 HOLMES는 더 상위 수준의 잠재 범주로의 원샷(one-shot) 역방향 전이(backward transfer)를 지원하는 더 간결한 표현을 학습하면서 평평한 모델의 예측 성능과 동등한 수준을 달성했다. 순방향 전이(forward transfer) 과업에서 HOLMES는 다양한 학습 인스턴스에서 학습된 추상적인 형태(shape) 수준 표현을 활용하여, 이전에 한 번도 보지 못한 특징 조합을 가진 자극에 대해 우연 수준 이상의 결과 예측을 추가로 달성했다. 이러한 결과는 순차 데이터에서 계층적 구조를 발견하기 위한 처리 가능한 계산 프레임워크를 제공한다.
가중치에서 특징으로: 거대 언어 모델의 지속 학습을 위한 희소 오토인코더 기반 활성화 정규화
From Weights to Features: Sparse-Autoencoder-Guided Activation Regularization for Continual Learning in Large Language Models
탄성 가중치 통합(EWC)과 같은 가중치 보호 정규화 기법은 파국적 망각에 대한 표준적인 방어책이다. 그러나 거대 언어 모델의 순차적 미세조정에서는 페널티 튜닝으로 해결할 수 없는 안정성-가소성 트레이드오프가 나타난다. 우리는 이러한 한계가 부분적으로 다의성(polysemanticity) 때문이라고 본다. 각 가중치가 서로 무관한 여러 개념에 관여하므로, 가중치별 중요도 점수로는 보호가 필요한 지식을 분리해 내기 어렵다. 대신 우리는 사전 학습된 희소 오토인코더(SAE)를 대략적으로 단의미적인 특징들의 고정된 사전으로 사용하여 활성화 공간에서 정규화한다. 지속 학습을 특징 드리프트에 대한 제약 최적화로 정식화하며, 보존할 특징에는 안정성 제약을, 현재 과제가 사용하는 특징에는 가소성 제약을 둔다. 그리고 그 결과로 얻어지는 제곱 힌지 손실이 이 문제의 정규화된 라그랑주 완화이며 EWC가 그 특수한 경우임을 보인다. 리플레이 변형은 이전 과제당 저장된 200개의 시퀀스에서 드리프트를 측정하는 반면, 데이터 비의존 변형은 과제당 197 KB의 특징 마스크만 저장하며, 이는 EWC의 6.5 GB와 대비된다. TRACE(Gemma-2 9B, Llama-3.1 8B)와 MedCL(Gemma-2 9B)에서 리플레이 변형은 SAE 기반 특징 증류와 동등하거나 그 이상의 성능을 단계당 약 3분의 1의 비용으로 달성하며, 데이터 비의존 변형은 이전 과제 데이터를 저장하지 않고 과제별 파라미터를 추가하지 않는 방법 중 가장 높은 평균 전체 성능을 기록한다. 과제 관련 유닛은 SAE 기저에서는 선형 분리가 가능하지만 뉴런 기저에서는 그렇지 않으며(ROC-AUC 0.87-0.88 대 0.50), 가중치 공간 보호는 보호 대상 과제의 특징만큼이나 강하게 다른 과제의 특징도 제약한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.