arXiv:2606.20431v1 cs.LG

희소성, 중첩, 그리고 망각: 지속적 학습에서 표현 유지에 대한 기제 연구

Sparsity, Superposition, and Forgetting: A Mechanistic Study of Representation Retention in Continual Learning

Jan Wasilewski, Jędrzej Kozal, Michał Woźniak, Bartosz Krawczyk

제출 2026-06-18

한국어 초록

지속적 학습(CL) 시스템은 종종 이전에 습득한 지식을 망각하지만, 실제 데이터셋은 여러 요인이 복합적으로 얽혀 있어 망각을 유도하는 기제를 실제로 분리하기 어렵습니다. 우리는 이러한 기제를 관찰 가능하고 테스트 가능하게 만드는 제어된 toy-world 프레임워크를 제시합니다. 합성 생성기-분리기 파이프라인을 사용하여 ground-truth 잠재 특징(latent features)을 정의하고, 조정 가능한 희소성(sparsity)과 중첩(overlap)을 갖는 태스크를 구축하며, 표현 강도와 중첩(superposition, 특징 간의 방향성 중첩)에 대한 측정 가능한 양을 도입합니다. 그런 다음 유지, 중첩, 노출 이력 사이의 희소 동적 관계(SINDy 통해)를 피팅하여 표현 강도의 시간적 변화인 유지 역학(dynamics)을 연구합니다. 유효 계수(effective rank)에 기반한 보완적인 태스크 수준 분석은 표현 용량이 태스크 전반에 걸쳐 어떻게 할당되는지 특성화합니다. 우리의 제어된 실험은 세 가지 시사점을 도출합니다. (1) 중첩은 시간이 지남에 따라 증가하는 경향이 있으며 태스크 경계에서 일시적 하락을 보이는데, 이는 점진적인 드리프트(drift)보다는 경계 특이적 간섭을 시사합니다. (2) 더 높은 특징 희소성은 더 많은 중첩을 유발하지만 필연적으로 망각을 초래하지는 않습니다. 표현이 강력하게 유지될 때 중첩에도 불구하고 망각을 줄일 수 있습니다. (3) 태스크 수준 유효 계수는 희소성에 따라 증가하며, 이는 희소성(sparse) 레짐에서 더 넓은 용량 사용을 나타냅니다. 종합적으로, 이러한 결과는 중첩이 표현 강도 및 용량 할당과 상호작용한다는 것을 보여줌으로써, 더 많은 중첩이 더 많은 망각으로 이어진다는 일반적인 직관을 정교화합니다. 우리의 toy 분석은 CL을 위한 반증 가능한 가설과 진단 도구를 제공합니다.

원문 초록

Continual learning (CL) systems often forget previously acquired knowledge, yet the mechanisms driving forgetting remain hard to isolate in practice because real datasets entangle many factors. We present a controlled, toy-world framework that makes these mechanisms observable and testable. Using a synthetic generator-separator pipeline, we define ground-truth latent features, build tasks with tunable sparsity and overlap, and introduce measurable quantities for representation strength and superposition (directional overlap among features). We then study retention dynamics-the temporal change of representation strength by fitting sparse dynamical relations (via SINDy) between retention, superposition, and exposure history. A complementary task-level analysis based on effective rank characterizes how representational capacity is allocated across tasks. Our controlled experiments yield three takeaways. (1) Superposition tends to increase over time with transient dips at task boundaries, suggesting boundary-specific interference rather than steady drift. (2) Higher feature sparsity induces more superposition yet does not inevitably cause forgetting; when representations remain strong, forgetting can be reduced despite overlap. (3) Task-level effective rank grows with sparsity, indicating broader capacity usage under sparse regimes. Together, these results nuance the common intuition that more superposition leads to more forgetting by showing that overlap interacts with representation strength and capacity allocation. Our toy analysis provides falsifiable hypotheses and diagnostic tools for CL.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20431v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02524v1cs.LG공통 태그 Representation Learning, sparsity

BaCP: 극도로 희소한 신경망에서 표현을 보존하기 위한 백본 대조 가지치기

BaCP: Backbone Contrastive Pruning for Preserving Representations in Extremely Sparse Neural Networks

극도의 희소성(sparsity)에서의 비구조적 가지치기(unstructured pruning)는 흔히 표현 붕괴(representational collapse)를 겪으며, 이는 정확도의 급격한 저하를 초래한다. 이를 해결하기 위해, 우리는 사전학습(pretrained), 파인튜닝(fine-tuned), 그리고 과거 스냅샷 모델들과 정렬시켜 희소 네트워크의 임베딩 공간을 정규화하는 백본 대조 가지치기(Backbone Contrastive Pruning, BaCP)를 연구한다. CAP 프레임워크(Xu et al., 2022)의 대조적 분해(contrastive decomposition)를 기반으로, 우리는 여러 가지치기 기준(pruning criteria)에 걸쳐 이 접근법에 대한 엄밀한 동일 예산(matched-budget) 특성 분석을 제공한다. 90가지 설정에서 평가한 결과, BaCP는 표준 가지치기가 실패하는 극도의 희소성 영역에서 정확도를 상당히 개선하며, 표현이 온전하게 유지되는 영역에서는 기준선(baseline)에 근접한 성능을 보인다.

arXiv:2610.02661v1cs.LG공통 태그 Representation Learning, Continual Learning

AIGS: 비정상 데이터 스트림에서의 온라인 표현 학습을 위한 적응형 점진적 게이팅 시스템

AIGS: Adaptive Incremental Gating System for Online Representation Learning in Non-Stationary Data Streams

사물 웹(WoT) 및 엣지 컴퓨팅 환경의 실시간 데이터 스트림은 잠재적인 체제 변화(regime changes)를 거치며 진화하는 경우가 많습니다. 엄격한 계산 제약 하의 온라인 표현 학습(online representation learning)에서 핵심 문제는 유용한 과거 지식을 유지하면서 개념 드리프트(concept drift)에 신속하게 반응하는 안정성-가소성 딜레마(stability-plasticity dilemma)를 해결하는 것입니다. 기존 방법들은 고정된 업데이트 일정이나 롤링 윈도우를 사용합니다. 그러나 이러한 방식은 급격한 변화가 발생할 때 매개변수 경직화(parameter ossification)를 겪고, 스트림이 안정적으로 유지될 때는 계산 자원을 낭비합니다. 본 논문에서는 경량 폐루프 상태 인지 적응 프레임워크인 적응형 점진적 게이팅 시스템(AIGS, Adaptive Incremental Gating System)을 제안합니다. AIGS는 최근 변동성에 대해 현재 재구성 오차를 정규화하는 내생적 잔차 피드백 메커니즘인 Shock Ratio를 도입합니다. 이 신호는 학습 가소성과 기억 유지 사이를 부드럽게 보간하는 연속 가소성 컨트롤러(Continuous Plasticity Controller)를 구동합니다. 표현 학습을 폐루프 제어 메커니즘으로 다룸으로써, AIGS는 치명적 망각(catastrophic forgetting)을 방지하고 지연 시간에 민감한 엣지 디바이스에 적합한 스텝당 엄격한 선형 복잡도 $\mathcal{O}\left(k\cdot d\right)$를 유지합니다. 교통 네트워크, 기상 시스템, 산업 인프라를 아우르는 실제 스마트 시티 동적 스트림에 대한 실험은 도메인에 따라 뚜렷한 이점을 보여줍니다. Electricity Transformer Temperature 데이터셋에서 AIGS는 점진적인 성능 저하 상황에서 8.31(ETTm1) 및 9.88(ETTm2) 스텝의 예방적 조기 경보 리드 타임을 달성합니다. Performance Measurement System 교통 데이터셋에서는 급격한 변화 이후 훨씬 빠른 변화 후 회복 속도를 보입니다. 노이즈가 매우 심한 Weather 데이터셋에서는 확률적 노이즈 과적합을 방지하면서 이상치 재현율을 향상시킵니다. 이러한 결과는 AIGS가 자원 제약이 있는 엣지 모니터링 시스템을 위한 실용적인 플러그 앤 플레이 어댑터임을 입증합니다.

arXiv:2610.02597v1cs.CV공통 태그 Representation Learning, Continual Learning

GRAFT: 지속적 교사 지식 증류를 통한 응집형 파운데이션 모델의 점진적 확장

GRAFT: Growing Agglomerative Foundation Models via Continual Teacher Distillation

DINOv2, SigLIP2, MASt3R와 같은 비전 파운데이션 모델들은 서로 다른 사전학습(pre-training) 목표를 통해 상호보완적인 능력을 발전시키지만, 이들의 지식은 개별적이고 특화된 모델 전반에 여전히 분산되어 있습니다. 다중 교사 지식 증류(multi-teacher knowledge distillation)는 이러한 능력들을 단일 응집형 백본(backbone)으로 통합하는 경로를 제공하지만, 기존 접근 방식들은 고정된 교사 집합을 가정하며, 새로운 교사를 통합하려면 전체 교사 집합에 대해 비용이 많이 드는 결합 증류를 반복해야 합니다. 본 논문에서는 통합 백본이 개방형 파운데이션 모델 시퀀스로부터 능력을 점진적으로 습득할 수 있도록 하는 지속적 다중 교사 증류 프레임워크인 GRAFT를 소개합니다. 새로운 교사가 추가되면 GRAFT는 이전에 증류된 모델을 교사로 취급하여 학습된 능력을 보존하는 동시에, 현재의 학생 모델은 이전 모델과 새로 들어온 교사 모두로부터 공동으로 학습합니다. 나아가 이종 교사들의 호환되지 않는 표현 기하구조를 조율하기 위해, 공유 인코더에 대한 독립적인 판독 권한을 각 교사에 부여하는 교사별 판독 토큰(Teacher Specific Readout Tokens)과 함께, 원시 특징(feature) 값 대신 이미지-텍스트 유사도 구조를 매칭하여 비전-언어 교사를 정렬하는 기하학 불가지론적 관계 손실(Geometry Agnostic Relational Loss)을 도입합니다. 본 연구는 이미지 이해, 2D 조밀 예측, 3D 인간 자세 추정, 3D 비전, 비전-언어 등 5개 도메인을 통합하는 단일의 지속적 확장 가능 백본인 GRAFT 모델을 제공하며, 전체 재증류 대신 단 한 번의 증류 비용만으로 각각의 새로운 능력을 습득하면서 이들 전반에 걸쳐 강력한 성능을 발휘합니다.

arXiv:2609.36081v2cs.LG공통 태그 Representation Learning, Continual Learning

지속 학습에서 초기 학습이 표현 변화의 후속 방향을 형성하는 방식

Early Learning Shapes Later Directions Of Representation Change In Continual Learning

네트워크가 새로운 태스크를 학습함에 따라 표현(representation)은 지속적으로 변화합니다. 본 연구에서는 초기 표현 변화가 이후의 학습을 지속적으로 형성하는 기하학적 구조를 자연스럽게 형성하는지 질문합니다. 저자들은 초기 표현 드리프트(representation drift)의 저차원 부분공간을 규명하여 이를 비계(scaffold)라 부르고, 이것이 이후 태스크 전반에 걸쳐 재사용되는지 테스트합니다. 네 가지 사전학습(pre-training)된 시각 인코더와 두 개의 데이터셋 전반에서, 후속 표현 변화는 일치하게 설정된 무작위 대조군 부분공간보다 이러한 초기에 정의된 부분공간을 일관되게 선호합니다. 이러한 재사용은 이력 의존적(history-dependent)입니다. 네트워크가 서로 다른 초기 태스크를 거친 후 동일한 후속 학습(training) 입력을 받을 때, 각 네트워크는 자체 학습 이력에 의해 유도된 비계를 우선적으로 재사용합니다. 네트워크의 지배적인 국소 반응 방향이 원래의 비계에서 벗어나더라도, 개별 옵티마이저(optimizer) 업데이트에서도 동일한 선호도가 나타납니다. 마지막으로, 비계 내부에서의 움직임을 제한하면 일치하게 설정된 무작위 제약보다 새로운 태스크 습득이 더 느려지는 반면, 이전 태스크 유지에 미치는 영향은 덜 일관적입니다. 요약하자면, 이러한 결과는 초기 경험이 신경망이 향후 태스크에 적응하는 방식에 지속적인 기하학적 흔적을 남긴다는 점을 시사합니다. 코드는 https://github.com/YuantaoDeng/latent-scaffold 에서 확인할 수 있습니다.

arXiv:2609.26853v1cs.LG공통 태그 Representation Learning, Continual Learning

COPE: 사용자 임베딩 및 자체 평가를 통한 희소한 사용자 피드백 하에서의 LLM 지속적 개인화

COPE: Continual Personalization of LLMs under Sparse User Feedback via User Embeddings and Self-Evaluation

대규모 언어 모델(LLM)이 다양한 벤치마크에서 뛰어난 성과를 거두었지만, 규범적 가치에 맞춘 정렬(alignment)은 종종 다양한 사용자 선호도를 반영하지 못하는 획일화된 응답을 초래합니다. 기존의 학습(training) 불필요 방식은 프롬프트 엔지니어링을 통해 귀중한 컨텍스트 윈도우(context window)를 차지하는 경우가 많으며, 학습 기반 방식은 일반적으로 사후 학습(post-training) 이후 정적인 상태로 유지되어 실제 환경에서 요구되는 지속적인 최적화를 지원하지 못합니다. 이러한 문제를 해결하기 위해, 희소한 사용자 피드백이 존재하는 실제 상호작용 환경에 맞춘 새로운 최적화 프레임워크인 COPE(Continual Optimization with Personalized embedding and self-Evaluation)를 제안합니다. 본 프레임워크는 각 사용자에게 학습 가능한 개인화 임베딩을 할당하고, 단일 업데이트 단계 내에서 선호도 포착, 자체 평가 보정, 개인화된 응답 최적화를 시너지 있게 통합합니다. 본 연구의 핵심적인 혁신은 자체 평가를 활용하여 대리 보상(proxy reward)을 생성함으로써 명시적인 사용자 피드백이 제공되지 않는 경우에도 지속적인 모델 업데이트를 가능하게 한다는 점입니다. 실험 결과에 따르면 COPE는 희소한 피드백 환경에서 강력한 학습 불필요 및 학습 기반 베이스라인 모델들을 일관되게 능가하며, 검색-증강 프롬프팅(RAP)과도 상호보완적으로 작동함을 보여줍니다. 추가 분석을 통해 COPE의 신뢰할 수 있는 자체 평가, 유의미한 선호도 패턴, 안정적인 일반 성능, 그리고 선호도 변화 및 대체 평가자 환경에서의 견고성을 확인했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.