Continual Learning via Learning a Continual Memory in Vision Transformer
원문 초록
This paper studies task-incremental continual learning (TCL) using Vision Transformers (ViTs). Our goal is to improve the overall streaming-task performance without catastrophic forgetting by learning task synergies (e.g., a new task learns to automatically reuse/adapt modules from previous similar tasks, or to introduce new modules when needed, or to skip some modules when it appears to be an easier task). One grand challenge is how to tame ViTs at streaming diverse tasks in terms of balancing their plasticity and stability in a task-aware way while overcoming the catastrophic forgetting. To address the challenge, we propose a simple yet effective approach that identifies a lightweight yet expressive ``sweet spot'' in the ViT block as the task-synergy memory in TCL. We present a Hierarchical task-synergy Exploration-Exploitation (HEE) sampling based neural architecture search (NAS) method for effectively learning task synergies by structurally updating the identified memory component with respect to four basic operations (reuse, adapt, new and skip) at streaming tasks. The proposed method is thus dubbed as CHEEM (Continual Hierarchical-Exploration-Exploitation Memory). In experiments, we test the proposed CHEEM on the challenging Visual Domain Decathlon (VDD) benchmark and the 5-Dataset benchmark. It obtains consistently better performance than the prior art with sensible CHEEM learned continually.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GrapNet: 프로그래밍 가능한 동적 아키텍처 신경망 그래프 기반
GrapNet: A Programmable Dynamic-Architecture Neural Graph Substrate
프로그래밍 가능성은 고정 텐서 신경망에서 누락된 일급 인터페이스입니다. 관계 편집, 서브그래프 동결, 지역 함수 감사, 또는 실행 백엔드 변경은 임시적인 매개변수 수술이 아니라 신경망 프로그램에 대한 연산이어야 합니다. GrapNet은 이 그래프-네트워크 설정을 연구합니다. 그래프는 입력 데이터 그래프가 아니라 아키텍처이자 실행 가능한 프로그램입니다. 각 연산 노드는 다음 층 자식 참조와 해당 참조에 정렬된 학습 가능한 할당 벡터를 소유합니다. 관계를 삭제하면 자식 참조와 해당 할당 좌표가 물리적으로 제거됩니다. 구조적 규칙과 실행 정책은 노드 코어 외부에 존재하므로, 동일한 자식 소유 그래프를 성장시키고, 동결하고, 구조적으로 편집하고, 학습 가능한 패밀리 블록으로 그룹화하고, 활성 관계에 대한 어텐션으로 라우팅하거나, 토폴로지가 안정화된 후 밀집 스냅샷으로 변환할 수 있습니다. GrapNet은 벡터 값 부모 인터페이스를 통해 기존 모듈과 구성됩니다. 밀집 층, CNN 인코더, ResNet 특징 추출기, 어텐션 블록, 트랜스포머 표현은 모두 좌표당 하나의 감각 GrapNode에 공급할 수 있습니다. 평가는 새로운 리플레이 벤치마크가 아니라 프로그래밍 가능성 스트레스 스위트로 구성됩니다. 일치하는 10개 시드를 사용한 Split Fashion-MNIST 연구에서, 가소성 있는 GrapNet+ER 헤드는 동일한 seen-class 손실 및 리플레이 메모리 하에서 매개변수가 더 큰 밀집 MLP+ER의 51.08%에 비해 63.16%의 seen-class 정확도를 달성했으며, 쌍별 차이는 12.08 포인트이고 p=1.3e-5입니다. 동결된 ImageNet ResNet-18 인코더를 사용한 Split CIFAR-10에서, 동일한 기반은 MLP-256 대비 온라인 헤드를 3.81 포인트 향상시켰으며, p=0.0026입니다. 이러한 결과는 GrapNet이 핵심 가치가 충실한 실행 뷰와 함께 구조적 프로그래밍 가능성인 편집 가능한 신경망 그래프 기반임을 뒷받침합니다.
가중치에서 특징으로: 거대 언어 모델의 지속 학습을 위한 희소 오토인코더 기반 활성화 정규화
From Weights to Features: Sparse-Autoencoder-Guided Activation Regularization for Continual Learning in Large Language Models
탄성 가중치 통합(EWC)과 같은 가중치 보호 정규화 기법은 파국적 망각에 대한 표준적인 방어책이다. 그러나 거대 언어 모델의 순차적 미세조정에서는 페널티 튜닝으로 해결할 수 없는 안정성-가소성 트레이드오프가 나타난다. 우리는 이러한 한계가 부분적으로 다의성(polysemanticity) 때문이라고 본다. 각 가중치가 서로 무관한 여러 개념에 관여하므로, 가중치별 중요도 점수로는 보호가 필요한 지식을 분리해 내기 어렵다. 대신 우리는 사전 학습된 희소 오토인코더(SAE)를 대략적으로 단의미적인 특징들의 고정된 사전으로 사용하여 활성화 공간에서 정규화한다. 지속 학습을 특징 드리프트에 대한 제약 최적화로 정식화하며, 보존할 특징에는 안정성 제약을, 현재 과제가 사용하는 특징에는 가소성 제약을 둔다. 그리고 그 결과로 얻어지는 제곱 힌지 손실이 이 문제의 정규화된 라그랑주 완화이며 EWC가 그 특수한 경우임을 보인다. 리플레이 변형은 이전 과제당 저장된 200개의 시퀀스에서 드리프트를 측정하는 반면, 데이터 비의존 변형은 과제당 197 KB의 특징 마스크만 저장하며, 이는 EWC의 6.5 GB와 대비된다. TRACE(Gemma-2 9B, Llama-3.1 8B)와 MedCL(Gemma-2 9B)에서 리플레이 변형은 SAE 기반 특징 증류와 동등하거나 그 이상의 성능을 단계당 약 3분의 1의 비용으로 달성하며, 데이터 비의존 변형은 이전 과제 데이터를 저장하지 않고 과제별 파라미터를 추가하지 않는 방법 중 가장 높은 평균 전체 성능을 기록한다. 과제 관련 유닛은 SAE 기저에서는 선형 분리가 가능하지만 뉴런 기저에서는 그렇지 않으며(ROC-AUC 0.87-0.88 대 0.50), 가중치 공간 보호는 보호 대상 과제의 특징만큼이나 강하게 다른 과제의 특징도 제약한다.
DriftGuard: 진화하는 유해성 모더레이션을 위한 안전성 인식 다중 모니터 탐지 및 선택적 적응
DriftGuard: Safety-Aware Multi-Monitor Detection and Selective Adaptation for Evolving Toxicity Moderation
자동화된 유해성 검열 시스템은 은어, 변화하는 표적, 단속에 대한 전략적 적응을 통해 유해 행위가 진화하는 동적인 온라인 환경에서 작동한다. 기존의 드리프트 탐지 방법은 흔히 전역적 분포 변화에 초점을 맞추지만, 이러한 신호는 국소적인 유해성 부분공간이나 위험도가 높은 모델 오류 영역에서 나타나는 안전 관련 변화를 놓칠 수 있다. 본 논문은 다중 모니터 드리프트 탐지와 선택적 모델 업데이트를 결합한 안전 인식 적응형 검열 프레임워크인 DriftGuard를 소개한다. 이 프레임워크는 전역 텍스트 드리프트, 정체성 관련 유해성 드리프트, 모델 불확실성, 유해 위험 드리프트, 위음성 위험 드리프트를 추적한다. 안전 관련 변화가 탐지되면, 위음성 가능성이 높은 사례, 정체성 관련 고위험 사례, 위양성 위험 사례, 불확실한 경계 사례를 우선하는 하드 믹스 적응 세트를 사용하여 모델을 업데이트한다. Civil Comments의 시간적 변화와 Jigsaw-to-DynaHate의 데이터셋 간 변화에 대한 실험 결과, 안전 인식 모니터는 전역 드리프트만으로는 놓치는 위험을 탐지한다. 하드 믹스 적응은 무업데이트 및 무작위 균형 베이스라인에 비해 유해 재현율과 정확도를 향상시킨다. 유해 재현율은 Civil Comments에서 0.8453에서 0.8777로, DynaHate에서 0.7107에서 0.8523으로 상승한다. 부트스트랩 분석은 DynaHate에서 안전성 향상이 안정적임을 추가로 보여 주며, 유해 재현율은 0.1418 증가하고 위음성 유병률은 0.0781 감소한다. 종합하면 DriftGuard는 안전 인식 드리프트 탐지를 표적화된 경량 모델 업데이트와 연결하여 더 강건한 적응형 유해성 검열을 가능하게 한다.
에이전틱 신경망 구조 탐색
Agentic Neural Architecture Search
신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.
MMAO-Cls: 특징 선택과 분류기 튜닝을 동시에 수행하는 대사 다중 에이전트 최적화
MMAO-Cls: Metabolic Multi-Agent Optimization for Joint Feature Selection and Classifier Tuning
본 논문은 대사 다중 에이전트 최적화기(MMAO)가 분류 모델 선택을 위한 신뢰할 만한 외부 루프 최적화기로 기능할 수 있는지를 연구한다. 각 에이전트가 이진 특징 마스크와 분류기 하이퍼파라미터를 함께 인코딩하고, 개별 에너지, 공동 예산, 역할 변동, 생애주기 교체가 래퍼 학습의 정확도-복잡도 트레이드오프에 대응되는 혼합 공간 구현인 MMAO-Cls를 제안한다. 구현은 특징 정보 사전분포로부터 특징 예산 적응을 도출하고, 검증 보상을 부분집합의 간결성과 학습-검증 과적합 격차로 함께 정규화하여 강화되었다. 각각 3개의 시드로 7개의 표준 정형 데이터 벤치마크에서 MMAO-Cls를 평가하고, RandomSearch, GA-lite, PSO-lite, 내생적 비공유 제거 변형과 비교한다. 종합 검증 목적함수에서 MMAO-Cls는 GA-lite($0.9446$)에 이어 2위($0.9433$)이다. 보류된 테스트 성능에서는 평균 점수 $0.8882$를 달성하여 RandomSearch($0.8808$)와 GA-lite($0.8857$)를 능가하고, PSO-lite($0.8874$) 및 비공유 제거 변형($0.8900$)에는 근접하며, 비교된 모든 방법 중 보류 데이터 기준 평균 특징 부분집합이 가장 간결하다(특징 비율 $0.4881$). 쌍체 검정 결과 이러한 차이는 아직 통계적으로 유의하지 않다. 결과는 MMAO가 분류와 간결한 혼합 공간 탐색에 적용 가능함을 뒷받침하지만, 공동 공유가 보류 데이터 성능에 기여하는 정도는 해결되지 않은 채 남아 있다.
MLoRA: 상대 응답 부분공간 선택과 모멘텀 직교화를 통한 지속적 저랭크 적응
MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization
저랭크 적응(LoRA)은 지속 학습을 위한 매개변수 효율적 접근법을 제공하지만, 명목상의 랭크가 유효 적응 용량의 손실을 가릴 수 있다. 우리는 \emph{스펙트럼 가소성 붕괴}를 규명한다. 순차적 적응 중 업데이트 에너지가 소수의 특이 모드에 집중되어, 사용 가능한 저랭크 공간의 상당 부분이 활용되지 못한다. 이는 간섭 회피만으로는 한계가 있음을 드러낸다. 과거 표현을 보호한다고 해서 남은 적응 용량이 새로운 과제에 반응하거나 효과적으로 활용된다는 보장은 없다. 이 문제를 해결하기 위해 우리는 용량 할당과 활용을 함께 제어하는 \texttt{MLoRA}를 제안한다. 첫째, 과거 화이트닝은 누적된 과거 응답에 비해 현재 과제 응답이 강한 입력 방향을 식별하여, 학습 중 고정되는 과제 적응형 기저를 만든다. 둘째, 모멘텀 업데이트의 근사 극분해(polar) 직교화는 선택된 공간 내의 스펙트럼 집중을 줄인다. 정규직교 기저는 인자 업데이트의 스펙트럼을 유도된 가중치 업데이트로 정확히 전달함으로써 이 두 메커니즘을 연결한다. 우리는 정확한 부분공간 선택에 대한 max-min 특성화를 수립하고, 제어된 단계 간 비등방성 하에서 누적 스펙트럼 경계를 도출한다. 다섯 개의 클래스 증분 벤치마크와 여덟 가지 증분 설정에서 \texttt{MuLoRA}는 보고된 16개 지표 중 15개에서 가장 높은 평균 정확도를 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.