arXiv:2303.07477

Efficient Self-supervised Continual Learning with Progressive Task-correlated Layer Freezing

Li Yang, Sen Lin, Fan Zhang, Junshan Zhang, Deliang Fan

제출 2023-03-13

원문 초록

Inspired by the success of Self-supervised learning (SSL) in learning visual representations from unlabeled data, a few recent works have studied SSL in the context of continual learning (CL), where multiple tasks are learned sequentially, giving rise to a new paradigm, namely self-supervised continual learning (SSCL). It has been shown that the SSCL outperforms supervised continual learning (SCL) as the learned representations are more informative and robust to catastrophic forgetting. However, if not designed intelligently, the training complexity of SSCL may be prohibitively high due to the inherent training cost of SSL. In this work, by investigating the task correlations in SSCL setup first, we discover an interesting phenomenon that, with the SSL-learned background model, the intermediate features are highly correlated between tasks. Based on this new finding, we propose a new SSCL method with layer-wise freezing which progressively freezes partial layers with the highest correlation ratios for each task to improve training computation efficiency and memory efficiency. Extensive experiments across multiple datasets are performed, where our proposed method shows superior performance against the SoTA SSCL methods under various SSL frameworks. For example, compared to LUMP, our method achieves 12\%/14\%/12\% GPU training time reduction, 23\%/26\%/24\% memory reduction, 35\%/34\%/33\% backward FLOPs reduction, and 1.31\%/1.98\%/1.21\% forgetting reduction without accuracy degradation on three datasets, respectively.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27865v1cs.LG공통 태그 Self-Supervised Learning, Continual Learning

무엇이 바뀌었는가? 실제·가상·비교 불가 진단을 통한 드리프트 탐지

What Changed? Drift Detection with Real, Virtual, and Incomparable Diagnosis

깊은 인코더를 공유한다고 해서 그 자체만으로 과제 비교 점수의 핵심 교란(confound)을 해소하지는 못한다. 우리는 고정된 공유 표현 위에서 교차 평가된 head가 얕은 exchange 점수의 외삽(extrapolation) 교란을 그대로 물려받음을 보인다. 레이블은 고정한 채 순수 입력 회전만 적용하면 깊은 exchange 점수가 약 0에서 0.80까지 부풀어 오르는 반면, 표현-신규성(novelty) 점수는 상보적인 방향에서는 맹점이 있다(과제를 완전히 바꾸는 레이블 순열 아래에서는 평평하게 유지된다). 조건부 이중 판별자(two-discriminator) discrepancy를 임베딩 공간으로 이식하면 두 맹점을 모두 해소한다. 기능(functional) 축은 회전 아래에서 ±0.001 이내로 유지되고, 레이블 순열 드리프트 질량(drift mass)을 단조적으로 추적한다. mixture-of-heads 수명주기에 통합하면 두 축 게이트(two-axis gate)는 동일 학습 예산에서 exchange 또는 novelty 트리거보다 더 적은 head로 더 나은 의사결정 품질을 달성한다. 일반화된 범주 발견(generalized category discovery)에서는 동일한 청크 수준(chunk-level) 기능 축이 AUROC 0.98–0.99로 의미적 신규성(semantic novelty)과 photometric shift를 분리하는데, 입력별 OOD 점수(MSP, Energy, Mahalanobis, KNN)는 그 구분에 대해 거의 우연(chance) 수준에 머문다. 모든 결과는 CIFAR-100에서 frozen ImageNet-21k ViT-B/16과 자기지도(self-supervised) DINOv2 백본에서 재현되며, recurrence를 갖는 residual adapter pool로도 확장된다. null 보정 novelty 트리거는 메커니즘 변화에서 한 번도 발화하지 않는 반면, 두 축 게이트는 recurrence를 전부 재사용하여 이를 처리한다. 임베딩 공간에서의 결론이 원래 메커니즘으로 전이되기 위한 공통 요인화(common-factoring) 조건을 명시적으로 기술한다.

arXiv:2607.24112v1cs.AI공통 태그 Self-Supervised Learning, Continual Learning

시각적 상태 전이를 통한 GUI 에이전트 스케일링

Scaling GUI Agents with Visual State Transitions

본 연구는 GUI 에이전트를 위한 새로운 스케일링 축으로 State Transition Pretraining(STP)을 제안한다. STP 단계에서는 역역학(inverse dynamics, 상태 변화로부터 행동 예측)과 순방향 역학(forward dynamics, 현재 상태와 행동으로부터 다음 상태 예측)을 공동 최적화하여 시각적 상태 전이에 대해 통합 멀티모달 모델을 지속적으로 사전학습한다. 이 최적화를 통해 모델은 더 나은 행동 그라운딩(action-grounded) 시각 표현과 GUI 역학에 대한 내부 세계 모델(internal world model)을 갖추게 된다. 이후 작업 지시가 포함된 궤적에 미세조정하면, STP로 학습된 모델은 데스크톱 및 모바일 GUI 시나리오(AgentNetBench, AndroidControl, GUIOdyssey)의 에이전트 벤치마크 전반에서 궤적 직접 미세조정만으로 학습된 베이스라인을 일관되게 능가한다. 추가 실험 연구는 공동 역학 최적화가 단일 목표 학습 대비 안정적인 개선을 제공하며, 하류 성능이 전이 데이터 양에 따라 꾸준히 스케일링됨을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.