arXiv:2301.11500

Understanding Incremental Learning of Gradient Descent: A Fine-grained Analysis of Matrix Sensing

Jikai Jin, Zhiyuan Li, Kaifeng Lyu, Simon S. Du, Jason D. Lee

제출 2023-01-27

원문 초록

It is believed that Gradient Descent (GD) induces an implicit bias towards good generalization in training machine learning models. This paper provides a fine-grained analysis of the dynamics of GD for the matrix sensing problem, whose goal is to recover a low-rank ground-truth matrix from near-isotropic linear measurements. It is shown that GD with small initialization behaves similarly to the greedy low-rank learning heuristics (Li et al., 2020) and follows an incremental learning procedure (Gissin et al., 2019): GD sequentially learns solutions with increasing ranks until it recovers the ground truth matrix. Compared to existing works which only analyze the first learning phase for rank-1 solutions, our result provides characterizations for the whole learning process. Moreover, besides the over-parameterized regime that many prior works focused on, our analysis of the incremental learning procedure also applies to the under-parameterized regime. Finally, we conduct numerical experiments to confirm our theoretical findings.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2411.16073v4cs.LG공통 태그 Incremental Learning공식 코드 · Papers with Code

연속 학습을 위한 Soft-TransFormers

Soft-TransFormers for Continual Learning

잘 초기화된 복권 티켓 가설(Well-initialized Lottery Ticket Hypothesis, WLTH)에서 영감을 받아, 우리는 Soft-TransFormers(Soft-TF)를 제안한다. 이는 고정된 사전학습 트랜스포머를 선택된 셀프 어텐션(self-attention) 레이어의 query, key, value, output 투영(projection)에 대한 실수값 곱셈 마스크로 구성된 과제별 소프트 서브네트워크를 통해 적응시키는 연속 학습(continual learning) 프레임워크이다. 마스크는 1로 초기화되므로 최적화는 정확히 사전학습 해법에서 시작하며, 마스크 공간 경사하강법은 본질적으로 백본의 지배적 경로를 조절하는 방향으로 편향된다. 우리는 표준 볼록-리ipschitz 가정 하에서, 수렴 속도와 마스크만 사용하는 미세조정의 매개변수 편향(drift) 모두가 사전학습 가중치에서 과제 최적 구성까지의 거리에 의해 제어됨을 증명한다. 이러한 제한된 편향은 두 가지 성질을 만든다. 백본과 과제별 마스크가 덮어쓰이지 않으므로 망각은 구조적으로 제거된다. 또한 모든 과제 서브네트워크가 공유 사전학습 해법 근처에 머물기 때문에, 잘못된 마스크라도 거의 범용적인 함수에 가까운 함수를 평가하므로 과제 추론 오류는 대체로 무해하며, 클래스 증분(class-incremental) 정확도는 과제 추론 신뢰성과 분리된다. 플러그인으로 Soft-TF는 L2P, DualPrompt, HiDe-Prompt, NoRGa와 결합되며, 과제 키 매칭, 엔트로피-그래디언트 기준, 또는 학습된 과제 식별 분류기로 마스크를 선택한다. Split-CIFAR100, Split-ImageNet-R, CUB-200, 5-Datasets 등 클래스 증분 학습 벤치마크에서 Soft-TF는 유사한 학습 가능 매개변수 예산에서 프롬프트 기반, 어댑터 기반, LoRA 스타일 기준선들을 일관되게 능가하면서, 수정되지 않은 백본과 동일한 추론 비용을 유지한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.