arXiv:2012.06694

Consequences of Slow Neural Dynamics for Incremental Learning

Shima Rahimi Moghaddam, Fanjun Bu, Christopher J. Honey

제출 2020-12-12

원문 초록

In the human brain, internal states are often correlated over time (due to local recurrence and other intrinsic circuit properties), punctuated by abrupt transitions. At first glance, temporal smoothness of internal states presents a problem for learning input-output mappings (e.g. category labels for images), because the internal representation of the input will contain a mixture of current input and prior inputs. However, when training with naturalistic data (e.g. movies) there is also temporal autocorrelation in the input. How does the temporal "smoothness" of internal states affect the efficiency of learning when the training data are also temporally smooth? How does it affect the kinds of representations that are learned? We found that, when trained with temporally smooth data, "slow" neural networks (equipped with linear recurrence and gating mechanisms) learned to categorize more efficiently than feedforward networks. Furthermore, networks with linear recurrence and multi-timescale gating could learn internal representations that "un-mixed" quickly-varying and slowly-varying data sources. Together, these findings demonstrate how a fundamental property of cortical dynamics (their temporal autocorrelation) can serve as an inductive bias, leading to more efficient category learning and to the representational separation of fast and slow sources in the environment.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2602.19143v3cs.LG공통 태그 Incremental Learning, Inductive Bias

트랜스포머에서 희소 어텐션 패턴의 점진적 학습

Incremental Learning of Sparse Attention Patterns in Transformers

트랜스포머는 특정 위치로부터 정보를 복사하는 희소 어텐션 패턴을 통해 과거의 여러 위치에서 얻은 정보를 통합한다. 본 연구는 다음 토큰이 통계적 중요도가 서로 다른 여러 과거 위치 그룹에 의존하는 고차 마르코프 연쇄 설정에서 이러한 패턴이 학습 중에 어떻게 형성되는지를 연구한다. 학습은 이산적인 단계들로 진행되며, 각 단계는 그다음으로 중요한 그룹에 대한 희소 어텐션 패턴의 출현으로 특징지어진다. 역학은 처음에는 모든 어텐션 헤드가 지배적인 패턴에 집중하는 경쟁적 양상을 보이지만, 이후에는 서로 다른 헤드가 서로 다른 패턴에 특화되는 협력적 양상으로 바뀐다. 다루기 쉬운 대리 모델에서는 역학이 텐서 분해 문제의 역학으로 환원되어, 단계별 수렴을 증명할 수 있다. 실험적으로 완료되는 단계의 수는 학습 데이터셋 크기에 따라 달라지며, 이는 조기 종료를 통한 일종의 암묵적 복잡도 제어를 시사한다. 종합하면, 본 연구는 명시적인 커리큘럼 없이 구조화된 어텐션 패턴과 헤드 특화가 어떻게 나타나는지에 대한 이론적 설명을 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.