한국어 초록
무작위로 초기화된 고정 가중치와 학습 가능한 편향을 가진 신경망은 보편 근사기이지만, 편향 전용 학습의 동역학은 대부분 탐구되지 않았다. 우리는 입력 공간을 볼록 다면체 영역으로 분할하는 활성 뉴런의 이진 패턴인 활성 코드를 통해 은닉층이 하나인 ReLU 네트워크에서 이러한 동역학을 연구한다. 편향에 대한 기울기가 각 입력에 대해 그 활성 코드를 통해서만 의존함을 보이며, 따라서 학습 동역학을 이러한 코드로 특성화할 수 있다. 특히 활성 코드가 고정되어 있는 한, 학습은 코드를 특징으로 하는 선형 최소제곱 문제로 환원된다. 학습은 뉴런이 활성 상태를 바꿀 때 전이가 일어나는 일련의 최소제곱 문제로 이해될 수 있다. 네트워크 폭이 넓어질수록 상태가 바뀌는 뉴런의 비율이 사라지며, 무한 폭 극한에서 학습 동역학이 초기 활성 코드에 대한 선형 최소제곱의 동역학에 근접함을 보인다. 실험 결과는 이러한 이론적 발견을 뒷받침하며, 활성 전환이 더 좁은 네트워크에서는 학습에 눈에 띄게 영향을 미칠 수 있으나 폭이 증가함에 따라 그 상대적 빈도와 이에 따른 동역학의 변화가 감소함을 보여준다.
원문 초록
Neural networks with randomly initialized, fixed weights and trainable biases are universal approximators, yet the dynamics of bias-only training remain largely unexplored. We study these dynamics in one-hidden-layer ReLU networks through activation codes, the binary patterns of active neurons that partition the input space into convex polyhedral regions. We show that the gradients with respect to the biases depend on each input only through its activation code, and hence the training dynamics can be characterized with these codes. In particular, as long as the activation codes remain fixed, training reduces to a linear least-squares problem with the codes as features. Training can then be understood as a sequence of least-squares problems, with transitions occurring when neurons change their activation states. We show that the fraction of switching neurons vanishes as the network widens, and the training dynamics approach those of linear least squares on the initial activation codes in the infinite-width limit. Our experiments support these theoretical findings, showing that while activation switches can noticeably affect training in narrower networks, their relative frequency and the associated changes in the dynamics diminish as the width increases.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24797v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.