PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18524v1cs.LG

루프드 트랜스포머의 잔차 스케일링: 안정성과 전이성

On the Residual Scaling of Looped Transformers: Stability and Transferability

가중치 공유 Looped Transformer에서는 반복 간 잔차 업데이트가 상관되어 기존 1/√L 스케일링이 부족하므로 1/N 및 다층 블록용 ε=λ/(N√L) 파라미터화가 필요하다는 점을 이론적으로 보였다. 최적 학습률이 루프 횟수 N이 아닌 고유 층 수 L에만 의존해 작은 N에서 튜닝한 하이퍼파라미터를 큰 N으로 재조정 없이 전이할 수 있으며, 실험에서 1/N 스케일링이 1/√N보다 학습 안정성과 손실 모두에서 더 우수했다.