PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27735v1cs.LG

NS-ATTENTION: 비전 트랜스포머에서 어텐션 출력의 Newton-Schulz 변환

NS-ATTENTION: Newton-Schulz Transformations of Attention Outputs in Vision Transformers

Newton-Schulz(NS) 반복은 최근 대규모 언어 모델 학습 중 업데이트 행렬을 변환하기 위해 Muon 옵티마이저에서 사용되었다. 이러한 스펙트럼 효과에 착안하여, 본 연구에서는 NS를 트랜스포머 어텐션 표현에 직접 적용하는 방법을 탐구한다. 우리는 각 어텐션 헤드의 출력에 적용되는 매개변수가 없는(parameter-free) 변환인 Newton-Schulz Attention(NS-Attn.)을 제안한다. 각 헤드 출력은 특징×토큰(feature-by-token) 행렬로 배열되어 Frobenius 노름으로 정규화된다. 이후 유한 횟수의 NS 다항식 단계를 적용한 뒤 원래의 노름을 복원한다. 이는 표준적인 헤드 병합 및 출력 투영 이전에 스펙트럼 집중을 줄이고 유효 랭크(effective rank)를 높이는 것을 목표로 한다. CIFAR-10과 CIFAR-100에서 ViT와 Swin을 대상으로 한 실험에서, NS-Attn.은 시드를 맞춘 12개의 비교 모두에서 최종 에포크 정확도를 향상시켰으며, 평균 향상 폭은 0.25~0.83 퍼센트 포인트이다. ViT 어블레이션에서는 반복 횟수가 한 번일 때가 두 번일 때보다 평균 정확도가 더 높았다. 스펙트럼 분석 결과 또한 최대 고유값 집중이 감소하고 유효 랭크가 증가함을 보여준다. 이러한 성능 향상에는 추가적인 추론 지연 시간이 수반된다.

arXiv:2606.27216v1math.NA

계층적 Muon: 효율적인 Muon 최적화를 위한 타일 Newton-Schulz 업데이트

Hierarchical Muon: Tiled Newton-Schulz Updates for Efficient Muon Optimization

Muon 유형 옵티마이저의 전체 행렬 Newton-Schulz 업데이트 비용을 줄이기 위해, 모멘텀-그래디언트 행렬을 T×T 타일로 나눠 각 타일에 동일한 유한 Newton-Schulz map을 독립 적용하는 계층적 Muon(HiMuon)을 제안한다. 연산량을 O(HWT K) 수준으로 낮추고 타일 단위 GPU 커널·층 간 배칭 등을 가능하게 하며, 트랜스포머 학습 실험에서 전체 행렬 Muon에 가까운 동작을 유지하면서 옵티마이저 스텝 효율을 개선한다.