PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.02016v2cs.LG

DASH: 배치 블록 사전조건화와 효율적인 역근 솔버를 통한 빠른 Shampoo

DASH: Faster Shampoo via Batched Block Preconditioning and Efficient Inverse-Root Solvers

Shampoo의 높은 계산 비용을 줄이기 위해 DASH(Distributed Accelerated Shampoo)가 제안되며, 사전조건자(preconditioner) 블록을 3D 텐서로 묶어 GPU 활용도를 높이고 Newton-DB 반복과 체비쇼프(Chebyshev) 다항식 근사로 역행렬 근 계산을 가속한다. GPU에 맞춘 구현은 Distributed Shampoo 대비 최대 5.6배 빠른 옵티마이저 스텝을 달성했고, Newton-DB는 테스트한 방법 중 반복당 검증 퍼플렉서티(perplexity)가 가장 낮았다.