tilderesearch.com

이 이메일 도메인이 관측된 논문 2건

arXiv:2606.25354v2cs.CL

Efficient and Trainable Language Model Test-Time Scaling via Local Branch Routing

로컬 브랜치 라우팅(Local Branch Routing, LBR)은 토큰 수준의 테스트-타임 스케일링(test-time scaling) 프레임워크로, 작은 로컬 룩어헤드 트리를 확장하고 경량 라우터가 후보 분기들의 히든 스테이트(hidden state)를 활용해 커밋할 서브트리를 선택한다. 이 방식은 완전한 솔루션 수준 탐색 없이 이산적 분기 정체성을 보존하면서 검증 가능한 보상으로 엔드-투-엔드 강화학습(RLVR)을 가능하게 하며, 수학적 추론 벤치마크에서 사고의 연쇄(Chain-of-Thought) 및 소프트 토큰 분기 기반 방법 대비 Pass@1과 Pass@32 모두에서 성능 향상을 보였다.

arXiv:2606.27715v1cs.LG

Aurora: 레버리지 인식 스펙트럴 옵티마이저

Aurora: A Leverage-Aware Spectral Optimizer

키가 큰 행렬 매개변수, 예를 들어 MLP 층의 투영 행렬의 경우 Muon 업데이트의 행 노름이 임의로 불균일해질 수 있음을 보인다. 이는 자기 강화 피드백 루프로 이어져 뉴런이 지속적으로 작은 업데이트만 받게 되고, 결국 네트워크 출력에 의미 있게 기여하지 못하게 될 수 있다. 이 문제는 추가적인 행 정규화 단계로 효과적으로 완화할 수 있지만, 현재 방법들은 Muon 업데이트 기하학을 모멘텀 행렬의 극인수로부터 멀어지게 하는 방식으로 이를 수행하며, 이는 바람직하지 않다고 판단했다. 우리는 행렬 매개변수 업데이트의 행 균일성을 강제하면서 Muon의 극인수 기하학을 존중하는 옵티마이저인 Aurora를 제안한다. Aurora는 우리의 사전학습 실험에서 Muon을 능가하며, 기존 방법과 결합할 경우 modded-nanoGPT speedrun의 옵티마이저 트랙에서 스펙트럴 옵티마이저 중 최첨단 성능을 달성한다. 또한 Aurora가 Muon 대비 보이는 경험적 이득이 MLP 확장 계수에 따라 커짐을 확인했으며, 이는 Aurora가 매우 넓은 MLP 층의 효과적인 학습을 가능하게 할 수 있음을 시사한다.