arXiv:2606.25354v2 cs.CL

Efficient and Trainable Language Model Test-Time Scaling via Local Branch Routing

Yutong Yin, Mingyu Jin, Jin Pan, Changyi Yang, Zijie Xia, Dhruv Pai, Shuming Hu, Zhen Zhang, Chenyang Zhao, Jinman Zhao, Wujiang Xu, Raymond Li, Xin Eric Wang, Julian McAuley, Zhaoran Wang

제출 2026-06-24

원문 초록

Test-time scaling improves language-model reasoning, but existing approaches often face a difficult trade-off: long chain-of-thought sampling remains single-threaded, while sentence- or solution-level search can be computationally expensive and hard to train end-to-end. We introduce Local Branch Routing (LBR), a token-level test-time scaling framework that expands a small local lookahead tree, forwards all sampled branches through the language model, and uses a lightweight router to select the depth-1 subtree to commit. By routing over the hidden states of candidate local futures, LBR allows each token decision to use evidence beyond the root next-token distribution while avoiding full solution-level search. The resulting prune-shift-grow decoding process preserves discrete branch identities and defines a tractable tree-trajectory likelihood: newly grown nodes are counted when first sampled, and router decisions are assigned explicit probabilities. This enables end-to-end reinforcement learning with verifiable rewards, jointly optimizing the base model and router under the same likelihood-ratio principle as discrete-token RLVR. On synthetic hierarchical-planning tasks, LBR shows that post-candidate hidden states provide useful routing evidence. On mathematical reasoning benchmarks, LBR improves both Pass@1 and Pass@32 over discrete chain-of-thought, vanilla discrete-token RLVR, and RL-compatible soft-token branching baselines. These results suggest that lightweight local branching offers an efficient, trainable, and discrete form of language-model test-time scaling.

요약

로컬 브랜치 라우팅(Local Branch Routing, LBR)은 토큰 수준의 테스트-타임 스케일링(test-time scaling) 프레임워크로, 작은 로컬 룩어헤드 트리를 확장하고 경량 라우터가 후보 분기들의 히든 스테이트(hidden state)를 활용해 커밋할 서브트리를 선택한다. 이 방식은 완전한 솔루션 수준 탐색 없이 이산적 분기 정체성을 보존하면서 검증 가능한 보상으로 엔드-투-엔드 강화학습(RLVR)을 가능하게 하며, 수학적 추론 벤치마크에서 사고의 연쇄(Chain-of-Thought) 및 소프트 토큰 분기 기반 방법 대비 Pass@1과 Pass@32 모두에서 성능 향상을 보였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.25354v2제출 시각 미확인
  2. arXiv:2606.25354v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.