RLVR을 통한 시각 및 텍스트 추론을 위한 활성화 공간 탐색
Activation-Space Exploration for Visual and Textual Reasoning with RLVR
한국어 초록
검증 가능한 보상을 활용한 강화학습(RLVR)은 응답을 샘플링하고 자동 검증기로 채점하며 그 보상으로 정책을 갱신하여 시각 및 텍스트 추론을 향상시킨다. 따라서 정책은 자신의 롤아웃에 나타난 궤적으로부터만 직접적인 학습 신호를 받는다. 그러나 동일한 정책에서 반복 샘플링하면 유사한 추론 경로에 집중될 수 있어, 고정된 롤아웃 예산에서는 유용한 대안이 탐색되지 않은 채 남는다. 본 논문은 학습 롤아웃을 다양화하는 온라인 방법인 활성화 공간 탐색(ASE)을 제안한다. ASE는 동일 문제에 대한 정답 응답과 오답 응답 사이의 활성화 차이를 군집화하여 잠재 탐색 벡터의 구조화된 뱅크를 구성한다. 이후 서로 다른 벡터를 후속 롤아웃에 적용하여 대안적 추론 경로를 탐색한다. 동일한 롤아웃 예산에서 ASE는 Qwen3-VL-2B-Instruct에서 GRPO 대비 평균 정확도를 6개 시각 수학 벤치마크와 6개 일반 시각 추론 벤치마크에서 각각 5.41 및 3.15 퍼센트포인트 향상시킨다. Qwen3-1.7B-Base에서는 6개 수학 추론 벤치마크의 평균 Mean@8을 GRPO 대비 4.87 퍼센트포인트 향상시키며, Qwen3-8B-Base에서도 향상이 관찰된다.
원문 초록
Reinforcement learning with verifiable rewards (RLVR) improves visual and textual reasoning by sampling responses, scoring them with an automatic verifier, and updating the policy from the resulting rewards. The policy therefore receives direct learning signals only from trajectories that appear in its rollouts. Yet repeated sampling from the same policy can concentrate on similar reasoning paths, leaving useful alternatives unexplored under a fixed rollout budget. We introduce Activation-Space Exploration (ASE), an online method for diversifying training rollouts. By clustering activation differences between correct and incorrect responses to the same problem, ASE builds a structured bank of latent exploration vectors. Different vectors are then applied to subsequent rollouts to explore alternative reasoning paths. Under the same rollout budget, ASE improves average accuracy over GRPO on Qwen3-VL-2B-Instruct by 5.41 and 3.15 percentage points across six visual mathematical and six general visual reasoning benchmarks, respectively. On Qwen3-1.7B-Base, it improves average Mean@8 over GRPO across six mathematical reasoning benchmarks by 4.87 percentage points, with gains also observed on Qwen3-8B-Base.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.27012v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.