arXiv:2606.11209v1 cs.CL

ProcessThinker: 롤아웃 기반 과정 보상을 통한 멀티모달 대규모 언어 모델 추론 향상

ProcessThinker: Enhancing Multi-modal Large Language Models Reasoning via Rollout-based Process Reward

Jingpei Wu, Xiao Han, Weixiang Shen, Boer Zhang, Zifeng Ding, Volker Tresp

제출 2026-04-23

한국어 초록

비주얼 질의응답은 점차 다단계 추론을 요구하고 있습니다. 최근 검증 가능한 보상(RLVR) 및 그룹 상대 정책 최적화(GRPO) 하의 강화학습을 이용한 사후 학습은 멀티모달 추론을 향상시킬 수 있지만, 대부분의 접근 방식은 희소한 결과 전용 보상에 의존합니다. 결과적으로, 오답이 추론 후반부의 작은 실수에서 비롯되었는지 아니면 처음부터 도움이 되지 않는 궤적에서 비롯되었는지 파악하는 데 어려움을 겪습니다. 일반적인 해결책은 단계 수준 감독을 위해 과정 보상 모델(PRM)을 학습시키는 것이지만, 이는 일반적으로 대규모 고품질 사고의 연쇄 주석과 추가적인 학습 비용을 필요로 합니다. 우리는 명시적인 PRM을 학습시키지 않고 단계 수준 과정 보상을 제공하는 실용적인 사후 학습 파이프라인인 ProcessThinker를 제안합니다. ProcessThinker는 먼저 콜드 스타트 지도 미세조정을 위해 추론 트레이스를 단계 태그 형식으로 재작성한 다음, 표준 형식 보상과 우리의 롤아웃 기반 과정 보상으로 GRPO를 적용합니다. 구체적으로, 각 중간 단계에 대해 해당 단계에서 여러 후속 생성을 샘플링하고 경험적 성공률(최종 답변 검증)을 단계 보상으로 사용합니다. 이는 밀도 높은 신용 할당을 제공하고 올바른 결론을 더 신뢰할 수 있게 지지하는 추론 단계를 장려하여, 단계 간 불일치하거나 자기 모순적인 진행을 줄이는 데 도움을 줍니다. 이는 논리적 추론의 핵심 문제입니다. 4개의 도전적인 비디오 벤치마크(Video-MMMU, MMVU, VideoMathQA, LongVideoBench)에서 ProcessThinker는 기준선 모델인 Qwen3-VL-8B-Instruct보다 일관되게 성능을 향상시켰습니다.

원문 초록

Visual question answering increasingly requires multi-step reasoning. Recent post-training with reinforcement learning under verifiable rewards (RLVR) and Group Relative Policy Optimization (GRPO) can improve multimodal reasoning, but most approaches rely on sparse outcome-only rewards. As a result, they struggle to tell whether an incorrect answer comes from a small mistake late in the reasoning or from an unhelpful trajectory from the start. A common solution is to train a process reward model (PRM) for step-level supervision, but this typically requires large-scale high-quality chain-of-thought annotations and additional training cost. We propose ProcessThinker, a practical post-training pipeline that provides step-level process rewards without training an explicit PRM. ProcessThinker first rewrites reasoning traces into a step-tagged format for cold-start supervised fine-tuning, then applies GRPO with a standard format reward and our rollout-based process reward. Concretely, for each intermediate step, we sample multiple continuations from that step and use the empirical success rate (final-answer verification) as the step reward. This gives dense credit assignment and encourages reasoning steps that more reliably support a correct conclusion, helping reduce inconsistent or self-contradictory progress across steps -- a key issue in logical reasoning. Across four challenging video benchmarks (Video-MMMU, MMVU, VideoMathQA, and LongVideoBench), ProcessThinker consistently improves over the baseline model Qwen3-VL-8B-Instruct

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11209v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02181v3cs.CV공통 태그 Reinforcement Learning, Video Understanding, Large Language Model

OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합

OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning

본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.

arXiv:2610.15810v1cs.CV공통 태그 Reinforcement Learning, Visual Question Answering, Large Language Model

적응적 보기, 유연한 사고: 멀티모달 추론에서 어떻게, 얼마나 길게 생각할지 학습하기

Adaptive Look, Flexible Thought: Learning How and How Long to Think in Multimodal Reasoning

긴 사고의 연쇄(Chain-of-Thought, CoT) 추론과 외부 도구의 도입은 일반 작업과 추론 작업에서 멀티모달 대규모 언어 모델(MLLM)의 성능을 크게 향상시켰다. 그러나 기존의 빠르고-느린(fast-slow) 추론 패러다임은 주로 텍스트 추론의 길이를 조절하는 데 그치며, 외부 도구나 비주얼 토큰에 의해 도입되는 시각적 연산은 흔히 보조적인 구성 요소로 취급된다. 이러한 분리는 MLLM이 시각적 지각(visual perception)과 텍스트 추론을 함께 최적화하는 것을 가로막는다. 이 문제를 해결하기 위해, 우리는 연산의 형태와 깊이를 함께 최적화하는 통합 추론 프레임워크인 L2T(adaptive Look, flexible Thought)를 제안한다. L2T는 먼저 도구가 생성한 시각적 상태를 비주얼 토큰으로 이산화(discretize)하여, 시각적 지각과 텍스트 추론을 공유된 자기회귀(autoregressive) 공간으로 통합한다. 이러한 통합된 표현을 기반으로, L2T는 적절한 추론 모드를 선택하기 위한 모달리티 인지 라우팅 보상(modality-aware routing reward)과 과제의 복잡도에 따라 추론 깊이를 조정하는 난이도 인지 빠르고-느린 전략(difficulty-aware fast-slow strategy)을 도입한다. 일반적인 지각 작업과 추론이 집중적으로 필요한 작업에 대한 실험은 L2T의 효과를 입증한다. 명시적으로 도구를 호출하는 접근법과 비교할 때, L2T는 경쟁력 있는 성능을 유지하면서도 1.7~3.6배 높은 처리량(throughput)을 달성한다.

arXiv:2610.13594v1cs.AI공통 태그 Reinforcement Learning, Large Language Model, grpo

MENTOR: 온-정책 교육적 개입을 통한 실패로부터의 학습

MENTOR: Learning from Failure with On-Policy Pedagogical Intervention

검증 가능한 보상을 활용한 강화학습(RLVR)은 대형 추론 모델의 핵심 동력이지만, 과제 난이도가 갑자기 높아지면서 학습 신호가 사라지는 훈련 실패 현상인 "제로 보상 붕괴(zero-reward collapse)"에 취약하다. 우리는 이러한 실패한 궤적을 폐기하는 기존 방식이 낭비적이라고 주장한다. 이 궤적들은 모델의 인지적 공백에 대한 귀중한 진단 정보를 담고 있으며, 이는 회복을 위해 활용될 수 있는 긍정적인 측면이기 때문이다. 그러나 기존 해결책들은 사전 정의된 힌트 라이브러리와 같은 정적인 "오프-정책(off-policy) 방식"의 개입으로 퇴행하거나 사후적(post-hoc) 보정을 수행하는 경우가 많아, 붕괴에서 벗어나는 데 필요한 적응적이고 미래지향적인 안내를 제공하지 못한다. 이를 해결하기 위해, 우리는 온-정책(on-policy) 교육적 개입으로의 패러다임 전환을 제안하고, 실시간 멘토 역할을 하는 다중 에이전트 프레임워크인 MENTOR를 소개한다. MENTOR는 실패의 근본 원인을 실시간으로 진단하고, 학습 에이전트의 다음 시도를 안내하기 위해 목표가 명확한 교육적 프롬프트를 동적으로 생성한다. 플러그 앤 플레이 모듈로서, MENTOR는 훈련 인프라를 수정하지 않고도 GRPO와 같은 기존 정책 최적화 파이프라인에 매끄럽게 통합된다. 수학 및 코드 생성에 대한 광범위한 실험 결과, MENTOR는 제로 보상 붕괴를 효과적으로 완화하며 최신 베이스라인들을 능가하는 것으로 나타났다. 특히, Llama-3.2-3B-Instruct에서는 기본 모델 대비 평균 최대 78.3%의 상대적 성능 향상이라는 큰 폭의 개선을 달성했다.

arXiv:2610.03548v1cs.AI공통 태그 Reinforcement Learning, Large Language Model, grpo

최첨단 추론 데이터 생성을 위한 재귀적 하네스 자기 개선

Recursive Harness Self-Improvement for Frontier Reasoning Data Synthesis

점진적으로 더 어려운 추론 문제를 생성하려면 태스크 분포가 진화함에 따라 적응하는 합성 절차가 필요합니다. 기존의 태스크 수준 재귀는 생성된 문제를 시드(seed)로 재사용하지만 구축 하네스(construction harness)는 변경하지 않고 그대로 유지합니다. 본 논문에서는 추론 데이터 합성에서 재귀적 하네스 자기 개선(recursive harness self-improvement, RSI)을 위한 프레임워크인 태스크-하네스 공진화(task-harness co-evolution)를 제안합니다. 온라인 자기 개선은 생성 과정 중 솔버(solver)의 중간 실패를 재사용 가능한 스킬로 변환합니다. 사후(post-task) 자기 개선은 각 배치 이후 스킬, 프롬프트, 워크플로를 수정하며, 제한된 비용 증가 범위 내에서 더 어렵고 유효한 태스크를 생성할 때만 후보를 채택합니다. 모델 가중치와 검증 기준은 고정된 상태로 유지됩니다. 수학, 코딩, 과학 전반에서 14회의 진화 라운드에 걸쳐 평균 솔버 정확도가 100.0%에서 54.8%로 감소합니다. 어블레이션 연구에 따르면 두 업데이트 일정을 결합할 경우 고정 하네스 재귀나 단일 일정만을 사용할 때보다 더 어려운 태스크가 생성됨을 보여줍니다. 이렇게 생성된 데이터는 다운스트림 SFT 및 GRPO 성능을 향상시킵니다. 특히 합성된 1만 개의 수학 예제로 파인튜닝(fine-tuning)된 27B 학생 모델은 APEX에서 62.5%의 mean-16 정확도를 달성하여 일부 최첨단(frontier) 참조 모델과 경쟁력 있는 성능을 보입니다. 이러한 결과는 다운스트림 학습 가치를 지닌 점점 더 도전적인 데이터를 생성하기 위해 태스크와 함께 합성 하네스를 적응시키는 방식을 뒷받침합니다.

arXiv:2610.01762v1cs.CV공통 태그 Visual Question Answering, Video Understanding, Large Language Model

OneStreamer: 스트리밍 비디오 상호작용에서 인식, 메모리 및 능동적 응답의 통합

OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction

스트리밍 비디오 대규모 언어 모델(LLM)은 향후 태스크와의 연관성이 알려지기 전에 증거를 보존하고, 충분한 증거가 확보되었을 때 응답할 수 있어야 합니다. 여기서 당면 과제는 실시간 인식을 저해하지 않으면서 재사용 가능한 사실적 메모리를 형성하는 것입니다. 본 논문에서는 공유된 능동적 생성 과정을 통해 쿼리 무관한 증거 기록과 태스크 응답을 공동으로 학습하는 OneStreamer를 소개합니다. OneStreamer의 능동적 계층형 캡션 메모리(PHCM)는 시간에 기반한(time-grounded) 세부 로컬 캡션과 완료된 이벤트 요약을 생성합니다. 스트리밍 캡션 타깃은 학습(training) 중에 관찰된 비디오 접두부의 해석을 지도합니다. 추론(inference) 시에는 모델(model)이 생성한 기록이 최근의 시각적 윈도우를 보완하여, 과거 시각 특징을 다시 참조하지 않고도 재사용 가능한 사실적 컨텍스트를 제공합니다. 능동적 상태 전이 학습(PSTL)은 모든 출력 앵커에서 지도 신호를 보존하고 대표적인 상태 변화 및 상태 유지 토큰을 선택함으로써 반복되는 대기 상태의 지배적 영향을 줄입니다. 나아가 사용 가능한 증거에 맞춰 출력 내용과 타이밍을 정렬하는 스트리밍 데이터 합성 파이프라인을 개발했습니다. 이렇게 생성된 스트리밍 캡션 및 QA를 정제된 오픈소스 데이터와 결합하여, 다양한 태스크에 걸쳐 100만 개 이상의 레코드를 포괄하는 광범위한 스트리밍 비디오 상호작용 데이터셋(dataset)인 OneStreamer-1M을 구축했습니다. 본 연구의 4B 모델은 평가된 8개의 스트리밍 비디오 이해 벤치마크 전반에서 비교 방법들 중 최고의 결과를 달성했습니다. 절제 연구에 따르면, 생성된 캡션을 유지하는 것이 실시간 인식을 저하시키지 않으면서 과거 QA 성능을 향상시키는 것으로 나타났습니다. 또한 PSTL은 주석이 달린 상태 토큰의 27.5%만을 지도하면서도 밀집 상태 지도 방식을 능가했습니다. 종합적으로 이러한 결과들은 능동적 생성이 스트리밍 비디오 상호작용에서 인식, 메모리 형성, 그리고 적시 응답을 연결하는 공유 학습 인터페이스 역할을 할 수 있음을 뒷받침합니다.

arXiv:2610.13672v2cs.CL공통 태그 Large Language Model, grpo

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.