MMVistaReason: 멀티모달 추론을 위한 공개 데이터 및 사후 학습 레시피를 향하여
MMVistaReason: Toward Open-Data and Post-Training Recipes for Multimodal Reasoning
한국어 초록
오픈 멀티모달 추론 모델은 대규모 추론 지도(supervision)를 통해 발전해 왔으나, 고르지 않은 데이터 품질, 비효율적인 지도 구성, 불균형한 난이도, 교차 도메인 간섭으로 인해 신뢰할 수 있는 사후 학습(post-training)은 여전히 까다로운 과제로 남아 있습니다. 본 연구에서는 세 가지 구성 요소로 이루어진 공개 데이터 사후 학습 레시피인 MMVistaReason(MVR)을 소개합니다: (1) 구조화된 추론 대 시각적 지각 및 공간적 그라운딩(spatial grounding)을 강조하며 상호 보완적인 분석적(Analytical) 및 실세계(Real-World) 추론 그룹 전반에 걸친 더 넓은 역량 커버리지, (2) 단계별 정제 및 주석을 통해 이종 공개 데이터를 표준화하고 난이도 인식 계단식 교사 증류와 정답 가능도(likelihood) 기반 궤적 선택을 결합하여 MVR-SFT-528K를 구축하며 스케일별 프론티어 필터링을 적용해 MVR-RL-63K를 구축하는 효율적인 SFT 및 강화학습(RL) 데이터 구성, (3) 상호 보완적인 RL 전문가를 학습(training)시키고 다중 교사 온-정책 증류(MOPD)를 통해 역량을 통합하는 '전문화 후 통합(specialize-then-integrate)' 학습. 본 연구의 분석을 통해 지도 난이도, 궤적 품질, 모델(model) 용량 간의 용량 의존적 상호작용이 밝혀졌습니다. 즉, 더 작은 학생 모델은 엄선된 지도 신호로부터 더 많은 이점을 얻는 반면, 더 큰 학생 모델은 궤적 변동 및 혼합 도메인 간섭에 강건합니다. 혼합 도메인 RL은 벤치마크 수준의 부정적 전이(negative transfer)를 유발하는 반면, MOPD는 일관된 역량 통합을 제공하며 선호되는 KL 방향은 모델 스케일에 따라 달라집니다. 15개 멀티모달 벤치마크 전반에서 MVR-4B는 평균 점수 72.8을 달성하여 MMFineReason 대비 약 70% 적은 샘플을 사용하면서도 Qwen3.5-9B(Instruct) 및 MMFineReason-8B를 능가했습니다. 9B로 스케일링하면 평균 74.4로 향상되어 Qwen3.5-35B-A3B(Instruct)를 능가합니다. 전반적으로 MMVistaReason은 체계적인 공개 데이터 구축과 용량 인식 사후 학습이 신뢰할 수 있는 멀티모달 추론을 향한 실용적이고 확장 가능한 경로를 제공함을 입증합니다.
원문 초록
Open multimodal reasoning models have benefited from large-scale reasoning supervision, yet reliable post-training remains challenging due to uneven data quality, inefficient supervision construction, imbalanced difficulty, and cross-domain interference. We introduce MMVistaReason (MVR), an open-data post-training recipe with three components: (1) broader capability coverage across complementary Analytical and Real-World reasoning groups, emphasizing structured reasoning versus visual perception and spatial grounding; (2) efficient SFT and RL data construction, standardizing heterogeneous open data through staged cleaning and annotation, combining difficulty-aware cascaded teacher distillation with answer-likelihood-based trajectory selection to construct MVR-SFT-528K, and applying scale-specific frontier filtering for MVR-RL-63K; and (3) specialize-then-integrate training, which trains complementary RL experts and consolidates their capabilities through multi-teacher on-policy distillation (MOPD). Our analyses reveal a capacity-dependent interaction between supervision difficulty, trajectory quality, and model capacity: smaller students benefit more from selected supervision, while larger students are robust to trajectory variation and mixed-domain interference. Mixed-domain RL introduces benchmark-level negative transfer, whereas MOPD provides consistent capability integration, with the preferred KL direction varying across model scales. Across 15 multimodal benchmarks, MVR-4B achieves an average score of 72.8, outperforming Qwen3.5-9B (Instruct) and MMFineReason-8B while using about 70% fewer samples than MMFineReason. Scaling to 9B improves the average to 74.4, surpassing Qwen3.5-35B-A3B (Instruct). Overall, MMVistaReason demonstrates that systematic open-data construction and capacity-aware post-training provide a practical and scalable path toward reliable multimodal reasoning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
데이터 없는 온-정책 지식 증류: 외부 데이터 없이 얼마나 멀리 갈 수 있는가?
Data-Free On-Policy Distillation: How Far Can We Go Without External Data?
온-정책 지식 증류(On-Policy Distillation, OPD)는 프론티어 파운데이션 모델의 사후 학습(post-training)에 점점 더 많이 적용되고 있습니다. 이 분야의 기존 연구는 주로 알고리즘적 발전에 초점을 맞추었으나, OPD가 학습 질문에 얼마나 의존하는지, 특히 이러한 의존성을 어디까지 줄일 수 있는지는 여전히 불분명합니다. 두 가지 대표적인 단일 교사(single-teacher) OPD 설정에 걸쳐, 저자들은 단 8개의 실제 프롬프트로 학습해도 17,000개 문제로 학습한 것과 유사한 성능을 얻을 수 있으며, 측정된 난이도와 초기 증류 격차가 크게 다른 데이터셋들 간에도 유사한 결과를 산출함을 발견했습니다. 이러한 분석은 두 가지 상호보완적인 설명을 제시합니다. 즉, 반복 샘플링을 통해 적은 프롬프트만으로도 상당한 교사 지도(teacher supervision)를 드러낼 수 있으며, OPD가 데이터셋별 지식을 넘어 일반화 가능한 추론 능력을 전이한다는 것입니다. 이러한 관찰을 바탕으로, 저자들은 외부 데이터의 필요성을 없애고 시스템이 스스로 학습 질문을 제공할 수 있는지 조사하기 위해 데이터 없는 온-정책 지식 증류(Data-Free On-Policy Distillation, DF-OPD) 설정을 제안합니다. 시드 예시 없이 생성된 64개의 자체 생성 질문을 통해, DF-OPD는 두 단일 교사 설정 모두에서 전체 데이터를 사용한 OPD와 유사한 성능을 산출합니다. 이러한 발견은 다중 교사(multi-teacher) OPD에서도 유효하여, 수학, 코드 및 인스트럭션 추종(instruction following) 전반에 걸쳐 1,000개의 생성된 질문이 약 7,000개의 실제 사후 학습 예시로 학습한 것과 유사한 성능을 달성합니다. 나아가 저자들은 OPD가 명시적인 학습 질문 없이도 작동할 수 있는지 탐구합니다. 실험 결과 이는 학생 모델이 예상치 못하게 자체 질문을 생성하고 답변하여 프로세스가 암묵적인 형태의 DF-OPD로 귀결되는 제한적인 경우에만 효과적임을 보여줍니다. 종합적으로 이러한 발견들은 온-정책 지식 증류에서 학습 데이터의 역할에 대한 재평가를 유도합니다. 코드는 https://github.com/Ryuki661/DF-OPD 에서 이용 가능합니다.
진화하는 오류로부터의 학습: 온-정책 증류를 위한 적응형 반복 복구
Learning from Evolving Errors: Adaptive Iterative Repair for On-Policy Distillation
온-정책 자가 증류(OPSD)는 학생 모델 자신의 정책에서 샘플링된 궤적에 대해 조밀한 토큰(token) 수준의 피드백을 제공하며, 이는 강화학습(RL)의 결과 수준 보상보다 더 풍부한 학습(training) 신호가 됩니다. 이 피드백은 학생에게는 주어지지 않는 완전한 참조 해법을 조건으로 하는 교사 모델로부터 생성됩니다. 그러나 참조 해법은 목표를 명시할 뿐 학생의 현재 오류에서 목표로 나아가는 방법을 알려주지는 않으므로, 해법 조건부 지름길 위험(solution-conditioned shortcut risk)을 초래합니다. 본 논문에서는 오류에서 복구로 이어지는 지도(supervision)를 제공하는 온-정책 증류 프레임워크인 적응형 반복 복구 AIR-OPD를 제안합니다. 실패한 응답이 주어지면 가이던스 생성기는 현재 오류에 대한 복구 가이던스를 합성합니다. 학생은 이 가이던스를 바탕으로 온-정책(on-policy) 재시도를 샘플링합니다. 재시도가 여전히 틀릴 경우, 생성기는 새롭게 관찰된 오류에 대한 새로운 복구 가이던스를 생성합니다. 각 라운드마다 고정된 교사는 특권 문맥(privileged context)으로 가이던스를 받아 최신 실패 응답 중 오류와 일치하는 영역에 대해 학생을 지도합니다. 결과 인식 단계별 가중치(Outcome-aware stage weighting)는 초기 복구 단계를 선호하며, 즉각적인 재시도가 검증을 통과한 단계에 가중치를 부여합니다. DAPO-Math-17K 데이터셋으로 AIR-OPD를 학습하고 AIME24, AIME25, HMMT25 및 분포 외(out-of-distribution) 테스트인 MMLU-Pro와 GPQA에서 평가를 진행합니다. 현재 학생 정책의 자체 가이던스와 더 큰 모델(model)의 외부 가이던스라는 두 가지 가이던스 소스를 검토합니다. Qwen3-4B와 Qwen3-8B 모두에서 AIR-OPD는 가장 높은 수학적 추론 평균을 달성하여 가장 강력한 기준선(baseline) 대비 최대 3.6점을 개선하는 동시에, 분포 외 벤치마크에서 기본 모델의 성능을 유지합니다.
온-정책 증류에서의 이득과 붕괴: 강화학습 관점
Gains and Collapse in On-Policy Distillation:A Reinforcement Learning Perspective
온-정책(on-policy) 증류(OPD)는 언어 모델 사후 학습(post-training)의 중요한 접근법으로 자리 잡았습니다. 그러나 이러한 성능 향상에도 불구하고, OPD는 지나치게 길고 반복적인 생성으로 붕괴될 수 있으며, 이러한 상반된 결과를 초래하는 기본 메커니즘은 여전히 잘 이해되지 않고 있습니다. 본 연구에서는 강화학습(RL) 관점을 통해 이러한 결과를 설명합니다. 즉, 교사(teacher) 모델은 자신이 거의 보이지 않는 행동에 대해서도 학생(student)의 행동에 암묵적으로 보상을 부여합니다. 이러한 관점에서, 본 연구의 실험은 OPD가 학생 모델의 역량을 확장하지 않고도 성능을 향상시킴을 보여줍니다. 암묵적 보상 모델이 신뢰할 수 있을 때, OPD는 정답 반응을 더 쉽게 샘플링할 수 있도록 만듭니다. 반면, 선호도가 품질과 불일치할 때는 보상 해킹(reward hacking)이 발생합니다. 교사 모델은 스스로 그러한 텍스트를 거의 생성하지 않음에도 불구하고, 암묵적 보상 모델은 지나치게 길고 반복적인 학생 롤아웃(rollout)을 증폭시킵니다. 이러한 진단을 바탕으로, 학습 중 비정상적인 반응을 마스킹하고 지도 미세조정(SFT) 초기화를 사용하는 것이 각각 이러한 붕괴를 효과적으로 완화할 수 있음을 발견했습니다. 종합하면, 이러한 발견은 OPD가 교사의 암묵적 피드백이 선호하는 학생 행동을 증폭시킨다는 점을 보여주며, 초점을 교사가 얼마나 잘 생성하는지에서 학생 롤아웃을 얼마나 신뢰성 있게 평가하는지로 전환시킵니다. 코드는 https://github.com/HancCui/opd_hacking 에서 확인할 수 있습니다.
RISED: 에이전트 다중 환경 선택 및 자기 증류를 위한 루브릭
RISED: RubrIcs for agentic multi-environment Selection and sElf-Distillation
다양한 상호작용 환경에서 단일 대규모 언어 모델(LLM) 에이전트를 공동으로 학습(training)시키는 것은 제너럴리스트 에이전트로 나아가는 경로로서 점점 더 많은 주목을 받고 있습니다. 기존의 커리큘럼 및 데이터 선택 전략은 종종 환경(environment) 수준에서 학습을 할당하거나 국소적인 보상(reward) 기반 신호에 우선순위를 두며, 프롬프트(prompt) 그룹 선택 시 환경 간 현재 롤아웃(rollout) 사이의 관계를 명시적으로 고려하지 않습니다. 한편, 환경마다 학습되는 속도가 다르기 때문에 배치(batch) 내에 전체 실패 및 전체 성공 롤아웃 그룹이 공존할 수 있으며, 이로 인해 해당 데이터에는 그룹 상대적 보상 신호가 남지 않게 됩니다. 이러한 두 가지 과제는 다중 환경 강화학습(RL)에서 스칼라 보상에만 의존하는 것의 한계를 부각합니다. 즉, 스칼라 보상은 환경 간 관계에 대한 제한적인 정보만 제공하며, 보상이 동일할 때는 그룹 내 보상 대조를 제공하지 못합니다. 이는 학습을 유도하기 위해 롤아웃 행동을 기술하는 루브릭(rubric)과 같은 더 풍부한 텍스트 피드백의 필요성을 동기부여합니다. 보상으로서의 루브릭 활용을 넘어, 본 연구는 온라인 데이터 선택과 정책 감독을 모두 유도하도록 루브릭을 재목적화합니다. LLM 판별기(judge)는 환경 전반에 걸쳐 공유되는 사전 정의된 루브릭 어휘를 사용하여 각 롤아웃에 태그를 지정합니다. 생성된 프로필은 이미 선택된 데이터와의 중복을 제한하면서 혼합 환경 배치의 전반적인 행동 구성과 일치하는 데이터 선택을 안내합니다. 사용 가능한 긍정적 루브릭(바람직한 행동 설명)은 온-정책(on-policy) 자기 증류 교사 모델(model)을 위한 특권적 맥락(privileged context)을 제공하여 추가적인 토큰(token) 수준의 감독을 공급하는 반면, 부정적 루브릭(원치 않는 행동 설명)은 이후의 롤아웃 생성이 반복되는 실패 모드에서 벗어나도록 유도합니다. 이러한 구성 요소들이 결합하여 RISED를 형성합니다. 여러 모델 백본에 걸쳐 RISED는 환경 전반에서 가장 높은 평균 통과율을 달성하며 모든 개별 환경에서 1위 또는 2위를 기록합니다. RISED에 대한 루브릭 기반 분석은 이러한 성능 향상에 수반되는 행동 변화를 추가로 규명할 수 있습니다.
사후 학습에서의 샤프닝 세금
Sharpening Tax in Post-Training
대규모 언어 모델(LLM)의 강화학습(RL) 사후 학습(post-training)에 관해 최근 떠오르는 가설은, 이것이 단지 베이스 모델의 기존 동작을 샤프닝(sharpening)하여 솔루션 커버리지를 희생하는 대신 단일 시도 정확도(single-shot accuracy)를 향상시킬 뿐이라는 점입니다. 이러한 상충 관계(trade-off)는 수학 및 코딩 과제에서 관찰되었으나, 멀티턴 도구 사용 및 상호작용을 위해 사후 학습 과정에서 새로 습득된 기능이 필요할 수 있는 에이전트(agent) 과제에까지 반드시 확장 적용될 필요는 없습니다. 본 연구의 놀라운 발견은 가벼운 추론(inference) 하네스를 갖춘 사전학습(pre-trained) LLM 또한 유능한 에이전트로 동작할 수 있다는 사실입니다. 훨씬 낮은 정확도(pass@1)에도 불구하고, 충분한 테스트 시간 예산이 주어지면 이들은 솔루션 커버리지(pass@K) 측면에서 종종 사후 학습된 대응 모델(post-trained counterparts)을 능가합니다. 더 나아가 기본 메커니즘을 분석하여 사후 학습이 과제를 '항상 해결됨' 또는 '전혀 해결되지 않음'이라는 두 극단으로 밀어붙이며, 이를 통해 솔루션 커버리지를 희생하면서 샘플링 효율성과 일관성을 개선한다는 점을 보여줍니다. 이러한 비용을 측정하기 위해, 사후 학습 후 테스트 시간 확장성(test-time scalability)의 손실(loss)을 정량화하는 진단 지표인 샤프닝 세금(Sharpening Tax)을 제안합니다. 4개 패밀리의 14개 베이스/사후 학습 모델(model) 쌍과 3개의 에이전트 벤치마크(총 42개 사례)에 걸쳐 평가한 결과, 이 세금은 대부분의 설정에서 만연하게 나타나며, 소수의 롤아웃만으로도 추정 가능하고 다른 지표들과도 잘 상관관계를 이룹니다. 마지막으로 프롬프트(prompt)별 샘플링 온도를 추정된 난이도에 맞게 적응시키는 간단한 플러그 앤 플레이 베이즈 샘플러인 후험 조정 그룹 샘플링(posterior-tempered group sampling, PTGS)을 제시합니다. 두 개의 에이전트 환경에서 RL 학습(training) 중에 적용했을 때, PTGS는 고정 온도 기준선(baseline)보다 더 적은 세금을 치르며, 단일 시도 정확도를 개선하는 동시에 반복 샘플링 조건에서 더 많은 과제를 해결합니다.
ComputerSD: 컴퓨터 사용 에이전트를 위한 실시간 피드백 기반 온라인 자기 증류
ComputerSD: Online Self-Distillation from Real-Time Feedback for Computer-Use Agents
온라인 학습(online training)은 컴퓨터 사용 에이전트(computer-use agent, CUA)가 실행 가능한 환경과의 상호작용을 통해 성능을 개선할 수 있게 한다. 그러나 기존 방법들은 주로 희소한 결과 보상(sparse outcome reward)에 의존하여 중간 행동에 대한 감독(supervision)을 제공하지 못한다. 온-정책 자기 증류(on-policy self-distillation, OPSD)는 특권적 재점수화(privileged rescoring)를 통해 토큰 수준의 학습 신호를 제공하지만, 이를 CUA 온라인 학습에 직접 적용하면 두 가지 문제가 발생한다: 고정된 가이던스(guidance)가 학생(student) 모델의 현재 상태와 어긋날 수 있다는 점, 그리고 가이던스로 인해 유발된 확률 변화가 단계 수준의 정확성(step-level correctness)과 충돌할 수 있다는 점이다. 본 논문에서는 실행된 GUI 전환으로부터의 실시간 피드백을 정책 학습을 위한 가이던스로 변환하는 CUA용 온라인 자기 증류 방법인 ComputerSD를 소개한다. 미세조정된(fine-tuned) GUI 분석기는 각 행동 이후 가이던스와 단계 수준의 가치 점수(value score)를 생성한다; 가이던스는 특권적 맥락(privileged context)을 제공하고, 점수는 그 결과로 생성되는 OPSD 신호를 조절한다. ComputerSD는 완전히 비동기적인(asynchronous) 학습 프레임워크에서 토큰 수준의 OPSD와 궤적(trajectory) 수준의 GRPO를 공동으로 최적화한다. OSWorld-Verified에서 ComputerSD는 범용 Qwen3-VL-8B-Thinking과 특화된 EvoCUA-8B 백본에서 각각 결과 전용(outcome-only) GRPO보다 1.9%p 및 4.1%p 더 높은 성능을 보인다. 분포 외(out-of-distribution) 환경에서의 평가는 ComputerSD의 일반화 가능성(generalizability)을 추가로 뒷받침한다. 이러한 결과는 CUA를 위한 온라인 자기 증류를 통한 실시간 피드백 학습의 효과를 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.