M3OPD-Reasoner: 다중 교사 온-정책 증류로 멀티모달 추론을 사후 학습하는 공개 방법
M3OPD-Reasoner: An Open Recipe for Post-Training Multimodal Reasoning with Multi-Teacher On-Policy Distillation
한국어 초록
다중 교사 온-정책 증류(MOPD)에서는 학생 모델 하나가 스스로 생성한 응답에서 학습해 여러 도메인 교사의 능력을 흡수할 수 있다. 이미지 기반 STEM, 이미지 인식, 비디오라는 세 추론 영역에서 비전-언어 모델(VLM)을 사후 학습하는 완전 공개 방법 M3OPD-Reasoner(Multimodal Model Multi-Teacher On-Policy Distillation Reasoner)를 제시한다. 지도 미세조정(SFT)용 M3OPD-SFT-1.35M과 검증 가능한 보상 기반 강화학습(RL)용 M3OPD-RL-193K를 구성했다. 두 데이터셋에서 Qwen3.5-9B로 시작하는 여러 사후 학습 방법을 비교한다. 하나는 모든 도메인의 혼합 데이터에 모델 하나를 학습하는 방법(MixSFT와 MixRL)이다. 다른 방법은 그룹 시퀀스 정책 최적화(GSPO)를 바로 적용하거나 SFT 예열 뒤에 적용해 도메인마다 교사를 하나씩 학습하고, MOPD로 교사들을 학생 하나에 증류한다. 학습 데이터에서 평가 문항의 오염을 제거한 뒤 이미지 기반 STEM, 이미지 인식, 비디오 추론 벤치마크 21개에서 평가했다. Qwen3.5-9B에 바로 GSPO를 적용해 얻은 교사들을 MOPD로 증류하는 방식이 가장 우수했다. 학생은 각 교사의 도메인에서 해당 교사와 비슷한 성능을 냈으며, 같은 프롬프트에서 혼합 학습 기준선보다 평균적으로 높은 성능을 보였다. MOPD는 MixRL이 별도로 학습해야 할 도메인 능력을 이미 결합하므로 학생 모델은 RL의 더 나은 출발점이 된다. 같은 데이터로 더 개선할 수 있는지 보기 위해 동일한 프롬프트와 설정으로 MOPD 학생에 MixRL을 추가했다. 우리가 아는 한 기존 VLM 학습 방법에서 이 조합을 연구한 사례는 없다. 같은 프롬프트가 붕괴를 일으키지 않고 MOPD 학생을 추가로 개선해 주 모델인 M3OPD-Reasoner-9B를 얻었다. 따라서 MOPD와 MixRL을 연속된 단계로 적용하면 같은 데이터에서 더 큰 학습 효과를 얻을 수 있다. 모든 데이터와 학습 코드, 각 단계의 체크포인트를 공개한다.
원문 초록
Multi-Teacher On-Policy Distillation (MOPD) enables a single student to absorb the skills of several domain teachers by learning from its own generated responses. We present Multimodal Model Multi-Teacher On-Policy Distillation Reasoner (M3OPD-Reasoner), a fully open recipe for post-training vision-language models (VLMs) over three reasoning domains: image STEM, image perception, and video. We curate two datasets, M3OPD-SFT-1.35M for supervised fine-tuning (SFT) and M3OPD-RL-193K for reinforcement learning (RL) with verifiable rewards. On these data, we compare post-training recipes that start from Qwen3.5-9B: training one model on the mixed data of all domains (MixSFT and MixRL), and training one teacher per domain with Group Sequence Policy Optimization (GSPO), directly or after an SFT warm-up, and distilling the teachers into one student with MOPD. We evaluate on 21 image STEM, image perception, and video reasoning benchmarks after we decontaminate the training data against them. The comparison establishes MOPD of teachers trained with GSPO directly from Qwen3.5-9B as the best recipe: the student closely matches each teacher on its own domain and is on average above the mixed-training baselines on the same prompts. Since MOPD already merges the domain capabilities that MixRL would otherwise have to learn, its student is a stronger starting point for RL, and we ask whether the same data can carry the model further from there: we add MixRL on top of the MOPD student, on the same prompts and with the same settings, which, to our knowledge, no prior VLM recipe has studied. The same prompts still improve the MOPD student, with no collapse, and give our main model, M3OPD-Reasoner-9B. MOPD and MixRL can therefore work as consecutive stages that get more out of the same data. We release all data, the training code, and the checkpoints of every stage.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23034v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.