VICO: 비전-언어 모델 추론을 위해 함께 진화하는 시각적 환경
VICO: Visual Environments Co-Evolving for Vision-Language Model Reasoning
한국어 초록
검증 가능한 보상을 활용한 강화학습(RLVR)은 비전-언어 모델(VLM)의 사후 학습을 위한 표준적인 방법론이 되었으나, 일반적으로 정적인 학습 환경을 가정합니다. 액터(actor)의 성능이 향상됨에 따라 고정된 태스크는 점차 학습 영역(learning frontier)을 벗어나게 됩니다. 즉, 상당수는 사소해지고 다른 태스크는 여전히 해결 불가능한 상태로 남아 학습 신호가 소실됩니다. 본 논문에서는 VLM 사후 학습이 액터 자체뿐만 아니라 액터와 함께 시각적 환경도 진화시켜야 한다고 주장합니다. 이를 위해 액터와 리라이터 형태의 환경(EnvRewriter)을 공동 학습하는 공진화(co-evolutionary) 프레임워크인 VICO를 제안합니다. EnvRewriter는 씬 그래프(scene graph), 차트 테이블, 보호 영역 마스크와 같이 검증 가능한 이미지 측 구조를 편집하고 이를 다시 렌더링하여 정답 레이블이 유효한 학습 샘플을 생성하며, 통과율 기반 보상을 통해 샘플의 난이도를 액터의 현재 능력에 맞게 보정합니다. 이러한 루프는 추가적인 사람의 주석 작업 없이 태스크 난이도와 액터의 역량을 지속적으로 재조정합니다. 수학적 추론 및 시각적 그라운딩(visually grounded) 이해를 포괄하는 9개 멀티모달 벤치마크 전반에서, VICO-8B는 도메인 외(out-of-domain) 태스크에서 기본 모델 대비 최대 +5.0% 향상되었으며, 가장 강력한 자기 진화(self-evolution) 및 텍스트 편집 공진화 베이스라인을 각각 +4.3%, +8.4% 능가하였고, 16~160배 적은 레이블 샘플을 사용하면서도 차트 특화 RLVR 방식과 대등한 성능을 유지했습니다. VICO는 사람이 레이블링한 지도 학습에서 이미지 편집 공진화로 전환함으로써, 시각적 추론을 위한 정적 말뭉치 기반 RLVR을 넘어설 수 있는 확장 가능한 경로를 제공합니다.
원문 초록
Reinforcement learning with verifiable rewards (RLVR) has become a standard recipe for post-training vision-language models (VLMs), but it typically assumes a static training environment. As the actor improves, fixed tasks drift out of its learning frontier: many become trivial, others remain unsolvable; and the learning signal collapses. We argue that VLM post-training should evolve the visual environment alongside the actor, not just the actor itself. We propose VICO, a co-evolutionary framework in which an actor and an Environment-as-Rewriter (EnvRewriter) are trained jointly: the EnvRewriter edits verifiable image-side structures, such as scene graphs, chart tables, or protected region masks, and re-renders them to produce label-valid training samples whose difficulty is calibrated to the actor's current ability through a pass-rate-based reward. This loop continuously realigns task difficulty with actor capability without any additional human annotation. Across nine multimodal benchmarks spanning mathematical reasoning and visually grounded understanding, VICO-8B improves over its base model by up to +5.0% on out-of-domain tasks, surpasses the strongest self-evolution and text-editing co-evolution baselines by +4.3% and +8.4% respectively, and stays comparable to chart-specialized RLVR methods using 16-160 times fewer labeled samples. By shifting from human-labeled supervision to image-editing co-evolution, VICO offers a scalable path beyond static-corpus RLVR for visual reasoning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
검증 가능한 보상을 활용한 강화학습을 위한 분산-최적 상태 리샘플링
Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards
검증 가능한 보상을 활용한 강화학습(RL)은 롤아웃 예산의 상당 부분을 학습 신호를 제공하지 않는 상태에 소비합니다. 본 연구에서는 이를 샘플링 분포 자체에 대한 질문으로 재구성합니다. 즉, 고정된 롤아웃 예산 하에서 어떤 상태 분포가 정책 그래디언트 추정량의 분산을 최소화하는가 하는 점입니다. 이에 대한 해답은 닫힌 형식(closed-form)의 네이만 배분(Neyman allocation), $μ_{\mathrm{var}}^π(s) \propto d^π(s)\,σ_π(s)$으로 도출되며, 이는 GRPO의 그룹 상대적 이점(group-relative advantage)과 자연스럽게 연결되고 외재적으로 부과된 스케줄 없이도 정책이 향상됨에 따라 창발적인 역방향 커리큘럼(reverse curriculum)을 유도합니다. 이러한 원리를 바탕으로, 접두 문맥(prefix) 재생 버퍼와 비용이 들지 않는 분산 프록시를 사용하는 GRPO의 플러그인 수정 기법인 VSR(Variance-driven State Resampling)을 제안합니다. 수학적 추론 벤치마크 및 긴 주기의 에이전트(agentic) 과제(Sokoban, BabyAI)에서 VSR은 업데이트당 생성되는 토큰 수를 줄이면서도 대부분의 벤치마크에서 GRPO 및 GiGPO보다 우수한 성능을 달성합니다.
한 단계 더 어렵게, 지나치지 않게: GRPO에서 커리큘럼 난이도 점진적 확장의 이점과 한계
A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO
커리큘럼 학습(Curriculum learning)은 일반적으로 학습 샘플을 쉬운 것부터 어려운 순서로 구성합니다. GRPO에서는 중간 난이도 샘플이 유익한 그룹 상대적 학습 신호를 생성할 가능성이 더 높기 때문에 온라인 선택 시 매력적이며, 이를 우선시하면 학습 효율성을 향상시킬 수 있습니다. 그러나 이러한 샘플을 지속적으로 선택하는 것이 최종 모델 성능의 극대화로 이어지는지, 또는 더 어려운 샘플로 점진적으로 나아가는 것이 학습에 도움이 될 수 있는지는 여전히 불분명합니다. 한편, 정책(policy)이 발전함에 따라 샘플 난이도 또한 변화하므로, 고정된 난이도 추정치는 현재 정책과 불일치할 수 있습니다. 따라서 본 연구에서는 현재 정책에 따라 샘플 난이도를 재추정하고, 쉬운 것부터 어려운 것으로 진행하는 커리큘럼 학습의 원리에 착안하여 활성 난이도 구간을 점진적으로 더 어려운 샘플 쪽으로 전환하는 단계별 커리큘럼을 설계하고 평가합니다. GSM8K 실험 결과, 지속적인 중간 난이도 선택이 가장 우수한 성능을 달성하지는 못하는 것으로 나타났습니다. 3개의 무작위 시드 전반에 걸쳐, 적당히 더 어려운 난이도 구간으로 진행했을 때 테스트 정확도는 고정 중간 커리큘럼의 $0.6449 \pm 0.0024$와 비교하여 $0.6591 \pm 0.0077$로 향상되었습니다. 그러나 난이도 구간을 더 어렵게 추가로 확장하면 정확도가 $0.6405 \pm 0.0053$으로 감소합니다. 이러한 결과는 단계별 난이도 확장이 지속적인 중간 난이도 선택보다 뛰어난 성능을 보일 수 있지만, 그 이점이 단조적이지는 않음을 보여줍니다. 따라서 효과적인 GRPO 커리큘럼은 중간 난이도를 넘어 확장함으로써 이점을 얻을 수 있지만, 지나치게 어려운 샘플로의 과도한 진행은 피해야 합니다.
추론이 아닌 결정 학습: 저차원 활성화 스티어링을 통한 매개변수 효율적 결정 연산자
Learning to Decide, Not to Reason: Parameter-Efficient Decision Operators via Low-Rank Activation Steering
동결된(frozen) 언어 모델에 스킬을 주입하는 데는 현재 백만 개의 매개변수와 강화학습 파이프라인이 소요됩니다. 본 연구에서는 행동 복제(behavior cloning)로 학습되어 이 비용을 약 2단계(orders of magnitude)가량 낮추는 시스템-1(System-1) 결정 연산자인 DecSteer를 소개합니다. 기본 연산자는 33만(330K) 개의 매개변수를 사용하여 강화학습으로 학습된 133만(1.33M) 개 매개변수의 연산자와 동등하거나 그 이상의 성능을 달성하는 동시에, 정확도 손실 없이 3,685개 토큰의 숙고 과정을 6개 토큰의 결정으로 압축합니다. 기존에 발표된 가장 강력한 스킬 연산자의 1/58 수준인 2만 3천(23K) 개 매개변수를 가진 랭크-4(rank-4) 변형은 SearchQA에 충분하며, 더 높은 랭크가 여전히 도움이 되는 LiveMath에서도 충분한 수준에 근접합니다. 동일한 방식이 5가지 태스크와 3가지 백본 전반에 전이되며, 학습 후 수개월 뒤에 공개된 LiveMath 문제에서도 분포 외(out-of-distribution) 성능 향상이 유지됩니다. 이전 연구와의 성능 격차 원인은 학습 가능성(trainability)에 있으며, 이는 초기화와 아키텍처에 의해 함께 결정됩니다. 이전 연산자들의 초기화는 첫 최적화 단계에서 두 대형 인수 행렬의 그래디언트를 0으로 만드는 반면, 공유된 저차원 백본 내부에서 영점 초기화(zero-initialized)된 본 연구의 출력 투영은 즉시 그래디언트를 수신하며, 이는 그래디언트 흐름 탐침(gradient-flow probe)을 통해 직접 확인됩니다. 이러한 성능 향상은 사고의 연쇄(Chain-of-Thought) 압축에 의한 것이 아닙니다. LiveMath의 57점 중 23점은 기본 모델의 Best-of-8 샘플링을 능가하며, 로짓 렌즈(logit-lens) 탐침을 통해 연산자가 답을 조기에 작성하는 것이 아니라 모델의 기존 후반부 층 경로를 따라 답을 증폭한다는 것을 보여줍니다. 성능 이득은 13개의 기본 모델-태스크 쌍에 걸쳐 기본 모델의 개선 여지(headroom)를 따르며, 스킬들은 추론 시점에 더하고, 보간하고, 핫스왑할 수 있는 대략적인 선형 연산자로 결합됩니다.
SPLIT-RL: 주장 수준 이점을 활용한 단계별 지각-언어 추론 학습
SPLIT-RL: Staged Perception-Language Reasoning Training with Claim-Level Advantages
비전-언어(Vision-Language, VL) 추론은 모델이 이미지로부터 관련성 있고 정확한 정보를 추출하는 과정(시각적 추론, VR)과, 이로부터 답을 추론하는 과정(언어적 추론, LR)을 모두 수행해야 합니다. 검증 가능한 보상을 사용하는 강화학습은 일반적으로 최종 답변 보상을 포함하는 단일 사고의 연쇄(Chain-of-Thought, CoT)를 통해 두 과정을 함께 학습합니다. 이는 모든 CoT 토큰에 동일한 시퀀스 수준 이점을 부여하므로 능력별 오류를 구분하지 못합니다. 본 논문에서는 VR과 LR을 서로 분리된 단계에서 학습하는 단계별 사후 학습 접근법인 SPLIT-RL을 제안합니다. 한 그룹의 롤아웃이 한 번에 하나의 능력에 대해서만 달라지기 때문에, 그룹 상대적 이점은 해당 능력을 분리해 내며 각 단계는 단계별 보상을 통해 최적화됩니다. 나아가 VR 단계의 롤아웃을 원자적 시각 주장으로 분해하고 시각적 유형 그룹 형성을 기반으로 주장 수준에서 세분화된 이점을 제공하는 주장 수준 이점(CLA-GRPO)을 도입합니다. 비록 두 단계로 학습되지만, 학습된 정책은 추론 시점에 단일 CoT 호출을 사용하는 GRPO 모델처럼 평가됩니다. 이러한 프로토콜 하에서 SPLIT-RL은 2B부터 30B-A3B에 이르는 Qwen3-VL 모델들과 InternVL3.5-8B 전반에서 GRPO 대비 평균 정확도를 1.4-6.1점 향상시킵니다. 오라클 기반 진단을 사용하여 각 능력을 평가한 결과, 답변 전용 GRPO는 지각 능력을 변화시키지 않는 반면, SPLIT-RL은 VR과 LR을 모두 향상시키는 것으로 나타났습니다.
더 많음에서 더 적음을: 밀집 참조로 희소 비디오 추론 강화하기
Less from More: Reinforcing Sparse Video Reasoning from Dense References
비디오-언어 모델은 일반적으로 더 많은 시간적 관찰(temporal observation)이 더 신뢰할 수 있는 추론으로 이어진다고 가정한다. 본 연구는 이러한 가정에 의문을 제기하며, 핵심 과제는 단순히 더 많은 비디오 프레임을 효율적으로 처리하는 것이 아니라, 제한된 시간적 증거(temporal evidence) 하에서도 신뢰할 수 있게 추론하는 법을 학습하는 것이라고 주장한다. 우리는 밀집 비디오 뷰(dense video view)를 희소 프레임 추론(sparse-frame inference)을 위한 학습 시점 참조로 사용하는 dense-to-sparse 사후 학습 프레임워크인 SAVER를 제안한다. 강화학습 기반 사후 학습 과정에서, 쌍을 이루는 밀집 뷰와 희소 뷰는 그라운딩 보상(grounding reward)과 신뢰도 게이팅된 참조 보상(reliability-gated reference reward)으로 최적화되며, 이를 통해 희소 뷰 예측이 과제와 관련된 시간적 증거를 보존하도록 유도한다. 특히 SAVER는 비디오 질의응답(video question answering) 주석을 전혀 사용하지 않고, 무작위로 샘플링된 1,250개의 시간적 그라운딩(temporal grounding) 예제만으로 학습된다. 세 가지 시간적 그라운딩 벤치마크와 여섯 가지 비디오 질의응답 벤치마크에서, SAVER는 프레임 예산(frame budget)에 관계없이 일관되게 성능을 향상시킨다. 특히 SAVER는 훨씬 적은 프레임을 사용하면서도 밀집 프레임(dense-frame) Qwen3.5 베이스라인과 동등하거나 이를 상회하는 성능을 보인다. 이러한 결과는 시간적 그라운딩이 더 넓은 비디오 이해(video understanding) 과제로 전이되는 희소 비디오 추론을 학습하기 위한 효과적인 증거 위치 파악(evidence-localization) 프록시로 활용될 수 있음을 보여준다.
WeaveAgent: 초고해상도 원격 탐사 영상을 위한 2단계 도구 라우팅 에이전트
WeaveAgent: A Two-Stage Tool-Routing Agent for Ultra-High-Resolution Remote Sensing Imagery
문제. 모호한 사용자 의도를 가진 초고해상도(UHR) 원격 탐사에는 두 가지 병목 현상이 있습니다. 시각적 토큰(token) 비용이 크며, 도구 호출이 형식 측면에서 신뢰할 수 있어야 한다는 점입니다(사전학습된 모델은 제로샷(zero-shot) 환경에서 도구 호출을 전혀 생성하지 못함). 방법. 2단계 도구 라우팅 에이전트(agent)인 WeaveAgent는 라우팅과 시각적 인식을 분리합니다. 1단계(Stage A)는 라우팅 우선 방식으로, 호출 생성은 유도되는 것이 아니라 학습(training)됩니다. 2단계(Stage B)는 조건부로 실행됩니다. 내부적(intrinsic) 질의는 시각적 답변 단계로 들어가며(전체 장면 썸네일 사용, 선택적 고정 예산이자 약 5k 토큰 압축 인터페이스로서 WeaveEarth 스타일의 증거 보드 활용), 외부적(extrinsic) 질의는 원본 전체 해상도 영상에서 도구 호출을 실행하고 관찰 마스킹된 두 번째 턴에서 도구 관찰 결과를 바탕으로 답변합니다. 학습: 정렬 SFT 후 보상(reward) R_WA2 하에서 GRPO를 적용합니다. 결과. 정렬 SFT는 외부적 라우팅을 0%에서 80.75%(323/400)로 끌어올리며, GRPO는 도구 선택을 유지하면서 9건의 내부적 오호출 생성을 억제합니다. 학습된 2B 시스템은 전반적으로 제로샷 8B 기준선(baseline)을 능가하지 못하지만(0.263 대 0.250), 이는 진단적 기여에 해당합니다. 오라클 귀인 분석은 두 가지 복구 요소를 구분합니다. 관찰 결과를 컨텍스트에 로드하면 마커가 없는 교차 모드 반환에서 외부적 답변 정확도가 0.025에서 0.425로 향상되며, 2턴 SFT 단계는 약간의 라우팅 비용을 대가로 0.518까지 9.3포인트를 추가로 향상시킵니다. +/- 이미지 절제 연구(ablation)는 호출 생성 억제가 시각적으로 그라운딩(grounding)되어 있음을 보여주며, 질의 레지스터 매트릭스는 LLM으로 재작성된 질의가 학습된 체크포인트의 성능을 2~11포인트 떨어뜨림을 나타냅니다. 범위. 모든 학습 및 평가는 5,000 / 3,273 / 1,000개 레코드로 구성된 VagueUHR 말뭉치를 사용합니다(내부적 600개 + 도구 요구 400개; 기본 데이터는 합성을 시딩하며 최적화에는 사용되지 않음). 단일 패스 증거 구성은 RTX 4090에서 이미지당 7.31초로 실행됩니다. 코드, 데이터 및 평가 프로토콜이 공개될 예정입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.