Off-Policy Evaluation for Human Feedback
원문 초록
Off-policy evaluation (OPE) is important for closing the gap between offline training and evaluation of reinforcement learning (RL), by estimating performance and/or rank of target (evaluation) policies using offline trajectories only. It can improve the safety and efficiency of data collection and policy testing procedures in situations where online deployments are expensive, such as healthcare. However, existing OPE methods fall short in estimating human feedback (HF) signals, as HF may be conditioned over multiple underlying factors and is only sparsely available; as opposed to the agent-defined environmental rewards (used in policy optimization), which are usually determined over parametric functions or distributions. Consequently, the nature of HF signals makes extrapolating accurate OPE estimations to be challenging. To resolve this, we introduce an OPE for HF (OPEHF) framework that revives existing OPE methods in order to accurately evaluate the HF signals. Specifically, we develop an immediate human reward (IHR) reconstruction approach, regularized by environmental knowledge distilled in a latent space that captures the underlying dynamics of state transitions as well as issuing HF signals. Our approach has been tested over two real-world experiments, adaptive in-vivo neurostimulation and intelligent tutoring, as well as in a simulation environment (visual Q&A). Results show that our approach significantly improves the performance toward estimating HF signals accurately, compared to directly applying (variants of) existing OPE methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VICO: 비전-언어 모델 추론을 위해 함께 진화하는 시각적 환경
VICO: Visual Environments Co-Evolving for Vision-Language Model Reasoning
검증 가능한 보상을 활용한 강화학습(RLVR)은 비전-언어 모델(VLM)의 사후 학습을 위한 표준적인 방법론이 되었으나, 일반적으로 정적인 학습 환경을 가정합니다. 액터(actor)의 성능이 향상됨에 따라 고정된 태스크는 점차 학습 영역(learning frontier)을 벗어나게 됩니다. 즉, 상당수는 사소해지고 다른 태스크는 여전히 해결 불가능한 상태로 남아 학습 신호가 소실됩니다. 본 논문에서는 VLM 사후 학습이 액터 자체뿐만 아니라 액터와 함께 시각적 환경도 진화시켜야 한다고 주장합니다. 이를 위해 액터와 리라이터 형태의 환경(EnvRewriter)을 공동 학습하는 공진화(co-evolutionary) 프레임워크인 VICO를 제안합니다. EnvRewriter는 씬 그래프(scene graph), 차트 테이블, 보호 영역 마스크와 같이 검증 가능한 이미지 측 구조를 편집하고 이를 다시 렌더링하여 정답 레이블이 유효한 학습 샘플을 생성하며, 통과율 기반 보상을 통해 샘플의 난이도를 액터의 현재 능력에 맞게 보정합니다. 이러한 루프는 추가적인 사람의 주석 작업 없이 태스크 난이도와 액터의 역량을 지속적으로 재조정합니다. 수학적 추론 및 시각적 그라운딩(visually grounded) 이해를 포괄하는 9개 멀티모달 벤치마크 전반에서, VICO-8B는 도메인 외(out-of-domain) 태스크에서 기본 모델 대비 최대 +5.0% 향상되었으며, 가장 강력한 자기 진화(self-evolution) 및 텍스트 편집 공진화 베이스라인을 각각 +4.3%, +8.4% 능가하였고, 16~160배 적은 레이블 샘플을 사용하면서도 차트 특화 RLVR 방식과 대등한 성능을 유지했습니다. VICO는 사람이 레이블링한 지도 학습에서 이미지 편집 공진화로 전환함으로써, 시각적 추론을 위한 정적 말뭉치 기반 RLVR을 넘어설 수 있는 확장 가능한 경로를 제공합니다.
SPLIT-RL: 주장 수준 이점을 활용한 단계별 지각-언어 추론 학습
SPLIT-RL: Staged Perception-Language Reasoning Training with Claim-Level Advantages
비전-언어(Vision-Language, VL) 추론은 모델이 이미지로부터 관련성 있고 정확한 정보를 추출하는 과정(시각적 추론, VR)과, 이로부터 답을 추론하는 과정(언어적 추론, LR)을 모두 수행해야 합니다. 검증 가능한 보상을 사용하는 강화학습은 일반적으로 최종 답변 보상을 포함하는 단일 사고의 연쇄(Chain-of-Thought, CoT)를 통해 두 과정을 함께 학습합니다. 이는 모든 CoT 토큰에 동일한 시퀀스 수준 이점을 부여하므로 능력별 오류를 구분하지 못합니다. 본 논문에서는 VR과 LR을 서로 분리된 단계에서 학습하는 단계별 사후 학습 접근법인 SPLIT-RL을 제안합니다. 한 그룹의 롤아웃이 한 번에 하나의 능력에 대해서만 달라지기 때문에, 그룹 상대적 이점은 해당 능력을 분리해 내며 각 단계는 단계별 보상을 통해 최적화됩니다. 나아가 VR 단계의 롤아웃을 원자적 시각 주장으로 분해하고 시각적 유형 그룹 형성을 기반으로 주장 수준에서 세분화된 이점을 제공하는 주장 수준 이점(CLA-GRPO)을 도입합니다. 비록 두 단계로 학습되지만, 학습된 정책은 추론 시점에 단일 CoT 호출을 사용하는 GRPO 모델처럼 평가됩니다. 이러한 프로토콜 하에서 SPLIT-RL은 2B부터 30B-A3B에 이르는 Qwen3-VL 모델들과 InternVL3.5-8B 전반에서 GRPO 대비 평균 정확도를 1.4-6.1점 향상시킵니다. 오라클 기반 진단을 사용하여 각 능력을 평가한 결과, 답변 전용 GRPO는 지각 능력을 변화시키지 않는 반면, SPLIT-RL은 VR과 LR을 모두 향상시키는 것으로 나타났습니다.
더 많음에서 더 적음을: 밀집 참조로 희소 비디오 추론 강화하기
Less from More: Reinforcing Sparse Video Reasoning from Dense References
비디오-언어 모델은 일반적으로 더 많은 시간적 관찰(temporal observation)이 더 신뢰할 수 있는 추론으로 이어진다고 가정한다. 본 연구는 이러한 가정에 의문을 제기하며, 핵심 과제는 단순히 더 많은 비디오 프레임을 효율적으로 처리하는 것이 아니라, 제한된 시간적 증거(temporal evidence) 하에서도 신뢰할 수 있게 추론하는 법을 학습하는 것이라고 주장한다. 우리는 밀집 비디오 뷰(dense video view)를 희소 프레임 추론(sparse-frame inference)을 위한 학습 시점 참조로 사용하는 dense-to-sparse 사후 학습 프레임워크인 SAVER를 제안한다. 강화학습 기반 사후 학습 과정에서, 쌍을 이루는 밀집 뷰와 희소 뷰는 그라운딩 보상(grounding reward)과 신뢰도 게이팅된 참조 보상(reliability-gated reference reward)으로 최적화되며, 이를 통해 희소 뷰 예측이 과제와 관련된 시간적 증거를 보존하도록 유도한다. 특히 SAVER는 비디오 질의응답(video question answering) 주석을 전혀 사용하지 않고, 무작위로 샘플링된 1,250개의 시간적 그라운딩(temporal grounding) 예제만으로 학습된다. 세 가지 시간적 그라운딩 벤치마크와 여섯 가지 비디오 질의응답 벤치마크에서, SAVER는 프레임 예산(frame budget)에 관계없이 일관되게 성능을 향상시킨다. 특히 SAVER는 훨씬 적은 프레임을 사용하면서도 밀집 프레임(dense-frame) Qwen3.5 베이스라인과 동등하거나 이를 상회하는 성능을 보인다. 이러한 결과는 시간적 그라운딩이 더 넓은 비디오 이해(video understanding) 과제로 전이되는 희소 비디오 추론을 학습하기 위한 효과적인 증거 위치 파악(evidence-localization) 프록시로 활용될 수 있음을 보여준다.
WeaveAgent: 초고해상도 원격 탐사 영상을 위한 2단계 도구 라우팅 에이전트
WeaveAgent: A Two-Stage Tool-Routing Agent for Ultra-High-Resolution Remote Sensing Imagery
문제. 모호한 사용자 의도를 가진 초고해상도(UHR) 원격 탐사에는 두 가지 병목 현상이 있습니다. 시각적 토큰(token) 비용이 크며, 도구 호출이 형식 측면에서 신뢰할 수 있어야 한다는 점입니다(사전학습된 모델은 제로샷(zero-shot) 환경에서 도구 호출을 전혀 생성하지 못함). 방법. 2단계 도구 라우팅 에이전트(agent)인 WeaveAgent는 라우팅과 시각적 인식을 분리합니다. 1단계(Stage A)는 라우팅 우선 방식으로, 호출 생성은 유도되는 것이 아니라 학습(training)됩니다. 2단계(Stage B)는 조건부로 실행됩니다. 내부적(intrinsic) 질의는 시각적 답변 단계로 들어가며(전체 장면 썸네일 사용, 선택적 고정 예산이자 약 5k 토큰 압축 인터페이스로서 WeaveEarth 스타일의 증거 보드 활용), 외부적(extrinsic) 질의는 원본 전체 해상도 영상에서 도구 호출을 실행하고 관찰 마스킹된 두 번째 턴에서 도구 관찰 결과를 바탕으로 답변합니다. 학습: 정렬 SFT 후 보상(reward) R_WA2 하에서 GRPO를 적용합니다. 결과. 정렬 SFT는 외부적 라우팅을 0%에서 80.75%(323/400)로 끌어올리며, GRPO는 도구 선택을 유지하면서 9건의 내부적 오호출 생성을 억제합니다. 학습된 2B 시스템은 전반적으로 제로샷 8B 기준선(baseline)을 능가하지 못하지만(0.263 대 0.250), 이는 진단적 기여에 해당합니다. 오라클 귀인 분석은 두 가지 복구 요소를 구분합니다. 관찰 결과를 컨텍스트에 로드하면 마커가 없는 교차 모드 반환에서 외부적 답변 정확도가 0.025에서 0.425로 향상되며, 2턴 SFT 단계는 약간의 라우팅 비용을 대가로 0.518까지 9.3포인트를 추가로 향상시킵니다. +/- 이미지 절제 연구(ablation)는 호출 생성 억제가 시각적으로 그라운딩(grounding)되어 있음을 보여주며, 질의 레지스터 매트릭스는 LLM으로 재작성된 질의가 학습된 체크포인트의 성능을 2~11포인트 떨어뜨림을 나타냅니다. 범위. 모든 학습 및 평가는 5,000 / 3,273 / 1,000개 레코드로 구성된 VagueUHR 말뭉치를 사용합니다(내부적 600개 + 도구 요구 400개; 기본 데이터는 합성을 시딩하며 최적화에는 사용되지 않음). 단일 패스 증거 구성은 RTX 4090에서 이미지당 7.31초로 실행됩니다. 코드, 데이터 및 평가 프로토콜이 공개될 예정입니다.
CAPO: Reinforcing Consistent Reasoning in Medical Decision-Making
Describe Anything Model for Visual Question Answering on Text-rich Images
토론
이 논문과 연결된 포럼 글이 아직 없습니다.