질문 유도형 능동적 비전을 위한 렌더링 없는 예측 탐색
Rendering-Free Lookahead for Question-Guided Active Vision
한국어 초록
능동적 로봇 비전은 현재 시점에서는 가려져 있는 작업 관련 정보를 드러내기 위해 카메라를 제어해야 합니다. 예를 들어, 상자 안에 무엇이 있는지 파악하려면 카메라를 높여 아래를 내려다보아야 할 수 있습니다. 시점 의존적 질문 답변(viewpoint-dependent question answering)의 과제는 질문에 답하는 데 필요한 시각적 증거를 드러내는 카메라 움직임을 선택하는 것입니다. 비전-언어 모델(VLM)이 관측된 이미지를 해석할 수는 있지만, 이러한 움직임을 선택하려면 보이지 않는 시점의 유용성을 예측해야 합니다. 본 연구에서는 이 유용성을 특정 시점이 질문에 답하기에 충분하다는 VLM의 추정치인 '답변 가능성(answerability)'으로 정량화하고, 예측된 미래 답변 가능성을 바탕으로 후보 카메라 움직임의 순위를 매기는 시점 선택 정책인 렌더링 없는 예측 탐색(Rendering-Free Lookahead, RFL)을 제시합니다. RFL은 시각적 예측 탐색 과정을 실제 배포 단계에서 오프라인 학습(training) 단계로 이전합니다. 학습 시 특권적 교사(privileged teacher)는 3D 가우시안 스플래팅(3DGS) 장면에서 후보 미래 시점들을 렌더링하고, 동결된 VLM을 사용하여 1단계 및 2단계 답변 가능성 목표치를 계산합니다. 2단계 지식 증류를 통해 학생 모델은 질문, 최근 시각적 관측값, 후보 카메라 움직임으로부터 이러한 행동 가치를 예측하는 법을 학습합니다. 실제 배포 환경에서 RFL은 미래 시점을 렌더링하지 않고 이 예측된 가치들을 사용하여 카메라 움직임을 선택합니다. 보지 못한 환경의 377개 E3VS-Bench 테스트 에피소드에서 RFL은 동일한 VLM을 사용하는 직접 행동 기준선(baseline) 대비 평균 판정 점수를 43% 향상시켰습니다. 이러한 결과는 시점 의존적 질문 답변을 위해 특권적 시각 예측 탐색으로부터 카메라 제어 정책을 학습하는 방식을 뒷받침합니다.
원문 초록
Active robot vision requires controlling the camera to reveal task-relevant information that is hidden from the current viewpoint. For example, determining what is inside a box may require raising the camera and looking down into it. For viewpoint-dependent question answering, the challenge is to select camera motions that expose the visual evidence needed to answer the question. Although vision-language models (VLMs) can interpret observed images, selecting such motions requires anticipating the usefulness of unseen views. We quantify this usefulness as answerability, a VLM's estimate that a view suffices to answer the question, and present Rendering-Free Lookahead (RFL), a viewpoint-selection policy that ranks candidate camera motions by predicted future answerability. RFL transfers visual lookahead from deployment to offline training. At training, a privileged teacher renders candidate future views in 3D Gaussian Splatting (3DGS) scenes and uses a frozen VLM to compute one- and two-step answerability targets. Through two-stage distillation, a student learns to predict these action values from the question, recent visual observations, and a candidate camera motion. At deployment, RFL uses these predicted values to select camera motions without rendering future views. On 377 E3VS-Bench test episodes in unseen environments, RFL improves the mean judge score by 43\% over a direct-action baseline using the same VLM. These results support learning camera-control policies from privileged visual lookahead for viewpoint-dependent question answering.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Where-OPD: 합성 장면을 활용한 MLLM의 공간 유도 온-정책 자기 증류
Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes
온-정책(on-policy) 자기 증류는 특권 정보(privileged information)를 제공받는 동결되거나 지수이동평균(EMA)이 적용된 자기 자신을 통해 학생 모델을 지도함으로써 언어 모델의 추론 능력을 향상시키는 효과적인 접근법으로 최근 부상했습니다. 그러나 이를 멀티모달 대규모 언어 모델(MLLM)에 적용하는 연구는 아직 미개척 상태로 남아 있습니다. 최근 접근법들은 질문에 해당하는 이미지 크롭과 같은 특권 시각 정보를 활용하여 미세 지각 능력을 향상시키지만, 이러한 성능 향상은 시각적 줌(zooming) 효과를 얻을 수 있는 태스크에만 국한되며 사람이 주석을 단 그라운딩(grounding) 데이터나 외부 교사 모델을 필요로 합니다. 본 연구에서는 질의와 관련된 시각적 요소를 식별하는 텍스트 기반의 공간적 그라운딩 안내(guidance)를 교사 모델에 제공하는 새로운 방식의 MLLM용 온-정책 자기 증류를 제안합니다. 객체 식별 정보와 공간 좌표를 자동으로 얻을 수 있는 절차적으로 생성된 장면을 활용하여, 확장 가능하고 주석이 필요 없는 사후 학습(post-training)을 실현합니다. 교사 모델은 이러한 공간적 안내를 활용하여 여러 관련 이미지 영역의 증거를 찾아 통합하며, 학생 모델은 이미지와 질문만을 바탕으로 그 결과를 재현하도록 학습합니다. 본 접근법은 여러 모델에 걸쳐 개수 세기, 문서 및 차트 이해 벤치마크에서 지속적으로 성능을 향상시킵니다. 특히 사후 학습에 합성 장면만을 사용함에도 불구하고, 개선된 성능이 실제 환경의 지각 벤치마크로 전이되어 CVBench, V*, ZoomBench, BLINK, HR-Bench, MME-RealWorld 전반에서 평균 성능이 3.23점 향상되었습니다. 이러한 결과는 공간적으로 그라운딩된 특권 정보가 온-정책 자기 증류를 통해 더 넓은 범위의 지각 능력을 유도할 수 있으며, 사후 학습에 사용된 태스크 및 데이터 분포를 넘어 상당한 수준의 합성-실제(synthetic-to-real) 전이를 가능하게 함을 보여줍니다. 프로젝트 페이지: https://github.com/sirkosophia/Where-OPD
멀티모달 대규모 언어 모델을 위한 의료 시각 인코더 사전학습
Pretraining of Medical Visual Encoders Toward Multi-modal Large Language Models
멀티모달 대규모 언어 모델(MLLM)은 CLIP으로 사전학습(pre-training)된 시각 인코더를 흔히 재사용하지만, 이러한 ViT의 특징들은 궁극적으로 자기회귀 LLM에 의해 소비됩니다. 본 연구에서는 이러한 불일치를 '의미론적 인터페이스 격차(semantic-interface gap)'라고 칭하며, 동결된(frozen) LLM을 사용한 판독문 생성을 통해 시각 인코더를 사전학습하면서도 시각적 붕괴(visual collapse)를 방지하기 위해 시각 패치 간의 관계를 보존하는 국소 관계 증류(Local Relational Distillation, LRD)를 적용하는 프레임워크인 MedMLIP을 소개합니다. 저자들은 IU-Xray 및 Open-PMC-300K에서 MedMLIP을 사전학습하고 결과 인코더를 VQA-RAD 및 SLAKE에서 평가합니다. 안내 역할을 하는 LLM과 프로젝터는 교체되고 오직 ViT만 전이되므로, 이를 통해 교차 LLM 전이성(cross-LLM transferability)을 평가할 수 있습니다. 교차 LLM 전이 실험은 더욱 세밀한 시각적 정보를 보존하면서 자기회귀 LLM 인터페이스에 맞춰 시각 인코더를 사전학습하는 것의 가치를 입증합니다. 코드와 사전학습된 모델(model)은 https://github.com/SkyCol/MedMLIP 에서 확인할 수 있습니다.
Noisy Student 온-정책 자기 증류를 이용한 비전-언어 모델 자기 부스팅
Self-Boosting Vision-Language Models with Noisy Student On-Policy Self-Distillation
사후 학습은 비전-언어 모델(VLM)이 인간의 지시를 이해하고 다양한 다운스트림 작업을 수행할 수 있게 한다. 현재의 사후 학습 방법은 보통 인간 주석 데이터, 외부 모델로부터의 지식 증류, 인간 피드백 강화학습(RLHF), 또는 검증 가능한 정답에 의존한다. 이는 외부 감독 없이 성능을 향상시키는 능력을 제한한다. 이를 해결하기 위해, 우리는 NOPD(Noisy Student On-Policy Self-Distillation)를 제안한다. 이는 외부 모델이나 정답(ground-truth) 없이 VLM을 개선하는 단순하면서도 효과적인 자기 증류(self-distillation) 방법이다. 핵심 통찰은 깨끗한 입력과 손상된 입력 간의 예측 불일치가 자연스럽게 자기 감독(self-supervision) 신호를 유도한다는 것이다. NOPD에서는 모델이 손상된 입력으로부터 학습하면서, 깨끗한 입력에 대한 자신의 예측을 토큰 수준 감독으로 사용한다. 다섯 가지 시각적 추론 작업에서 NOPD의 효과를 보였으며, 강화학습 접근법이나 외부 모델로부터의 지식 증류와 동등하거나 심지어 더 나은 성능을 낼 수 있다. 특히 Geometry3K의 2.1K 샘플로 학습했을 때, NOPD는 검증 세트에서 Qwen2.5-VL-7B를 20점 향상시킨다. 또한 분포 외(out-of-distribution) 테스트 세트에서 일반화를 보이며 MathVista에서 7.4점 향상을 달성한다. 또한 NOPD가 VLM을 향상시키는 일반적인 접근법임을 보였으며, 12개 벤치마크에서 세 모델 모두에 걸쳐 성능 향상을 달성한다.
PathScale-R1: 병리학적 이미지 분석을 위한 교차 스케일 추론
PathScale-R1: Cross-scale Reasoning for Pathological Image Analysis
병리학적 진단은 본질적으로 다중 스케일(multi-scale)이며, 저배율에서의 전역 조직 구조와 고배율에서의 세포 형태학을 통합할 것을 요구한다. 그러나 기존 병리학 벤치마크와 비전-언어 모델(VLM)은 여전히 대부분 단일 스케일 설정 하에서 개발되어, 임상적으로 의미 있는 다중 배율 추론을 학습하는 능력을 제한한다. 또한, 단순하게 구성된 시각적 질의응답(VQA) 과제는 텍스트 전용 또는 피상적인 시각적 지름길(shortcut)에 취약할 수 있어, 시각적 이해에 대한 신뢰할 수 없는 평가로 이어진다. 이러한 한계를 해결하기 위해, 우리는 지름길에 강건한 교차 스케일 병리학 추론을 위한 벤치마크와 학습 프레임워크를 제안한다. 우리는 의미적 추론 질문을 위한 적대적 텍스트 전용 선별(Adversarial Text-only Screening) 전략과 시각적 그라운딩 질문을 위한 구조 제어형 방해 선택지 샘플링(Structure-controlled Distractor Sampling) 전략을 설계하여, 모델이 교차 스케일 시각적 증거에 의존하도록 유도한다. 이 파이프라인을 기반으로, 우리는 여러 배율 수준에 걸친 1,368개의 진단 경로에 기반한 10,373개의 객관식 질문을 포함하는 고품질 교차 스케일 병리학 VQA 벤치마크 PathScale-VQA를 구축한다. 의미적 추론 세트를 기반으로, PathScale-R1은 난이도 기반 추론 증류(Difficulty-driven Reasoning Distillation) 지도 미세조정과, 배율 간 증거 사용을 장려하는 스케일 인식 추론 구조(Scale-aware Reasoning Structure) 보상을 사용한 강화학습을 통해 최적화된다. 광범위한 실험은 교차 스케일 추론 과제에서 PathScale-R1의 최신(state-of-the-art) 성능과 기존 단일 스케일 병리학 VQA로의 효과적인 전이를 보여준다. 코드는 https://github.com/iMVR-PL/PathScale-R1에서 이용할 수 있다.
MAViE: 미세한 시각 인식과 효율적인 멀티모달 추론을 위한 다중 스케일 적응형 비전 인코더
MAViE: A Multi-scale Adaptive Vision Encoder for Fine-grained Visual Perception and Efficient Multimodal Reasoning
비전-언어 모델은 일반적으로 사전학습된 비전 인코더가 생성한 모든 토큰을 대규모 언어 모델에 투영합니다. 그러나 최종 층 특징은 텍스트, 지역 속성, 공간 관계를 버릴 수 있으며, 고해상도 입력은 컨텍스트 �indo우 길이와 추론 지연 시간을 크게 증가시킵니다. 우리는 다중 스케일 적응형 비전 인코더(Multi-scale Adaptive Vision Encoder)인 MAViE를 제안합니다. MAViE는 위치 의존 게이트를 사용하여 비전 트랜스포머의 얕은, 중간, 깊은 층 특징을 융합하여 전역 의미를 보존하면서 가장자리, 텍스트, 지역 구조를 강화합니다. 이어서 질문 관련성, 지역 정보 내용, 전역 의미, 공간적 커버리지에 따라 질문 조건부 토큰 라우팅을 수행하며, 토큰 예산은 이미지 복잡도에 적응합니다. 압축 손실을 완화하기 위해, 우리는 전체-압축 표현 증류(full-to-compressed representation distillation)와 공간 다양성 정규화 항(spatial diversity regularizer)을 추가로 도입합니다. 통합 7B 언어 모델 프레임워크에서의 예시 시뮬레이션에서 MAViE는 SigLIP-SO400M 시각 토큰의 평균 개수를 729개에서 146개(약 80.0%)로 줄이고, VQAv2, GQA, TextVQA, ScienceQA-IMG, MMBench에서 평균 점수를 2.2퍼센트포인트 향상시키며, 단일 이미지의 첫 토큰까지 시간을 228ms에서 129ms로 단축합니다. 우리는 전체 모델 설계와 평가 프로토콜을 제공합니다. 보고된 모든 수치는 현재 논문 구성과 실험 설계를 위한 자리표시자로만 사용되며, 공식적인 주장을 위해서는 실제 학습 실행, 독립적 재현, 공식 벤치마크 평가가 필요합니다.
RP-OPSD: 멀티모달 대규모 언어 모델을 위한 해상도 특권 온-정책 자기 증류
RP-OPSD: Resolution-Privileged On-Policy Self-Distillation for Multimodal Large Language Models
온-정책 자기 증류(OPSD)는 교사에게만 제공되는 특권 정보를 활용하여 학생이 생성한 궤적에 대해 밀도 높은 토큰 수준의 감독을 제공한다. 그러나 기존 방법들은 검증된 풀이 추적, 외부 모델이 생성한 설명, 또는 수동으로 위치를 특정한 시각적 근거에 의존하는 경우가 많아, 멀티모달 대규모 언어 모델에의 확장 가능한 적용을 제한한다. 이 문제를 해결하기 위해, 동일 이미지의 고해상도 및 저해상도 뷰 간 정보 격차를 활용하고 RP-OPSD(멀티모달 대규모 언어 모델을 위한 해상도 특권 온-정책 자기 증류)를 제안한다. 학습 중 학생 정책은 원본 해상도의 1/4 해상도 이미지로부터 온-정책 궤적을 생성하고, 교사 정책은 원본 해상도 이미지를 사용하여 감독을 제공한다. 학생 궤적을 따라 두 모델의 출력 분포 간 발산을 최소화함으로써, 학생은 고해상도 입력 하에서 교사의 예측 행동을 학습하고, 이를 통해 저해상도 능력을 강화하며 학습된 개선을 원본 해상도 추론으로 전이한다. RP-OPSD는 해법 추적을 생성하기 위해 추가적인 사람 주석이나 외부 모델을 필요로 하지 않으며, 이미지-질문 쌍만 필요로 한다. Qwen3.5-9B에 대한 실험에서 RP-OPSD는 원본 해상도에서 평균 성능 5.45% 상대적 향상과 OPSD 대비 1.78배 학습 속도 향상을 달성한다. 이 결과는 해상도 차이가 간단하고 확장 가능한 특권 정보의 원천이 될 수 있음을 보여주며, 멀티모달 대규모 언어 모델을 위한 온-정책 자기 증류의 효과적이고 효율적인 접근법을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Project page: https://k0uya.github.io/rfl-proj/