arXiv:2610.02117v1 cs.CV

Where-OPD: 합성 장면을 활용한 MLLM의 공간 유도 온-정책 자기 증류

Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes

Sophia Sirko-Galouchenko, Monika Wysoczanska, Andrei Bursuc, Nicolas Thome, Spyros Gidaris

제출 2026-10-01

한국어 초록

온-정책(on-policy) 자기 증류는 특권 정보(privileged information)를 제공받는 동결되거나 지수이동평균(EMA)이 적용된 자기 자신을 통해 학생 모델을 지도함으로써 언어 모델의 추론 능력을 향상시키는 효과적인 접근법으로 최근 부상했습니다. 그러나 이를 멀티모달 대규모 언어 모델(MLLM)에 적용하는 연구는 아직 미개척 상태로 남아 있습니다. 최근 접근법들은 질문에 해당하는 이미지 크롭과 같은 특권 시각 정보를 활용하여 미세 지각 능력을 향상시키지만, 이러한 성능 향상은 시각적 줌(zooming) 효과를 얻을 수 있는 태스크에만 국한되며 사람이 주석을 단 그라운딩(grounding) 데이터나 외부 교사 모델을 필요로 합니다. 본 연구에서는 질의와 관련된 시각적 요소를 식별하는 텍스트 기반의 공간적 그라운딩 안내(guidance)를 교사 모델에 제공하는 새로운 방식의 MLLM용 온-정책 자기 증류를 제안합니다. 객체 식별 정보와 공간 좌표를 자동으로 얻을 수 있는 절차적으로 생성된 장면을 활용하여, 확장 가능하고 주석이 필요 없는 사후 학습(post-training)을 실현합니다. 교사 모델은 이러한 공간적 안내를 활용하여 여러 관련 이미지 영역의 증거를 찾아 통합하며, 학생 모델은 이미지와 질문만을 바탕으로 그 결과를 재현하도록 학습합니다. 본 접근법은 여러 모델에 걸쳐 개수 세기, 문서 및 차트 이해 벤치마크에서 지속적으로 성능을 향상시킵니다. 특히 사후 학습에 합성 장면만을 사용함에도 불구하고, 개선된 성능이 실제 환경의 지각 벤치마크로 전이되어 CVBench, V*, ZoomBench, BLINK, HR-Bench, MME-RealWorld 전반에서 평균 성능이 3.23점 향상되었습니다. 이러한 결과는 공간적으로 그라운딩된 특권 정보가 온-정책 자기 증류를 통해 더 넓은 범위의 지각 능력을 유도할 수 있으며, 사후 학습에 사용된 태스크 및 데이터 분포를 넘어 상당한 수준의 합성-실제(synthetic-to-real) 전이를 가능하게 함을 보여줍니다. 프로젝트 페이지: https://github.com/sirkosophia/Where-OPD

원문 초록

On-policy self-distillation has recently emerged as an effective approach for improving language-model reasoning by supervising students with a frozen or EMA version of themselves that receives privileged information. Its application to multimodal large language models (MLLMs), however, remains largely unexplored. Recent approaches use privileged visual information, such as image crops corresponding to a question, to improve fine-grained perception, but their gains are confined to tasks that benefit from such visual zooming and require either human-annotated grounding data or external teacher models. We introduce a different form of on-policy self-distillation for MLLMs that provides the teacher with textual, spatially grounded guidance identifying the visual elements relevant to a query. We use procedurally generated scenes with automatically available object identities and spatial coordinates, enabling scalable and annotation-free post-training. The teacher uses this spatial guidance to locate and integrate evidence from multiple relevant image regions, while the student learns to reproduce the resulting behavior from the image and question alone. Our approach consistently improves performance on counting, document and chart understanding benchmarks across multiple models. Importantly, although post-training uses only synthetic scenes, the resulting improvements transfer to real-world perception benchmarks, yielding a 3.23-point gain in average performance across CVBench, V*, ZoomBench, BLINK, HR-Bench, and MME-RealWorld. These results show that spatially grounded privileged information can induce broader perceptual capabilities through on-policy self-distillation, enabling substantial synthetic-to-real transfer beyond the task and data distribution used for post-training. Project page: https://github.com/sirkosophia/Where-OPD

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02117v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13535v1cs.CV공통 태그 Visual Grounding, Knowledge Distillation

위치뿐만 아니라 존재 여부도 파악하기: 열린 집합 원격 탐사 시각적 그라운딩을 위한 앵커 탐침 지식 증류

Knowing Whether, Not Just Where: Anchor-Probing Distillation for Open-Set Remote Sensing Visual Grounding

원격 탐사(remote sensing)에서의 열린 집합(open-set) 시각적 그라운딩(visual grounding)은 질의된 객체가 어디에 위치하는지뿐만 아니라, 영상이 해당 질의에 대한 충분한 근거를 전혀 제공하지 않는지 여부까지 모델이 판단하도록 요구합니다. 그러나 기존의 닫힌 집합(closed-set) 그라운딩 모델은 존재하지 않는 객체에 대해서도 그럴듯한 경계 상자(bounding box)를 반환하는 경향이 있어, 위치 추정(localization) 신뢰도와 진정한 시각적 지지(Visual Support)를 모호하게 만듭니다. 본 논문에서는 열린 집합 그라운딩을 시각적 지지 학습으로 재구성하는 교사-학생(teacher-student) 프레임워크인 AnchorProbe-Distill(APD)을 소개합니다. APD는 지지되는 질의는 일관된 공간적 앵커(spatial anchor)를 유도해야 하는 반면, 지지되지 않거나 불일치하는 질의는 불안정하거나 오해의 소지가 있는 위치 추정 패턴을 생성하는 경향이 있다는 통찰에 기반합니다. 이에 따라 APD-T는 원래 질의(Original Query)를 기준 앵커(Reference Anchor)로 사용하여 질의 섭동(query perturbation)을 해석합니다. 즉 의미 보존 질의(Semantic-Preserving Queries)는 어노테이션된 타깃을 유지하고, 인접 범주 모호 질의(Near-Category Ambiguous Queries)는 신뢰할 수 있는 대안 앵커를 형성하는지 혹은 기준 앵커로 축퇴되는지에 따라 해결되며, 원거리 범주 반사실적 질의(Far-Category Counterfactual Queries)는 거부(rejection) 감독 신호를 제공합니다. 이러한 기준 인식 추론은 APD-S로 지식 증류(distillation)되어, 단일 영상-질의 쌍으로부터 통합된 위치 추정 및 거부를 가능하게 합니다. 실험 결과, APD를 통해 도출된 모델은 부재한 타깃을 거부하는 동시에 존재하는 타깃의 위치 추정 성능도 향상시킴을 보여줍니다.

arXiv:2610.10563v1cs.CV공통 태그 Visual Grounding, Visual Question Answering

SLVR: 인간과 유사한 추론 흐름을 통한 구조화된 잠재 시각적 추론

SLVR: Structured Latent Visual Reasoning via Human-like Reasoning Flows

멀티모달 대규모 언어 모델(MLLM)은 과제와 관련된 시각적 증거보다 언어적 사전 확률에 의존하여 시각적 추론 질문에 답하는 경우가 많습니다. 텍스트 기반 사고의 연쇄(Chain-of-Thought, CoT) 추론은 모델이 시각적 질문을 중간 증거 탐색 단계로 분해하도록 유도하여 이 문제를 부분적으로 완화할 수 있지만, 이러한 단계를 자기회귀적(autoregressively)으로 생성하면 추론(inference) 비용이 증가합니다. 잠재 추론(latent reasoning)은 명시적인 근거 생성을 피하지만, 기존 접근법은 중간 상태가 인코딩하는 정보에 대한 제어가 제한적이어서 계획(planning), 그라운딩(grounding), 증거 선택에 대한 개별적인 지도(supervision)를 적용하기 어렵습니다. 본 논문에서는 멀티모달 추론을 계획, 그라운딩, 증거 선택, 추론 통합을 위한 유형화된 잠재 단계로 구성함으로써 명시적 사고의 연쇄와 잠재 추론을 연결하는 학습(training) 프레임워크인 SLVR(Structured Latent Visual Reasoning)을 제안합니다. SLVR은 먼저 정답을 드러내는 텍스트를 마스킹하고 정답을 시각적으로 그럴듯한 오답과 대조함으로써 모델이 이미지에 의존하도록 학습시킵니다. 그런 다음 추론을 계획, 그라운딩, 증거 선택, 통합을 위한 잠재 단계로 구성하고, 각 단계를 그에 대응하는 신호인 계획, 바운딩 박스, 시각적 증거, 최종 근거로 지도합니다. 이를 통해 추론 시점에 생성되는 텍스트 체인을 피하면서도 잠재 추론에 명시적인 기능적 구조를 부여합니다. Qwen2.5-VL-7B를 기반으로 구축된 SLVR은 멀티모달 추론 벤치마크 전반에서 일관된 성능 향상을 보였으며, MMVP에서 +9.4, BLINK Relation에서 +14.2의 절대적 향상을 기록했을 뿐만 아니라 V*, MathVista, ChartQA에서도 성능이 향상되었습니다. 이러한 결과는 구조화된 잠재 지도가 텍스트 CoT의 디코딩 오버헤드 없이 미세한 시각적 추론을 개선할 수 있음을 시사합니다. 프로젝트 페이지는 \href{https://bogao-code.github.io/SLVR/}{여기}에서 확인할 수 있습니다.

arXiv:2610.10657v1cs.LG공통 태그 Transfer Learning, Knowledge Distillation

올빼미를 넘어서: 잠재의식적 학습은 학습된 능력과 백도어를 전이할 수 있다

Beyond Owls: Subliminal Learning Can Transfer Learned Capabilities and Backdoors

잠재의식적 학습(subliminal learning, SL)에서는 교사 모델(teacher model)이 해당 특성과 의미적으로 무관한 데이터에 대한 지식 증류(distillation)를 통해 학생 모델(student model)로 특성을 전달한다. 지금까지 SL은 동물(예: 올빼미)에 대한 선호도나 악의적인 페르소나와 같이 제한된 범위의 특성에 대해서만 입증되었다. 이러한 특성들은 단순한 프롬프트(prompt)나 조향(steering)을 통해서도 유도될 수 있다. 그렇다면 SL은 더 복잡한 특성을 포함하여 더 넓은 범위의 특성도 전이할 수 있을까? 만약 그렇다면, 지식 증류는 감지되지 않은 채 미묘한 형태의 정렬 불일치(misalignment)(예: 보상 추구, 음모 꾸미기, 비밀스런 충성도)를 전이할 수 있을 것이다. 이를 위해, 본 연구에서는 SL이 무작위로 초기화된 MLP의 출력을 예측하는 새로운 능력을 전이할 수 있는지 테스트한다. 무관한 텍스트로 증류한 후, 학생 모델은 교사 모델에는 미치지 못하지만 해당 작업에서 상당한 성능을 달성한다. 우리는 직접 최적화된 조향 벡터(steering vector)가 분포 내(in-distribution)에서는 SL과 일치하지만, 분포 외(out-of-distribution)에서는 일반화 성능이 더 떨어진다는 점을 발견했다. 다음으로, SL이 백도어(backdoor)를 전이할 수 있는지 테스트한다. 프롬프트에 여성 이름이 포함되어 있을 때 프랑스어로 답변하도록 교사 모델을 파인튜닝한 다음, 이름도 프랑스어도 포함되지 않은 숫자 시퀀스로 지식 증류를 수행한다. 학생 모델은 백도어를 부분적으로 획득하여, 남성 이름이 포함된 프롬프트의 0.0%와 비교해 여성 이름이 포함된 프롬프트의 23.5%에서 프랑스어로 응답했다. 마지막으로, SL이 에이전트 기반 체스 환경(environment)에서 해킹 성향을 전이할 수 있는지 테스트한다. 조향된 해커 교사 모델의 숫자 시퀀스를 바탕으로 학생 모델을 파인튜닝했다. 학생 모델은 파인튜닝되지 않은 모델의 10.9%와 비교해 58.3%의 에피소드에서 해킹을 수행했다. 따라서 본 연구는 SL이 능력, 백도어, 해킹 성향을 전이할 수 있음을 보여준다. 전이 정도는 설정에 민감하다. 여러 실험에서 로짓(logit) 증류를 사용하거나 LoRA를 어텐션(attention) 레이어로 제한함으로써 전이가 더욱 강화되었다.

arXiv:2610.11039v1cs.CV공통 태그 Visual Question Answering, Knowledge Distillation

질문 유도형 능동적 비전을 위한 렌더링 없는 예측 탐색

Rendering-Free Lookahead for Question-Guided Active Vision

능동적 로봇 비전은 현재 시점에서는 가려져 있는 작업 관련 정보를 드러내기 위해 카메라를 제어해야 합니다. 예를 들어, 상자 안에 무엇이 있는지 파악하려면 카메라를 높여 아래를 내려다보아야 할 수 있습니다. 시점 의존적 질문 답변(viewpoint-dependent question answering)의 과제는 질문에 답하는 데 필요한 시각적 증거를 드러내는 카메라 움직임을 선택하는 것입니다. 비전-언어 모델(VLM)이 관측된 이미지를 해석할 수는 있지만, 이러한 움직임을 선택하려면 보이지 않는 시점의 유용성을 예측해야 합니다. 본 연구에서는 이 유용성을 특정 시점이 질문에 답하기에 충분하다는 VLM의 추정치인 '답변 가능성(answerability)'으로 정량화하고, 예측된 미래 답변 가능성을 바탕으로 후보 카메라 움직임의 순위를 매기는 시점 선택 정책인 렌더링 없는 예측 탐색(Rendering-Free Lookahead, RFL)을 제시합니다. RFL은 시각적 예측 탐색 과정을 실제 배포 단계에서 오프라인 학습(training) 단계로 이전합니다. 학습 시 특권적 교사(privileged teacher)는 3D 가우시안 스플래팅(3DGS) 장면에서 후보 미래 시점들을 렌더링하고, 동결된 VLM을 사용하여 1단계 및 2단계 답변 가능성 목표치를 계산합니다. 2단계 지식 증류를 통해 학생 모델은 질문, 최근 시각적 관측값, 후보 카메라 움직임으로부터 이러한 행동 가치를 예측하는 법을 학습합니다. 실제 배포 환경에서 RFL은 미래 시점을 렌더링하지 않고 이 예측된 가치들을 사용하여 카메라 움직임을 선택합니다. 보지 못한 환경의 377개 E3VS-Bench 테스트 에피소드에서 RFL은 동일한 VLM을 사용하는 직접 행동 기준선(baseline) 대비 평균 판정 점수를 43% 향상시켰습니다. 이러한 결과는 시점 의존적 질문 답변을 위해 특권적 시각 예측 탐색으로부터 카메라 제어 정책을 학습하는 방식을 뒷받침합니다.

arXiv:2609.32303v2cs.AI공통 태그 Transfer Learning, Knowledge Distillation

Train4Merge: OPD 기반 모델 병합을 위한 RL 대 SFT 교사 모델의 통제된 단일 교사 연구

Train4Merge: A Controlled Single-Teacher Study of RL vs. SFT Teachers for OPD-Based Model Merging

공유된 체크포인트로부터 학습된 도메인 전문가들은 온-정책 증류(OPD)를 통해 단일 학생 모델로 자신의 특화된 역량을 전이할 수 있습니다. 기존 연구는 주로 이러한 병합 과정을 개선하는 데 집중해 온 반면, 전문가들을 학습시키는 데 사용되는 알고리즘에 대한 체계적인 비교는 제한적이었습니다. 본 연구에서는 에이전트(Agentic), 추론(Reasoning), 인식(Perception) 영역에 걸쳐 지도 미세조정(SFT)과 강화학습(RL)에 대한 통제된 단일 교사 비교를 통해 어떤 학습 알고리즘이 OPD에 더 적합한 교사 모델을 생성하는지 조사합니다. 교사 모델과 학생 모델은 동일한 Qwen3.5-9B 초기화를 공유하며, 두 교사 유형은 유사한 작업 성능 수준에서 비교됩니다. 실험 결과에 따르면 RL 교사 모델은 세 가지 도메인 모두에서 더 뛰어난 학생 모델을 도출하고 교사 모델의 성능 향상분을 더 높게 회복합니다. 최고 체크포인트에서 RL 유도 학생 모델은 SFT 유도 학생 모델보다 각각 4.27, 1.50, 0.86%포인트 더 우수한 성능을 보였습니다. 에이전트 영역에서 최고 성능의 SFT 유도 학생 모델은 베이스 모델 대비 교사의 성능 향상분 중 44.44%만을 회복한 반면, 최고 성능의 RL 유도 학생 모델은 115.00%를 회복하여 교사를 능가했습니다. 추가 분석에 따르면 RL 교사 모델은 SFT 교사 모델보다 공유된 초기화로부터의 매개변수 변위가 더 작게 나타납니다. 이러한 발견은 RL 교사 모델이 학생의 시작점으로부터 더 적게 벗어남으로써 OPD를 통한 학습을 촉진하고 더 우수한 학생 모델로 이어진다는 가설을 뒷받침합니다.

arXiv:2609.36407v2cs.CV공통 태그 Transfer Learning, Knowledge Distillation

무엇이 고배율 지식을 전이 가능하게 만드는가? 전슬라이드 이미지에서의 해상도 간 지식 증류 연구

What Makes High-Magnification Knowledge Transferable? A Study of Cross-Resolution Distillation in Whole-Slide Imaging

해상도 간 지식 증류(cross-resolution knowledge distillation)는 고배율 표현을 전이하여 저배율 전슬라이드(whole-slide) 분석을 개선하는 것을 목표로 하지만, 유용한 전이가 일어나는 조건은 여전히 불분명합니다. 본 연구에서는 교사 접근성(teacher access), 표현 손실(representation loss), 모델 과잉(model excess)에 대한 분해 기반 분석을 개발하고, 세 가지 질문을 제시합니다: (a) 교사 타깃이 과제에 도움이 되는지, (b) 저배율 학생 모델이 이를 예측할 수 있는지, (c) 슬라이드 모델이 해당 예측으로부터 이점을 얻는지 여부입니다. 우리는 분류, 병기 분류(grading), 생존 예측에 걸친 10개의 병리 코호트에 대한 통제된 실험을 통해 이를 조사합니다. 주요 비교 결과, 고유한 저배율 특징과 함께 교사의 영역별 평균을 제공하는 것은 10개 코호트 전체에서 다운스트림 성능을 향상시켰습니다. 직접 예측은 잔차 예측보다 낮은 재구성 오차를 달성하지만, 예측된 특징은 교사 타깃의 변동성을 과소표현합니다. 더욱이 재구성이 더 잘된다고 해서 다운스트림 점수가 일관되게 향상되지는 않으며, 예측된 교사 특징이 일정하게 유지되는 경우에도 고유 특징을 유지하는지 여부에 따라 성능이 달라집니다. 종합적으로 이러한 발견은 교사 표현을 재구성하는 것과 그것의 다운스트림 가치를 실현하는 것 사이의 간극을 드러냅니다. 이는 해상도 간 전이의 척도로서 재구성 오차의 충분성에 의문을 제기하며, 전이가 어디에서 실패하는지 검토하기 위한 진단 프레임워크를 제공합니다. 향후 증류 설계는 학생 모델이 무엇을 예측할 수 있는지와 슬라이드 모델이 이러한 예측을 어떻게 활용하는지를 모두 고려해야 합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.