다중 턴 시각 추론은 반복적인 크롭과 국소 검사를 통해 증거를 확보하지만, 관측 영역이 겹치면 시각 인코딩과 프리필이 중복된다. 본 논문은 추가적인 이미지 세부 정보에 대한 접근을 유지하면서 반복 처리를 줄이는 적응형 시각 KV 캐시 재사용 프레임워크를 제안한다. 핵심적인 어려움은 시각 프리필을 생략하면 새로운 관측과 현재 추론 사이의 상호작용도 함께 사라진다는 점이다. 과거의 키는 이전 위치에 묶여 있고, 과거의 값에는 크롭 사이에서 형성된 의도가 반영되어 있지 않다. 본 프레임워크는 먼저 크롭 크기와 캐시 가용성에 따라 전체 재인코딩과 영역 재사용 중 하나를 선택한다. 재사용 경로에서는 위치 키 재결합(Positional Key Rebinding, PKR)이 새로운 위치에서의 어텐션 매칭을 보정하고, 의도 유도 값 강화(Intent-guided Value Enhancement, IVE)가 크롭 이전의 추론 어텐션을 이용해 현재 목표와 관련된 내용을 강화한다. 전체 재인코딩된 크롭의 소스 상태는 이후의 검색과 재사용을 위해 보존된다. 본 프레임워크는 재사용이 적중한 경우 추가 학습이 필요하지 않으며, 선택된 시각 토큰에 대해 시각 인코더와 프리필을 건너뛴 뒤 일반적인 텍스트 추론을 재개한다. 실험 결과, 제안한 방법은 중간 크롭 이미지에 의존하는 다중 턴 시각 추론의 전체 정확도를 유지하면서 추론 시간을 줄인다.
강화학습(RL)은 비전-언어 모델(VLM)의 추론 능력을 향상시키는 중요한 패러다임이다. 그러나 멀티모달 추론의 롤아웃에 RL을 직접 적용하면 언어적 사전 지식의 악용, 시각적 증거의 무시, 유창하지만 시각적으로 근거가 없는 추론 흔적의 생성으로 인해 불안정성이 발생할 수 있다. 이에 다음과 같은 질문이 제기된다. 강화학습을 적용하기 전에 정책을 시각적으로 충실한 추론 영역으로 먼저 유도할 수 있는가? 이를 위해 본 연구는 충실한 웜스타트(Faithful Warm-Start, FWS) 전략을 제안한다. 이 전략은 먼저 여섯 개의 일반 VQA 벤치마크에서 명시적인 비전-언어 인과 관계를 지닌 샘플을 선별하여 FaithfulQA 데이터셋을 구축하며, 각 이미지-질문 쌍은 일정 수준의 시각적 관찰, 질문 요구사항, 상식 지식, 도메인 지식, 그리고 최종 답변을 갖는다. 이후 VLM 기반 판정기를 사용하여 데이터셋을 추가로 정제함으로써 강한 인과적 일관성과 시각적 충실성을 확보한다. 이 웜스타트 단계는 희소한 답변 수준 보상 하에서 이후 RL 최적화를 수행하기 전에, 모델이 인과적으로 근거한 비전-언어 패턴을 이해하는 능력을 갖추도록 한다. 실험 결과는 이러한 충실한 지도가 답변 정확도를 향상시키고, RL 학습을 안정화하며, 시각적으로 뒷받침되지 않는 추론을 줄임을 보여준다.
검증 가능한 보상을 활용한 강화학습은 LLM의 추론 능력을 크게 향상시켜 왔으며, 이러한 방식이 멀티모달 모델에도 잘 적용되리라 가정하는 것이 직관적이다. 그러나 멀티모달 모델은 두 가지 일을 수행한다. 먼저 이미지에 무엇이 있는지 지각하고, 그다음 그것이 함축하는 바를 추론한다. 이 두 단계는 함께 평가되기 때문에 추론만으로 얼마나 더 향상될 여지가 있는지 판단하기 어렵다. 본 연구는 두 구성 요소가 모두 필요한 알고리즘형 시각 퍼즐을 대상으로 이를 분석하며, 추론이 아니라 지각이 제약 요인임을 보인다. 이미지를 간단한 텍스트 설명으로 대체하면 Claude 모델의 성능이 평균 20점 이상 향상된다. 이어서 사고 연쇄(chain-of-thought) 지도 없이 추론 과정에서 시각적 근거 형성을 유도하는 것을 목표로 한 여섯 가지 보상 설계를 평가한다. Qwen-2.5-VL-7B을 GRPO로 학습한 결과, 보상 설계는 자기 성찰과 시각적 참조를 포함하는 길고 구조화된 추론을 유도하여 기본 모델 대비 5.56점의 향상을 가져온다. 다만 이러한 향상은 고르지 않다. 모든 범주를 개선하는 단일 보상은 없으며, 검증 가능한 정확도 신호를 갖는 보상은 도메인 간 전이 성능을 희생하여 도메인 내 정확도를 얻는다. 이러한 결과는 오류를 물려받는 추론 단계가 아니라 그 근원인 지각 단계에서 신호가 이를 바로잡도록 하는, 지각 인식 보상 설계가 앞으로 나아갈 방향임을 시사한다.