PyTorchKR Papers

최신 논문

총 595편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.13881v1cs.CV

실세계 학습 없는 HOI 탐지를 위한 멀티모달 대규모 언어 모델 활용

Unleashing Multimodal Large Language Models for Training-free HOI Detection in the Wild

인간-객체 상호작용 탐지(HOID)는 전통적으로 사전 정의된 상호작용 범주에 대한 지도 학습 기반 탐지 문제로 공식화되어 왔다. 이러한 패러다임은 폐쇄 집합 벤치마크에서 강한 성능을 달성하지만, 상호작용 이해를 데이터셋 특유의 지도와 근본적으로 얽히게 하여 개방 세계 및 조합적 시나리오로의 일반화 능력을 제한한다. 최근 HOI 탐지기들은 프롬프트 전략을 통해 MLLM을 활용하여 상호작용 특화 지식을 전이하려 시도한다. 그러나 이러한 프롬프트 기반 접근법은 주로 사전학습된 모델로부터 판별적 표현을 추출하는 데 집중하며, 내재된 멀티모달 추론 능력은 충분히 탐구하지 않는다. 결과적으로, 모호하고 개방 세계적인 상호작용 시나리오에 대해 정보가 풍부한 문맥적 추론을 제공하는 데 어려움을 겪는다. 본 연구에서는 실세계 HOI 탐지에 기반 모델의 범용 멀티모달 추론 능력을 전이하는 학습 없는 에이전트형 프레임워크인 AgentHOI를 제안한다. AgentHOI는 상호작용 분류기를 학습하는 대신, 보완적인 비전 기반 모듈을 모듈식으로 조율하여 개방형 의미 추론과 공간적 그라운딩을 조화롭게 수행한다. 복잡한 장면에서 불완전한 상호작용 발견과 모호한 위치 지정 문제를 해결하기 위해 두 가지 핵심 메커니즘을 도입한다: (1) 문맥 인식 다중 라운드 추론(Context-aware Multi-round Reasoning)은 상호작용 가설을 점진적으로 정제하여 포괄적이고 조합적인 HOI 발견을 보장한다. (2) 다면적 상호작용 위치 지정(Multifaceted Interaction Localization)은 의미, 공간, 외형 단서를 통합하는 인스턴스별 설명을 생성하여 그라운딩 정밀도를 향상시킨다. 광범위한 실험 결과, AgentHOI는 HOID 데이터로 학습할 필요 없이도 실세계 환경에서 최신 지도 학습 및 약지도 학습 방법들보다 우수한 성능을 달성함을 보여준다.

arXiv:2607.13712v1cs.CV

Groc-PO: 사실에 충실한 다중모달 LLM을 위한 그라운딩 컨텍스트 선호 최적화

Groc-PO: Grounded Context Preference Optimization for Truthful Multimodal LLMs

다중모달 대규모 언어 모델(MLLM)이 빠르게 발전했음에도 불구하고, 여전히 시각적 환각, 내용 날조, 비충실 추론과 같은 비진실성 문제로 고통받으며, 이는 모델의 충실성과 실용적 유용성을 크게 훼손한다. 직접 선호 최적화(DPO)와 같은 인간 선호 기반 정렬(alignment) 방법이 이러한 문제를 해결하기 위해 널리 채택되어 왔다. 그러나 다중모달 추론 오류는 종종 단계를 거치며 전파되고, 최종 답변의 오류는 초기 그라운딩 단계의 실수에서 기인하는 경우가 많지만, 표준 DPO는 일반적으로 최종 답변 수준에서 선호 최적화를 적용한다. 이러한 크레딧 할당(credit assignment) 과제로 인해 초기 그라운딩 단계에 대한 감독은 단계별이라기보다 간접적이며, 그라운딩 드리프트와 컨텍스트 불일치에서 비롯된 오류 전파를 억제하기 어렵다. 이를 해결하기 위해, 우리는 MLLM을 위한 그라운딩 선호 최적화 프레임워크인 그라운딩 컨텍스트 선호 최적화(Groc-PO)를 제안한다. 또한 객체 그라운딩(Object Grounding), 문맥적 그라운딩(Contextual Grounding), 그라운딩된 추론(Grounded Reasoning)의 세 단계를 중심으로 다단계 선호 샘플을 구성하는 그라운딩 컨텍스트 선호 데이터셋(GCPD)을 구축하여, 그라운딩된 컨텍스트의 형성·통합·활용을 포착한다. 여러 그라운딩 단계에 걸친 보다 명시적인 선호 감독을 도입함으로써 Groc-PO는 컨텍스트 의존적 추론을 강화하고 단계 간 오류 전파를 완화한다. 광범위한 실험 결과, 표준 DPO 및 다른 강력한 베이스라인과 비교하여 Groc-PO는 환각 완화, 충실한 추론, 전반적인 신뢰성에서 향상된 성능을 달성하여, 신뢰할 수 있는 다중모달 추론을 위한 보다 명시적인 그라운딩 감독의 가치를 뒷받침한다.

arXiv:2607.13305v1cs.CV

그라운딩 없는 정확도: 비디오 LLM 벤치마크에서 시각 의존성 분리 진단

Accuracy Without Grounding: Diagnosing Visual Dependency Dissociation in Video LLM Benchmarks

비디오 대규모 언어 모델(LLM)의 벤치마크 정확도는 흔히 시각적 이해의 증거로 간주된다. 우리는 20억~780억 개의 파라미터를 아우르는 20개 모델과 10개 아키텍처 계열을 대상으로 이 가정을 검증한다. 우리는 원본 비디오 조건과 검은 화면 조건 간 문항별 정답률 차이인 Visual Dependency Gap(VDG)를 제안한다. MVBench에 대한 쌍체 McNemar 검정은 정확도와 시각 의존성이 분리 가능함을 보여준다: 모델들은 원본 비디오에서 차이를 보이지만(p = 0.0003) 검은 화면에서는 그렇지 않다(p = 0.53). 모델 전반에 걸쳐 과제 유형별 순위는 안정적이다: 속성 인식(Attribute Perception)은 강하게 시각적이며, 시간적 추론(Temporal Reasoning)은 언어만 사용하는 기준선에 근접한다. 검은 화면에서 단일 프레임, 셔플된 프레임, 원본 비디오에 이르는 진단 사다리는 프레임 다양성이 시각적 이득의 대부분을 제공하고, 시간적 순서는 16개 오픈웨이트 모델 전반에서 거의 0에 가까운 정확도 기여만 한다는 것을 보여준다. 0.5~24 FPS에 걸친 절제 실험은 희소 샘플링이 원인임을 배제한다. H.264 실험은 안정적인 집계 정확도가 양방향 문항 수준 답변 뒤바꿈을 감춘다는 것을 추가로 보여준다. 이 진단은 VDG 값이 0.025~0.315 범위인 4개 API 접근 모델에도 일반화된다. 이 결과들은 비디오 벤치마크가 시각적으로 그라운딩된 능력을 측정하는지 여부를 점검하는 표준 감사 수단으로서 VDG를 제안한다. 코드는 https://github.com/JaeLee18/accuracy-without-grounding 에서 이용 가능하다.

arXiv:2605.24602v5cs.CV

어텐션 분산으로 유발된 시각적 흐림 보정을 통한 환각 감소: 알고리즘과 이론

Correcting Visual Blur Induced by Attention Distraction to Reduce Hallucinations: Algorithm and Theory

멀티모달 대규모 언어 모델(MLLM)에서 발생하는 객체 환각(object hallucination)이 인간의 주의 분산 시 시각적 선명도가 저하되는 현상과 유사하게, 멀티헤드 어텐션의 공간적 불일치와 디코딩 과정에서 이미지 토큰에 대한 어텐션의 시간적 소실로 나타남을 규명하였다. 이를 바탕으로 크로스헤드 어텐션 강화와 동적 과거 어텐션 강화를 결합한 훈련 불필요 모듈 AFIP를 제안하여 다양한 벤치마크에서 환각 억제 효과를 검증하였다.

arXiv:2607.12602v1cs.CV

분리와 추론: 3D 흉부 CT에서 자유 텍스트 소견의 해부학적 가이드 2단계 복셀 수준 그라운딩

Decouple and Reason: Anatomically Guided Two-Stage Voxel-Level Grounding of Free-Text Findings in 3D Chest CT

3D 흉부 컴퓨티드 토모그래피(CT) 영상에서 자유 텍스트 소견을 복셀 수준으로 그라운딩하는 것은 임상적 해석 가능성에 매우 중요하다. 그러나 대규모 3D 볼륨의 복잡한 공간적 복잡성과 자유 텍스트 소견의 이질성으로 인해 이 과제는 여전히 매우 어렵다. 기존 end-to-end 접근법은 정확한 3D 분할에 필요한 국소 특징 표현과 텍스트 정렬에 필요한 복잡한 의미 이해를 동시에 학습하는 데 어려움을 겪는 경우가 많아, 그라운딩 성능이 최적에 미치지 못한다. 이 근본적 한계를 극복하기 위해, 우리는 문제를 두 개의 전문화된 단계로 분리하는 새로운 분리형 프레임워크를 제안한다: (1) 클래스 무관 병변 분할 및 (2) 텍스트-볼륨 추론. 이 구조적 분리는 모델이 잠재적 이상 소견을 국소화하여 후보 부분 볼륨을 먼저 추출할 수 있게 한다. 이후 집중적인 크로스모달 추론을 수행하여 이러한 국소화된 부분 볼륨을 자유 텍스트 의료 소견과 정렬한다. 국소 영역에 내재된 공간적 모호성을 해결하기 위해, 추론 모듈은 상대적 공간 좌표와 폐엽 사전 정보를 활용한 명시적 해부학적 가이드를 보강한다. ReXGroundingCT 벤치마크에서 평가한 결과, 우리 방법은 공식 리더보드에서 전체 그라운딩 품질 기준 최첨단 성능을 달성한다. 이 결과는 검출과 추론을 분리하는 것이 3D 의료 시각 그라운딩의 복잡성을 다루는 데 매우 효과적인 패러다임임을 보여준다. 우리 코드는 https://github.com/khuhm/DAGG 에서 공개적으로 이용할 수 있다.

arXiv:2607.11862v1cs.CV

근거 기반 비디오 질의응답

Evidence-Backed Video Question Answering

현재의 비디오 대규모 언어 모델(Video LLM)은 질의응답(QA)에서 뛰어난 성능을 보이지만, 대부분 시각적 근거 없이 텍스트 답변만 제공하는 블랙박스 방식으로 작동한다. 기존의 설명 가능성 연구들은 텍스트 기반 근거나 희소한 바운딩 박스에 의존하며, 폐색(occlusion)이나 비강체 변형(non-rigid deformation)과 같은 복잡한 비디오 동역학을 포착하는 데 한계가 있다. 우리는 근거 기반 비디오 질의응답(E-VQA)이라는 새로운 태스크를 제안한다. 이 태스크는 모델이 의미론적 답변과 함께 시공간적 근거—즉, 시간 구간과 조밀하게 추적된 객체 분할 마스크릿(masklet)—를 동시에 출력할 것을 요구한다. 이를 지원하기 위해 판별적(discriminative) 및 생성적(generative) 픽셀 수준 그라운딩을 위한 최초의 인간 검증 벤치마크인 ST-Evidence를 도입한다. 최신 모델들에 대한 평가 결과, QA 정확도와 실제 시각적 인식 사이의 심각한 괴리가 드러났으며, 이는 스케일링만으로는 해소되지 않는다. 이를 해결하기 위해 고수준 추론과 세밀한 그라운딩을 연결하는 16만 규모의 데이터셋인 ST-Evidence-Instruct를 생성하는 확장 가능한 자동화 생성 파이프라인을 개발한다. 이 데이터로 그라운딩 기반 Video LLM을 미세조정하면 동일한 크기의 UniPixel 기준선 대비 상당한 성능 향상을 달성한다(예: 7B 모델에서 t-mean +27.2, J&F +13.8). 이는 설명 가능하고 근거 기반의 비디오 이해를 위한 강건한 기준선을 확립한다. 코드와 데이터는 https://github.com/SalesforceAIResearch/EVQA 에서 공개되어 있다.

arXiv:2607.08267v1cs.CV

UniRef-UAV: UAV 영상에서의 범용 참조를 위한 멀티모달 벤치마크

UniRef-UAV: A Multimodal Benchmark for Universal Referring in UAV Imagery

UAV 영상에서 텍스트 전용·이미지 전용·텍스트+이미지 쿼리를 모두 지원하고 대상 없음·단일·다중 타깃 그라운딩을 포함하는 범용 참조(Universal Referring) 태스크를 정의하고, 22개 공개 UAV 데이터셋 기반의 멀티모달 벤치마크 UniRef-UAV(15만 건 이상의 쿼리 샘플)와 이종 쿼리를 공유 쿼리 공간으로 매핑하는 탐지 방식 기준선 UAV-URNet을 제안한다. UAV-URNet은 대형 범용 MLLM 대비 더 일관된 대상 없음 판별과 경량화된 재현 가능성을 보이며, 멀티모달 쿼리가 시각적 쿼리 모호성을 줄이고 통합된 쿼리-대상 정렬 공간을 형성함을 실험으로 입증한다.

arXiv:2607.02607v1cs.CV

비디오 추론을 위한 잠재 시각 캐시

Latent Visual Cache for Video Reasoning

비디오 추론은 대규모 멀티모달 모델(LMM)이 밀도 높은 증거에 기반을 유지하도록 요구하지만, 기존 시스템은 대부분 "한 번 읽고, 다량 생성"하는 패러다임을 채택하여 생성 과정에서 시각적 그라운딩이 약화된다. 이 현상은 널리 관찰되어 왔으며 시각적 앵커링 감쇠(Visual Anchoring Decay)로 알려져 있다. 이 간극을 메우기 위해 우리는 잠재 비디오 캐시(Latent Video Cache, Latent-VC)를 제안한다. 이는 디코더에 삽입되는 순환 잠재 시각 캐시로, 추론 전반에 걸쳐 압축된 시각 기억을 보존한다. 이 캐시는 지도 대조 캐시 정렬(supervised contrastive cache alignment)과 잠재 그라운딩 보상을 활용한 비전 기반 GRPO로 학습되며, 디코더의 네이티브 은닉 상태를 통해 학습-추론 간 엄격한 정렬을 유지한다. Qwen3.5-9B 기반으로 구축된 Latent-VC는 6개의 비디오 벤치마크에서 강력한 사고의 연쇄(CoT) 및 SFT+GRPO 기준 모델을 일관되게 능가하며, 특히 그라운딩 집약적 과제와 장편 비디오 과제에서 명확한 성능 향상을 보인다. 또한 실질적으로 더 짧은 응답으로 더 높은 정확도를 달성하며, 이는 잠재 시각 캐싱이 더 긴 텍스트 연쇄에 의존하는 대신 시각적 증거를 보존함으로써 비디오 추론을 개선함을 시사한다.

arXiv:2607.02490v1cs.CL

Visually Grounded Self-Reflection for Vision-Language Models via Reinforcement Learning

비전-언어 모델(LVLM)이 멀티모달 추론 시 시각적 입력을 제대로 반영하지 못해 분포 이탈(out-of-distribution) 환경에서 자기반성(self-reflection) 능력이 저하되는 문제를 해결하기 위해, 랜덤 턴 마스킹(Random Turn Masking)과 버퍼드 롤인(Buffered Roll-In)을 결합한 강화학습 프레임워크 VRRL을 제안한다. 테이블·차트 시각적 그라운딩 및 공간 내비게이션 벤치마크에서 VRRL은 표준 RL 및 기존 반성 지향 파인튜닝 기법 대비 분포 이탈 정확도를 크게 향상시켰다.

arXiv:2607.01707v1cs.CV

LASER: 시각적 어텐션 보존과 싱크 억제를 통한 LVLMs의 교정 렌즈

LASER: A Corrective Lens for LVLMs via Visual Attention Preservation and Sink Suppression

비전-언어 모델(LVLM)의 장기 디코딩 시 어텐션이 시각적 근거로부터 점진적으로 멀어지는 시각적 망각(visual forgetting) 문제를 분석한 결과, 초기 단계 어텐션 감쇠와 의미 없는 싱크 토큰(sink token)으로의 어텐션 집중이 주요 원인임을 규명했다. 이를 해결하기 위해 GRPO 기반 사후학습 프레임워크 LASER를 제안하며, 시각적 그라운딩 보상(Visual Grounding Reward)과 싱크 억제 보상(Sink Suppression Reward)을 통해 8개 벤치마크에서 기준 모델 대비 시각 추론 1.9%, 시각 인식 5.7% 향상을 달성했다.

arXiv:2607.00434v1cs.CV

시각 중심 추론을 위한 정보 정규화 어텐션

Information-Regularized Attention for Visual-Centric Reasoning

비전-언어 모델(VLM)의 객체 환각, 시각적 그라운딩 약화, catastrophic forgetting 문제가 시각 표현 학습에 대한 명시적 제어 부재에서 비롯된다고 보고, 트랜스포머 중간 레이어의 은닉 상태에 주입되는 시각 정보량을 확률적 어텐션으로 조절하는 Information-Regularized Attention(IRA)을 제안한다. IRA는 어텐션 싱크를 억제하고 더 부드러운 임베딩 곡률 궤적을 형성하여 신뢰성 높은 VLM 구축에 기여함을 실험적으로 입증한다.

arXiv:2606.31980v1cs.CL

DigitalCoach: 인간과 에이전트 기반 컴퓨터 사용 코칭에서의 소통 및 그라운딩 격차

DigitalCoach: Communication and Grounding Gaps in Human and Agentic Computer Use Coaching

인간 전문가-초보자 간 컴퓨터 사용 코칭 세션 72개, 22,752개의 대화 턴, 28.1시간의 화면 녹화로 구성된 멀티모달 데이터셋 DigitalCoach를 소개하며, 이를 통해 최신 모델의 코칭 능력을 평가한다. 평가 결과 모델은 인간에 비해 직접 지시는 많지만 설명·오류 진단·시각적 그라운딩이 부족하여, 학습자가 수동적으로 지시를 따르게 하는 커뮤니케이션 및 그라운딩 격차가 확인되었다.

arXiv:2606.29705v1cs.AI

GUICrafter: Weakly-Supervised GUI Agent Leveraging Massive Unannotated Screenshots

Data, as the fundamental substrate of modern intelligence, has greatly driven the development of current foundation models. Naturally, researchers aim to extend this paradigm to the domain of GUI agents, hoping to build strong GUI agents through a similar paradigm. However, GUI agent data cannot be directly harvested from the internet, making it costly and difficult to collect at scale. As a result, current GUI agents suffer from poor cross-device generalization and limited visual grounding ability for fine-grained GUI elements. As an attempt to address data challenge in GUI agents, we propose GUICrafter, a weakly-supervised GUI agent leveraging massive unannotated screenshots to substantially reduce the reliance on expensive human annotations. GUICrafter explores a curriculum learning framework for training GUI agents through two progressive stages. First, the model learns visual grounding from large-scale unannotated screenshots and webpages, leveraging the rich contextual signals inherent in GUI interactions without human annotations. Then, in Stage 2, we leverage a small amount of high-quality data to calibrate the model via reinforcement learning. Experiments show that GUICrafter achieves competitive, or even superior, performance to advanced systems like UI-TARS while using only 0.1% of its data. Furthermore, under the same amount of annotated data, GUICrafter surpasses all previous methods such as GUI-R1. Code, data, and models are available at https://github.com/fansunqi/GUICrafter.

arXiv:2606.27947v1cs.CV

토큰 활성화 맵을 이용한 MLLM의 예술 작품 묘사 방식 이해

Understanding How MLLMs Describe Artworks Using Token Activation Maps

멀티모달 대규모 언어 모델(MLLM)은 예술 작품을 놀랄 만큼 유창하게 묘사하지만, 그 출력 이면의 시각적 추론은 여전히 불투명하다. MLLM이 스타일을 명명하거나, 피사체를 식별하거나, 상징학적(iconographic) 기호를 인식할 때, 각 주장을 캔버스의 해당 영역에 그라운딩(grounding)하는지, 구분되지 않은 시각 신호에 의존하는지, 아니면 주로 텍스트적 사전 지식(priors)에 의존하는지? 우리는 Token Activation Map(TAM)을 사용하여 이를 연구한다. TAM은 각 생성 토큰에 대해, 이전 문맥 간섭으로부터 해당 토큰에 특화된 시각적 증거를 분리한 히트맵을 생성한다. 여러 시대와 장르에 걸친 선별된 그림 집합에 TAM을 적용하여, 다섯 가지 의미적으로 구별되는 토큰 범주—일반 시각 객체, 스타일 서술어, 메타데이터, 상징학적(iconographic) 토큰, 정서적(affective) 표현—에 걸친 그라운딩 패턴을 분석한다. 시각적 그라운딩은 토큰 의미에 따라 상당히 달라진다는 것을 발견했다. 또한 MLLM이 예술 작품과 화가를 식별하려 시도하며, 제목 예측보다 화가 귀속(attribution)에서 더 높은 정확도를 달성하고, 제목 예측에서는 환각(hallucination)이 더 빈번하게 나타난다는 것을 보인다. 마지막으로 TAM을 SAM~3 open-vocabulary segmentation과 비교한다. 재현성을 위해 코드, 실험 설정, 프롬프트, 정성적 결과를 프로젝트 페이지 https://nicolafan.github.io/tamart/ 에 공개한다.

arXiv:2603.10863v2cs.CV

순차적 거리를 넘어: 모달 간 거리 불변 위치 인코딩

Beyond Sequential Distance: Inter-Modal Distance Invariant Position Encoding

다중모달 대규모 언어 모델(MLLM)의 놀라운 능력에도 불구하고, 긴 컨텍스트 시나리오에서 여전히 시각적 페이딩(visual fading) 문제를 겪는다. 구체적으로, 텍스트 시퀀스가 길어질수록 시각 토큰에 대한 어텐션이 약해져 시각적 제약에서 벗어난 텍스트 생성이 발생한다. 우리는 이러한 성능 저하의 원인을 다중모달 RoPE의 고유한 귀납적 바이어스에 두는데, 이는 시각 토큰과 텍스트 토큰 사이의 거리가 증가할수록 모달 간 어텐션에 페널티를 부과한다. 이를 해결하기 위해, 모달리티 상호작용에 기반하여 위치 인코딩을 분리하는 단순하지만 효과적인 메커니즘인 모달 간 거리 불변 위치 인코딩(DIPE)을 제안한다. DIPE는 모달 내 상호작용에 대해 자연스러운 상대적 위치 관계를 유지하여 지역 구조를 보존하면서, 모달 간 상호작용에 대해서는 고정된 지각적 근접성을 강제한다. 이 전략은 모달 간 거리 기반 페널티를 효과적으로 완화하여, 컨텍스트 길이와 관계없이 시각 신호가 지각적으로 일관되게 유지되도록 한다. 실험 결과, DIPE를 다중모달 RoPE와 통합하면 모델이 긴 컨텍스트 시나리오에서 안정적인 시각적 그라운딩(visual grounding)을 유지하며, 시각적 페이딩을 크게 완화하면서 표준 단기 컨텍스트 벤치마크에서의 성능은 보존함을 보여준다. 코드는 https://github.com/lchen1019/DIPE 에서 제공된다.

arXiv:2606.26794v1cs.CV

ReasonCLIP-58M: CLIP을 위한 시각적으로 그라운딩된 상식 추론 지도

ReasonCLIP-58M: Visually Grounded Commonsense Reasoning Supervision for CLIP

ReasonCLIP-58M은 CLIP 스타일 모델에 아키텍처 변경 없이 대규모 시각적 상식 추론 지도를 2단계 연속 사전학습으로 통합하는 프레임워크이며, ReasonLite-42M·ReasonPro-16M과 RCLIP-Bench를 함께 제안한다. ReasonCLIP은 시각적으로 그라운딩된 상식·구성적 추론과 제로샷 검색을 개선하고, LLaVA-NeXT 같은 멀티모달 LLM(MLLM)의 시각 인코더로 추가 추론 비용 없이 교체해 일관된 성능 향상을 보인다.

arXiv:2606.26387v1cs.CV

VIGILant 유지: MLLM에서 반사실적 시각 정렬을 통한 시각적 게으름 완화

Staying VIGILant: Mitigating Visual Laziness via Counterfactual Visual Alignment in MLLMs

VIGIL(Visual Information Gain In aLignment)은 멀티모달 대규모 언어 모델(MLLM)이 내부적으로 올바른 시각 정보를 인코딩하면서도 언어 사전(language prior)에 과도하게 의존하는 시각적 게으름(visual laziness) 문제를 해결하기 위해, 시각적 어텐션을 마스킹한 반사실적(counterfactual) 맹목 상태와 정상 상태 간의 상호 정보량을 최대화하는 강화학습 기반 사후학습 프레임워크다. 선호도 데이터의 25%만으로 최신 기법의 전체 데이터 성능에 필적하며, 명시적인 바운딩 박스 지도 없이도 공간 그라운딩(spatial grounding) 능력이 창발적으로 나타남을 다양한 환각 및 추론 벤치마크에서 입증했다.

arXiv:2606.18008v2cs.CV

PhaseWin: 충실한 시각적 귀속을 위한 효율적인 검색 알고리즘

PhaseWin: An Efficient Search Algorithm for Faithful Visual Attribution

시각적 귀속(visual attribution)은 현대 비전(vision) 및 비전-언어(vision-language) 모델을 해석하는 기본 도구로, 특히 모델의 결정을 검사, 진단 또는 감사해야 할 때 중요합니다. 그 목표는 모델의 결정이 시각적 입력의 지역적 영역에 어떻게 의존하는지 설명하는 것이며, 일반적으로 후보 이미지 영역에 중요도 순서를 할당함으로써 이루어집니다. $n$개의 영역으로 분할된 이미지가 주어지면, 충실한 귀속은 순서가 있는 부분집합 검색(ordered subset-search) 문제로 공식화할 수 있습니다. 이 문제에서 선택된 영역을 점진적으로 삽입할 때 목표 모델의 응답을 가능한 한 빨리 복원해야 합니다. 영역 부분집합에 대한 전수 탐색(exhaustive search)은 지수적인 비용이 드는 반면, 널리 사용되는 탐욕적 검색(greedy search)은 모든 선택 단계에서 남은 모든 후보를 다시 점수화해야 하므로 여전히 제곱 수준의 모델 평가가 필요합니다. 본 논문에서는 충실한 시각적 귀속을 위한 효율적인 부분집합 검색 알고리즘인 PhaseWin을 제안합니다. PhaseWin은 탐욕적 영역 선택을 단계별 윈도우 검색 절차로 재구성합니다. 매 단계마다 전체 후보 집합을 재평가하는 대신, 전역 후보 스크리닝, 적응형 가지치기(pruning), 지역화된 윈도우 정제(refinement)를 번갈아 수행하면서 탐욕적 검색의 본질적인 영역 순위 매기기 동작을 보존합니다. 우리는 단조 증거 누적(monotone evidence-accumulation) 조건 하에서 PhaseWin을 분석하고, 특징(feature) 수준의 구조적 가정 하에서 제어 가능한 선형 평가 복잡도와 거의 탐욕적(near-greedy)인 충실도 보장을 달성함을 보여줍니다. 이미지 분류, 객체 검출, 시각적 그라운딩(visual grounding), 이미지 캡셔닝(image captioning)에 대한 광범위한 실험을 통해, 비교된 모든 귀속 방법 중에서 PhaseWin이 가장 적은 순방향 패스(forward pass)로 높은 충실도에 도달함을 보여주며, $O(n^2)$에서 $O(n)$으로의 예측된 감소를 경험적으로 실현합니다. 코드는 https://github.com/Qihuai27/phasewin-va 에서 확인할 수 있습니다.

arXiv:2606.24539v1cs.CV

PointVG-R: 시각적 사고의 연쇄를 통한 정밀 포인팅 위치 파악을 위해 MLLM에 기하학적 추론을 내재화하기

PointVG-R: Internalizing Geometric Reasoning in MLLMs for Precise Pointing Localization via Visual Chain of Thought

포인팅 기반 시각적 그라운딩(pointing-based visual grounding)은 시각 장면과 포인팅 제스처 사이의 복잡한 공간적 관계를 해독하여 대상 객체를 정밀하게 위치 파악하도록 모델에 요구한다. 기존 방법들은 일반적으로 입력 이미지를 정적인 특징(feature) 표현으로 인코딩하고 추론을 주로 언어 영역에서 수행하여, 이미지에 내재된 풍부한 지각적 단서와 명시적 공간 기하학을 간과하는 경우가 많다. 본 연구에서는 추론 유도 방식의 멀티모달 대규모 언어 모델(MLLM)인 PointVG-R을 제안함으로써, 제스처의 공간적 관계 해석 시 모델의 인지적 취약점을 완화하고자 한다. PointVG-R은 포인팅 기반 그라운딩을 위한 기하학 인식 추론을 도입하여, 강화학습(RL)과 콜드 스타트 데이터의 전략적 통합을 통해 모델이 이미지와 함께 사고할 수 있게 한다. 구체적으로, 인간이 포인팅 제스처를 해석할 때 사용하는 반복적 인지 과정을 시뮬레이션하는 새로운 기하학적 추론 파이프라인을 설계한다. 또한, 지도 미세조정(SFT)과 강화학습을 통해 모델을 안내하기 위한 상세한 추론 궤적을 포함한 고품질의 시각적 사고의 연쇄(CoT) 데이터셋인 EgoPoint-CoT를 구축한다. 학습 중 발생하는 학습 신호의 품질 변동 문제를 해결하기 위해, 그룹 분산(Group Variance) 기반의 적응적 중요도 가중치(Adaptive Importance Weighting) 전략을 추가로 제안하며, 이는 보상 신호를 동적으로 조정하여 학습 과정을 최적화한다. 실험 결과, PointVG-R은 mIoU에서 기준선(baseline) 대비 $\textbf{15.86}$ 포인트를 상회하는 최첨단(SOTA) 성능을 달성함을 보여준다. 광범위한 절제 연구(ablation study)를 통해 제안된 모듈들의 효과를 추가로 검증한다. 코드: https://github.com/lingli1724/PointVG-R.

arXiv:2606.24498v1cs.CV

VistaRef: 포인팅-객체 검출을 위한 시각적 공간 방향 인식 강화

VistaRef: Boosting Visual Spatial Orientation Awareness for Pointing-to-Object Detection

자연 이미지에서 지시적 제스처를 그라운딩하는 것은 AR 및 인간-로봇 협업의 근간으로, 원활한 공간적 상호작용의 기반을 제공한다. 트랜스포머 기반 시각 모델이 일반 객체 검출에서 상당한 발전을 이루었음에도 불구하고, 이들의 전역 어텐션 메커니즘은 미세한 기하학적 관계를 간과하는 경향이 있어 방향 정확도를 저하시킨다. 포인팅 태스크에서 이 결함은 손가락 포즈로부터 암시되는 포인팅 레이를 정확하게 포착하지 못하는 형태로 나타나며, 멀리 떨어지거나 밀집된 객체를 다룰 때 포인팅 드리프트 및 위치 모호성을 야기한다. 이를 해결하기 위해 우리는 공간 방향 인식을 명시적으로 강화하도록 설계된 프레임워크인 VistaRef를 제안한다. 첫째, 손 포즈 임베딩을 통합하여 미세한 손가락 편차를 포착하는 모델의 능력을 강화하는 LHEM(Local Hand Entity Modeling) 모듈을 개발한다. 둘째, 다중 시점 기하학에서 영감을 받아, 암묵적인 방향 정보를 명시적인 공간 기하학적 특징으로 변환하고 어텐션 메커니즘을 통해 특징 집계 및 심층 융합을 유도하는 GRM(Geometric Ray Modeling) 모듈을 구성한다. 또한, 손의 존재 여부와 포인팅 일관성을 상호보완적으로 감독하는 새로운 OCAL(Orientation-Consistent Alignment Loss)을 도입하여, 모든 아키텍처적 개선이 공간 위치 추정이라는 핵심 목표에 집합적으로 기여하도록 보장한다. 실험 결과, VistaRef는 그라운딩 정확도에서 14포인트 절대 향상을 달성하며 기준선을 크게 능가함을 보인다. 정성적 분석을 통해 VistaRef가 손에서 대상 객체까지의 기하학적 상관관계를 효과적으로 모델링하여, 복잡한 시나리오에서 전통적인 트랜스포머에 내재된 공간 지각 격차를 해소함을 확인한다. 코드: https://github.com/lingli1724/VistaRef.