PyTorchKR Papers

최신 논문

총 595편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.24118v1cs.CV

문서 내 요소를 정밀하게 그라운딩하는 대규모 멀티모달 모델

An LMM for Precisely Grounding Elements in Documents

문서 내 시각적 그라운딩은 문서 이해, 심층 연구, 문서 오류 탐지 등의 영역에서 대규모 멀티모달 모델(LMM)에게 필수적인 능력이다. 그러나 기존 접근법들은 텍스트가 풍부한 문서 이미지에서 그라운딩 정밀도가 낮아, 신뢰할 수 있는 추론에 필요한 핵심 문서 요소를 정확히 찾아내지 못하는 경우가 많다. 이러한 한계를 해결하기 위해, 우리는 정밀한 요소 그라운딩에 특화되고 Document VQA 태스크에 맞게 추가 최적화가 가능한 LMM인 PreciseDoc을 제안한다. 구체적으로, 기본 위치 파악 능력을 향상시키기 위해 카메라 효과가 적용된 합성 손기입 문서를 포함하여 세밀한 좌표의 페어링된 메타데이터를 갖춘 고품질 문서를 대량 생산할 수 있는 두 가지 파이프라인으로 난이도 높은 학습 데이터를 구축하였다. 이 모델은 단순한 단일 텍스트 위치 파악을 넘어 이력서에서 개인 정보를 찾아내는 것과 같은 실세계 기능도 수행한다. 나아가, 그라운딩과 추론을 강화학습으로 공동 감독하여 그라운딩된 근거의 기여도를 높이는 시각적 그라운딩 추론을 위한 학습 패러다임을 도입한다. 다양한 벤치마크에 대한 포괄적인 평가를 통해 제안된 데이터와 방법이 문서 공간 그라운딩 및 문서 이해에서 우위를 보임을 확인하였다.

arXiv:2606.23763v1cs.CV

듣기가 VLM의 시각을 명확하게 한다

Listening makes Vision Clear for VLMs

최근 연구들은 일반적으로 답변 측 토큰의 어텐션 분포를 사용하여 비전-언어 일관성을 평가한다. 그러나 우리는 어텐션이 가장 높은 영역이 항상 의도된 의미 토큰과 일치하지 않는다는 것을 관찰하였다. 이는 아마도 디코딩 드리프트(decoding drift)에서 비롯된 것으로, 이전에 생성된 답변 토큰의 언어 사전(language prior)이 누적되면서 시각적 어텐션과 불일치가 발생한다. 이전 답변 토큰의 사전 외에도, 모달리티 경계 마커(modality boundary marker)와 같은 구조적 토큰이 전체 컨텍스트를 포괄하여 목표와 무관한 영역에 높은 어텐션을 생성할 수 있음을 발견하였다. 이러한 왜곡을 방지하고 대규모 VLM에 대한 일관성 평가를 제공하기 위해, 우리는 프롬프트 측 의미론을 채택하고 프롬프트-비전 토큰 활성화 맵(PV-TAM, Prompt-Vision Token Activation Map)을 제안한다. PV-TAM은 모달리티 경계 마커에 의해 유발되는 체계적 바이어스를 제거하는 필터를 추가로 통합한다. 마스크만을 통해 겹침을 평가하고 활성화 강도를 무시하는 기존 방법과 달리, 우리의 메트릭은 어텐션의 피크 분포를 활용하여 프롬프트와 시각적 영역 간의 정렬을 측정한다. 실험에서 PV-TAM은 다양한 데이터셋에서 답변 측 기준선 대비 어텐션 기반 및 IoU 방식의 로컬라이제이션(localization) 메트릭 모두를 일관되게 향상시킨다.

arXiv:2606.22207v1cs.CL

Lexical Consensus: 인공 에이전트의 그라운딩 기반 단어 학습과 공유 의미

Lexical Consensus: Grounded Word Learning and Shared Meaning in Artificial Agents

Lexical Consensus는 고정된 DINOv2 시각 임베딩과 Carroll식 인공 어휘 위에서 에이전트의 그라운딩 기반 단어 학습을 검증하는 실험 프레임워크로, 어휘 획득이 원래 범주에서 일관된 과확장까지는 가능하지만 분리 개념일수록 성능이 급격히 떨어지는 지각-일관성 그래디언트를 보인다. 사전 등록 CIFAR-100 분리 실험에서는 이 그래디언트가 의미적 연관성이 아니라 지각적 거리에 의해 지배되며, 양방향 평가에서는 명명과 검색이 구분되고 고정된 지각 기하가 그라운딩을 가능하게 하면서 표상 적응 없이는 획득 한계를 둔다.

arXiv:2606.22694v1cs.CV

SATURN: 다관점 그라운딩을 위한 심볼릭 공간 추론

SATURN: Symbolic Spatial Reasoning for Multi-Perspective Grounding

비전-언어 모델(VLM)은 공간 추론이 기준 좌표계에 따라 의미가 달라지는 관계들을 조합해야 할 때 여전히 신뢰할 수 없다. 기존 신경-심볼릭(neuro-symbolic) 방법은 추론을 더 명시적으로 만들지만, 종종 불안정한 기하학적 절차와 노이즈가 많은 지각(perception)에 대한 경성(hard) 결정에 의존한다. 우리는 관점 인식(perspective-aware) 구성적(compositional) 공간 추론을 위한 신경-심볼릭 프레임워크인 SATURN을 제안한다. SATURN은 근사 3D 장면을 재구성하고, 소프트(soft) 관점 인식 공간 술어(predicates)를 도출한 뒤, 학습 없는(training-free) Pythonic 심볼릭 실행기(symbolic executor)로 이를 조합하여, 다중 홉(multi-hop) 추론을 통해 불확실성을 보존하면서 지각과 추론을 분리한다. 또한 공간 배치 그라운딩(SAG)과 지시 표현 그라운딩(REF)에 걸쳐 추론 깊이, 시점(view), 관점 구성을 제어하는 진단 벤치마크인 3D FORCE를 도입한다. 3D FORCE에서 VLM과 공간적으로 학습된 모델은 깊이와 관점 복잡도가 증가할수록 급격히 성능이 저하되는 반면, SATURN은 안정적으로 유지되며 강력한 기준선들을 능가한다. 실세계 벤치마크 MindCube에서 SATURN은 78.57%의 전체 정확도를 달성하여, 가장 강력한 기준선보다 14%p 높다.

arXiv:2606.22476v1cs.CV

CVSBench: 교차 시점 공간 추론 및 공간 상상을 위한 종합 벤치마크

CVSBench: A Comprehensive Benchmark for Cross-view Spatial Reasoning and Dreaming

인간은 서로 다른 시점에서 장면에 대해 손쉽게 추론할 수 있지만, 비전-언어 모델(VLM)이 유사한 교차 시점 공간 능력을 갖추고 있는지는 여전히 불분명하다. 위성-스트리트 장면 쌍은 복잡한 맥락과 극단적인 시점 변화를 지니므로 이상적인 시험대를 제공한다. 이에 영감을 받아, 위성-스트리트 쌍을 통한 교차 시점 공간 추론 평가를 위한 대규모 벤치마크 CVSBench를 제안한다. 이 벤치마크는 교차 시점 VQA, 교차 시점 그라운딩(grounding), 시점 식별(viewpoint identification) 등 다양한 과제를 지원한다. CVSBench는 3,297개의 교차 시점 이미지 그룹, 9,468개의 객체 수준(object-level) 어노테이션, 40,679개의 질문-답변(QA) 쌍으로 구성되어 교차 시점 공간 추론의 체계적이고 통제된 평가를 가능하게 한다. 광범위한 평가 결과, 고급 VLM은 급격한 시점 변화 하에서 객체 수준 및 레이아웃(layout) 일관성을 유지하는 데 어려움을 겪는 것으로 나타난다. 인간과 유사한 공간 인지(spatial cognition)로의 격차를 줄이기 위해, 공간 기반 추론(spatially grounded reasoning)과 인지 지도(cognitive map) 입력 통합이라는 두 범주의 접근법을 조사한다. 우리의 결과는 언어만을 이용한 추론(language-only reasoning)은 미미한 개선만을 가져오는 반면, 3D 장면 상상(scene imagination) 파이프라인을 통한 시각적 공간 상상(visual spatial imagination) 통합은 교차 시점 추론을 실질적으로 향상시킴을 보여준다. 이러한 결과는 VLM에서 견고한 공간 인지를 위해 명시적 시각-공간(visual-spatial) 표현의 필요성을 강조한다. 데이터와 코드는 https://huggingface.co/datasets/zlyzlyzly/CVSBench 에서 공개된다.

arXiv:2606.19120v1cs.LG

추론 전 시각화: 지름길 내성이 있는 멀티모달 온-정책 자기 증류를 위한 지각과 추론의 분리

Seeing Before Reasoning: Decoupling Perception and Reasoning for Shortcut-Resilient Multimodal On-Policy Self-Distillation

MLLM에 온-정책 자기 증류(OPSD)를 그대로 적용하면 특권 참조 답이 이미지보다 텍스트에 의존하는 지름길 학습이 생길 수 있어, ViGOS는 학생이 먼저 시각적 설명을 작성한 뒤 추론하도록 지각과 추론을 분리하고 이미지 전용 지각 교사와 특권 추론 교사로 각각 감독하는 시각적 그라운딩 OPSD 프레임워크를 제안한다. 일반 비전-언어, 전문가 추론, 시각적 수학, 공간 그라운딩 등 벤치마크에서 OPSD의 이점을 유지하면서 지름길에 취약한 설정에서 이미지 기반 동작을 개선했다.

arXiv:2606.17953v1cs.CV

MLLMs: 정답을 맞혔다가 틀리다: 후반 층 텍스트 바이어스의 추적 및 수정

MLLMs Get It Right, Then Get It Wrong: Tracing and Correcting Late-Layer Textual Bias

시각 정보가 텍스트와 모순될 때, 멀티모달 대규모 언어 모델(MLLMs)은 이미지가 그렇지 않다는 명확한 증거를 제시하더라도 지속적으로 텍스트를 선호합니다. 이러한 바이어스는 시각적 그라운딩(grounding)이 필요한 애플리케이션에 위험을 초래하지만, 그 원인은 여전히 불분명합니다. 본 논문에서 우리는 놀라운 사실을 발견했습니다. 모델은 종종 초기에는 정답을 맞히는데, 중간 층(intermediate layers)에서 올바른 시각 기반 예측을 형성한 뒤, 마음을 바꾸어 최종 출력에서는 텍스트를 선호한다는 것입니다. 우리는 이를 "후반 층 텍스트 오버라이드(override)"라고 부릅니다. 시각 정보는 인코딩되지만 단순히 출력까지 살아남지 못할 뿐입니다. 더욱 흥미롭게도, 우리는 예측이 어떻게 변하는지가 그것이 정답인지 여부를 드러낸다는 것을 발견했습니다. 실패 사례의 85%는 텍스트 쪽으로 이동하는 반면, 성공 사례의 89%는 시각 쪽으로 이동합니다. 이러한 방향성 시그니처는 간단하지만 강력한 개입(intervention)을 가능하게 합니다. 자신감 있는 시각 예측이 억제되는 것을 감지했을 때, 우리는 그것을 복원합니다. 우리는 추론 시간에 오버라이드된 예측을 복구하는 학습이 필요 없는 방법인 CALRD (Conflict-Aware Layer Reference Decoding)를 제안합니다. 다양한 아키텍처의 5개 MLLM에 대한 실험은 별도의 학습이나 외부 지식 없이 표준 성능을 대부분 유지하면서 충돌 벤치마크에서 최대 9.4%의 절대적 개선을 입증했습니다. 이는 모델이 이미 알고 있었지만 유지하지 못했던 것을 복구합니다.

arXiv:2606.17678v1cs.CV

먼저 보고 나중에 답변하기: 충분성 기반 강화학습을 통한 시각적 증거 사전 정렬

See First, Answer Later: Visual Evidence Pre-Alignment via Sufficiency-Driven RL

멀티모달 대규모 언어 모델(MLLMs)은 강력한 텍스트 추론 능력과 시각적 입력을 통합하지만, 모델의 응답은 기본 이미지와 일치하지 않는 경우가 많아 추론 과정에서 시각적 증거를 효과적으로 활용하지 못하고 있음을 시사합니다. 주류 학습 패러다임은 일반적인 정렬을 위해 대규모 캡션 기반 사전학습에 의존한 뒤, 인스트럭션 따르기와 복잡한 추론을 가능하게 하기 위해 지도 미세조정(supervised fine-tuning)과 강화학습을 수행합니다. 그러나 이러한 사전학습은 약한 시각적 그라운딩(visual grounding)만 제공합니다. 짧고 거친 캡션은 모델을 두드러진 객체(salient objects) 쪽으로 바이어스(bias)시키는 반면, 세밀한 시각적 증거는 간과하기 때문입니다. 본 논문에서는 시각적 증거 사전 정렬(Visual Evidence Pre-Alignment, VEPA)을 소개합니다. 이는 사전학습과 사후 학습(post-training) 사이의 중간 단계로, 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)와 함께 새로운 충분성 기반 목적함수를 탐색하여 질문 조건부 시각적 증거 설명을 최적화합니다. 다양한 벤치마크에 걸친 광범위한 실험 결과, 우리의 VEPA는 시각적으로 까다로운 평가에서 성능을 일관되게 향상시키며 표준 지도 사후 학습을 보완함을 보여줍니다. 추가 분석 결과, 이러한 성과 향상은 추가적인 작업 특화 학습이 아니라, 강화되고 전이 가능한 시각적 그라운딩에서 비롯됨을 확인했습니다.

arXiv:2606.17389v1cs.CV

시각 정보는 거짓말을 하고, 일관성은 말을 한다: 비전-언어 모델에서 신뢰성과 공간적 어텐션의 분리

Visuals Lie, Consistency Speaks: Disentangling Spatial Attention from Reliability in Vision-Language Models

멀티모달 파운데이션 모델은 점차 추론 에이전트로 사용되고 있으며, 이로 인해 모델이 언제 환각을 일으킬 수 있는지 아는 것, 즉 신뢰성이 중요해졌습니다. 우리가 '어텐션-신뢰도 가정(Attention-Confidence Assumption)'이라고 부르는 일반적인 직관은 신뢰성이 "구조적" 시각 지각에서 비롯된다고 봅니다. 관련 영역에 대한 집중된 어텐션은 신뢰할 수 있는 답변을 나타내고, 분산된 어텐션은 혼란을 나타내야 한다는 것입니다. 우리는 최신 비전-언어 모델(VLM)의 신뢰성 신호에 대한 체계적인 교차 패밀리 연구인 VLM Reliability Probe (VRP)를 통해 이를 반박합니다. 우리는 비전 인코더의 시선을 정량화하기 위해 구조적 어텐션 메트릭인 클러스터 수(C_k)와 공간 엔트로피(H_s)를 도입하고, 층 전체에 걸친 그 변화(Delta H_s)를 추적합니다. 이는 "기호적 분리(Symbolic Detachment)"를 보여줍니다. 모델은 종종 시각적 특징을 "조기 잠금(Early Lock)"했다가 나중에 어텐션을 확산시켜, 초기 지각과 최종 생성을 단절시킵니다. 그라운딩 가설과 달리, 우리는 "클러스터 실패(Cluster Failure)"를 발견했습니다. 공간적 어텐션은 정확도와 거의 0에 가까운 상관관계(R 약 0.001)를 가집니다. 대신, 신뢰성은 생성 역학 및 내부 상태 분포의 현상입니다. 샘플링된 추론 경로 간의 일치율인 자기 일관성(Self-Consistency)이 진실을 가장 잘 예측하는 지표입니다(R = 0.429). 인과적 개입을 스케일링하면 급격한 아키텍처적 차이가 드러납니다. LLaVA는 예측을 취약한 후기 단계 병목점에 잠그는 반면, PaliGemma와 Qwen2-VL은 신뢰성을 전역적으로 분산시켜 가장 예측력이 높은 층의 50% 이상이 파괴되더라도 강건성을 유지합니다. 현재 VLM의 경우 신뢰성 신호는 시각적 그라운딩 맵과 분리되어 있으며, 생성 시점 역학 및 히든 상태 프로브에서 추론하는 것이 가장 좋습니다.

arXiv:2602.18746v3cs.CV

폐루프 시각적 그라운딩 검증을 통한 자기 성찰에서의 모달리티 단절 해소

Bridging Modality Disconnect in Self-Reflection via Closed-Loop Visually Grounded Verification

비전-언어 모델(VLM) 시대에 멀티모달 추론 능력을 고도화하는 것은 중요한 과제로 남아 있습니다. 특히 모호하거나 복잡한 시각적 입력을 처리할 때 초기 추론이 종종 환각이나 논리적 오류로 이어지기 때문입니다. 기존 VLM은 종종 그럴듯하지만 근거가 없는(ungrounded) 답변을 생성하며, "성찰(reflect)"하도록 프롬프트를 제시하더라도 수정 사항이 이미지 증거와 분리된 상태로 남을 수 있습니다. 이를 해결하기 위해 우리는 시각적 영역에 대한 성찰(Reflection On visual Regions)을 통한 멀티모달 반복적 추론을 위한 MIRROR 프레임워크를 제안합니다. 시각적 성찰을 핵심 메커니즘으로 통합함으로써, MIRROR는 초안(draft), 비평(critique), 영역 기반 검증, 수정(revision)으로 구성된 폐루프 프로세스로 공식화되며, 출력이 시각적으로 그라운딩될 때까지 이 과정이 반복됩니다. 이 모델의 학습을 지원하기 위해 우리는 **ReflectV**를 구축했습니다. 이는 명시적으로 성찰 트리거, 영역 기반 검증 행동, 시각적 증거에 기반한 답변 수정을 포함하는 멀티턴 지도(multi-turn supervision)를 위한 시각적 성찰 데이터셋입니다. 일반적인 비전-언어 벤치마크와 대표적인 비전-언어 추론 벤치마크 모두에서 수행된 실험 결과, MIRROR는 정확성을 향상시키고 시각적 환각을 줄이는 것으로 나타났습니다. 이는 성찰을 단순한 텍스트 기반 수정 단계가 아닌 증거를 추구하고 영역을 인식하는 검증 과정으로 학습하는 가치를 입증합니다.

arXiv:2606.12419v1cs.CY

GeoDial: 시각적 튜터 턴을 포함한 기하 문제 풀이를 위한 멀티모달 대화형 튜터링 데이터셋

GeoDial: A Multimodal Conversational Tutoring Dataset for Geometry Problem-Solving with Visual Tutor Turns

텍스트 기반 상호작용에만 국한된 기존 튜터링 데이터셋의 한계를 극복하기 위해, 도표 강조가 포함된 기하학 분야의 멀티모달 대화 데이터셋인 GeoDial을 제안합니다. 비전-언어 모델을 파인튜닝하여 평가한 결과 대화 품질은 개선되었으나 정확한 도표 강조 생성에는 여전히 어려움이 있어 시각적 추론과 교육적 상호작용의 효과적인 통합이 필요함을 확인했습니다.

arXiv:2606.12985v1cs.CV

말보다 객체 먼저: 아동 시점 영상에서 언어 그라운딩을 위한 객체 우선 귀납 편향

Objects Before Words: Object-First Inductive Biases for Grounding Language in Child-View Video

자연 경험으로부터 그라운딩된 단어 의미를 학습하려면 유아 시점 기록에서 두 가지 모호성을 해결해야 한다: 명명된 참조 대상이 언제 나타나는지, 그리고 복잡한 프레임 내에서 어디에 있는지이다. SAYCam 스타일 데이터에서는 양육자의 발화가 희소하고 에고센트릭 비디오와 약하게 동기화되어 있어, 단일 프레임 대조적 페어링은 의도한 객체가 없거나 방해 요인과 얽힌 노이즈 양성 샘플을 만든다. 우리는 희소하고 노이즈가 있는 지도 환경에서 아동 시점 대조 학습을 위한 객체 우선 편향인 BabyMind를 제안한다. BabyMind는 오프라인 마스크 기반 영역 인터페이스를 통해 후보 객체 임베딩을 추출하고, 추적(tracking)을 통해 짧은 발화 중심 윈도우에서 후보들을 경량 객체 파일(object file)로 연결하며, 프로토타입 공간 다중 인스턴스 대조 목적함수로 발화를 객체 파일 집합과 정렬한다. 트랙 일관성(track-coherence) 및 전역 객체 일치(global-object agreement) 정규화항은 학습을 안정화하고 객체 파일 구조를 평가 시 사용되는 전역 프레임 임베딩으로 전이한다. SAYCam-S에서 BabyMind는 CVCL 대비 Labeled-S 15 강제 선택 정확도를 2.6%p 향상시켰으며, 어휘 내 분포 외(in-vocabulary out-of-distribution) 벤치마크에서도 일관된 성능 향상을 보였다. 코드는 https://github.com/sathiiii/BabyMind에서 제공된다.

arXiv:2606.06760v1cs.CV

MedSIGHT: 의료 대규모 비전-언어 모델에서 그라운딩 기반 시각 이해를 향하여

MedSIGHT: Towards Grounded Visual Comprehension in Medical Large Vision-Language Models

의료 대규모 비전-언어 모델(Med-LVLMs)은 최근 비전-언어 이해와 의료 이미지 분할에서 주목할 만한 진전을 이루었다. 그러나 기존 모델은 여전히 이 두 능력을 통합하는 데 어려움을 겪으며, 이는 시각적 소견과 의미론적 해석을 연결하는 임상적 추론을 달성하는 데 필수적이다. 본 논문은 그라운딩 기반 시각 이해를 위해 구조화된 픽셀 수준 이해를 Med-LVLMs에 부여하는 통합 프레임워크인 MedSIGHT를 제안한다. MedSIGHT는 영역 중심 토큰을 생성하는 새로운 Region Perceiver 모듈을 도입하며, 공간 정보를 언어 모델의 표현 공간에 직접 인코딩한다. 또한 LLM 어휘에 의료 영역 코드북을 추가하여, 모델이 해부학적 및 병리학적 영역의 상징적 표현으로 이산적 영역 코드를 생성할 수 있게 한다. 이 코드들은 Region Perceiver를 통해 디코딩되어 분할 마스크를 재구성하며, end-to-end 공간 그라운딩을 달성한다. 마지막으로 MedSIGHT는 제안한 점진적 학습 전략을 사용하여 Region Perceiver, Codebook, LLM을 결합하고, 이 모듈들을 안정적으로 점진적으로 정렬한다. 72K개의 멀티모달 instruction pair만으로 학습한 MedSIGHT는 다양한 영상 모달리티에서 의료 이해 및 이미지 분할 작업 모두에서 state-of-the-art 성능을 달성한다.

arXiv:2604.00270v4cs.CV

OmniSch: 구조화된 다이어그램 시각적 추론을 위한 멀티모달 PCB 회로도 벤치마크

OmniSch: A Multimodal PCB Schematic Benchmark For Structured Diagram Visual Reasoning

최근 대규모 멀티모달 모델(LMM)은 시각적 그라운딩, 문서 이해, 다이어그램 추론 과제에서 빠른 발전을 이루었다. 그러나 인쇄 회로 기판(PCB) 회로도를 기계가 판독 가능한 공간적 가중치 넷리스트 그래프—부품 속성, 연결성, 기하 정보를 통합적으로 포착하는—로 변환하는 능력은, 이러한 그래프 표현이 실용적인 전자 설계 자동화(EDA) 워크플로의 근간임에도 불구하고 아직 충분히 탐구되지 않았다. 이 격차를 해소하기 위해, 우리는 LMM의 회로도 이해 및 공간 넷리스트 그래프 구성 능력을 평가하는 최초의 종합적 벤치마크인 OmniSch를 소개한다. OmniSch는 1,854개의 실제 회로도를 포함하며 네 가지 과제로 구성된다: (1) 회로도 엔티티에 대한 시각적 그라운딩—423.4K개의 다이어그램 의미 레이블을 시각적 영역에 대응시키는 109.9K개의 그라운딩 인스턴스 포함; (2) 다이어그램-그래프 추론—다이어그램 요소 간의 위상적 관계 이해; (3) 기하 추론—각 연결에 대한 레이아웃 의존적 가중치 구성; (4) 시각적 탐험을 위한 도구 보강 에이전트 추론—외부 도구를 호출하여 (1)-(3)을 수행. 우리의 실험 결과는 현재 LMM이 회로도 엔지니어링 아티팩트를 해석하는 데 있어 신뢰할 수 없는 세밀한 그라운딩, 취약한 레이아웃-그래프 파싱, 일관되지 않은 전역 연결성 추론, 비효율적인 시각적 탐험 등 상당한 한계가 존재함을 보여준다.

arXiv:2506.01850v2cs.CV

MoDA: 지시 기반 MLLM의 세밀한 비주얼 그라운딩을 위한 Modulation Adapter

MoDA: Modulation Adapter for Fine-Grained Visual Grounding in Instructional MLLMs

멀티모달 대규모 언어 모델(MLLM)은 사전학습된 시각 인코더와 대규모 언어 모델(LLM)을 통합함으로써 지시 따르기(instruction-following) 과제에서 뛰어난 성과를 거두었다. 그러나 기존 접근법은 시각 패치 표현에서의 의미적 얽힘(semantic entanglement)으로 인해 세밀한 비주얼 그라운딩에 어려움을 겪는 경우가 많다. 개별 패치가 여러 개의 서로 다른 시각 요소를 혼합하여, 모델이 지시와 관련된 세부 사항에 집중하기 어렵게 만든다. 이 문제를 해결하기 위해, 우리는 지시 기반 채널별 변조(channel-wise modulation)를 통해 비주얼 그라운딩을 향상시키는 경량 모듈인 MoDA(Modulation Adapter)를 제안한다. Q-Former와 같이 가산적 특징 선택(additive feature selection)을 수행하는 토큰 수준 방법과 달리, MoDA는 이미 정렬된 특징에 대한 곱셈적 변조(multiplicative modulation)를 통해 채널 수준에서 동작하여, 각 지시에 대해 어떤 임베딩 차원이 관련 있는지를 세밀하게 제어할 수 있다. 표준 LLaVA 학습 프로토콜에 따라 MoDA는 언어 지시와 사전 정렬된 시각 특징 사이에 교차 어텐션(cross-attention)을 적용하여, 아키텍처 수정이나 추가 지도(supervision) 없이 동적 변조 마스크를 생성한다. 우리는 시각 질의응답(visual question answering), 비전 중심 추론(vision-centric reasoning), 환각(hallucination) 탐지에 걸친 12개 벤치마크(최근 2024 벤치마크 MMVP, CV-Bench, MMStar, RealWorldQA 포함)에서 MoDA를 평가하였으며, LLaVA-1.5, LLaVA-MoRE(2025), Qwen3-VL(2025)의 세 가지 서로 다른 MLLM 아키텍처에 대해 검증하였다. MoDA는 세 가지 계열 모두에서 일관된 향상을 보이며, LLaVA-1.5 계열에서는 MMVP에서 +12.0점, LLaVA-MoRE 계열에서는 ScienceQA에서 +4.8점, Qwen3-VL에서는 ScienceQA +4.9, RealWorldQA +4.1, GQA +3.8의 향상을 달성하여, CLIP 기반 인코더를 넘어 일반화되며 최소한의 오버헤드(<1% FLOPs)로 효과가 확인되었다. 코드는 https://github.com/waybarrios/MoDA 에서 제공된다.