PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13465v1cs.CV

멀티모달 LLM이 인간이 읽는 것을 놓칠 때: 눈을 가늘게 뜨고 읽는 텍스트(Squint Text) 진단 및 학습

When MLLMs miss what humans read: diagnosing and learning to read squint text

멀티모달 대규모 언어 모델(MLLM)은 이미지의 대략적인 구조에 내재된 텍스트(인간이 눈을 가늘게 뜨고 볼 때 복원할 수 있는 텍스트)를 읽지 못하고 텍스트가 존재하지 않는다고 보고할 수 있습니다. 우리는 이러한 텍스트 유형을 '스퀸트 텍스트(Squint Text)'로 명명하고, 실제 프로덕션 모더레이션 파이프라인의 사례에 착안하여 이를 인식 결함 문제로 연구합니다. 본 논문에서는 실제 운영 환경에서 추출한 1,076개의 모더레이션 이미지로 구성된 SquintBench와 메커니즘 진단을 위한 통제된 합성 데이터셋 제품군인 SquintCtrl을 소개합니다. 고정 가중치(frozen-weight) 분석에 따르면 숨겨진 텍스트는 대략적인 신호를 남기지만 글리프(glyph) 식별 정보는 약하게 표현되며, 올바른 공간 영역이 제공될 때 글리프 식별 정보에 대한 접근성이 대폭 향상되어 공간 선택이 주요 병목 현상임을 시사합니다. 또한 고주파수 콘텐츠를 억제하면 고정된 시각적 토큰(visual token) 예산 내에서 텍스트 판독 능력이 향상되며, 시각적 토큰의 수 또한 영향을 미칠 수 있습니다. 이러한 발견을 바탕으로 우리는 Squint OPSD를 제안합니다. 고정된 교사 모델은 다운스케일된 뷰와 정답 텍스트를 특권 문맥(privileged context)으로 제공받으며, 교사의 토큰 수준 분포는 온-정책(on-policy) 궤적을 따라 학생 모델을 지도합니다. 추론(inference) 시점에 학생 모델은 원본 이미지만을 입력으로 받아 읽습니다. Squint OPSD는 SquintBench에서 88.61 ANLS를 달성하여, 미적용 백본의 26.50, 원본 뷰에서 최고 성능의 범용 모델이 기록한 24.44, 다운스케일된 뷰에서 기성 모델(off-the-shelf model)이 기록한 최고치인 68.60을 크게 앞섭니다. 이러한 결과는 추론 시 보조 뷰 없이도 활용 가능한 시각적 증거와 생성된 판독 결과 간의 격차를 실질적으로 좁힙니다.

arXiv:2609.30979v2cs.CV

CCRV-Bench: 비전-언어 모델의 인과적 추론에 대한 제약 기반 평가

CCRV-Bench: Constraint-Based Evaluation of Causal Reasoning in Vision-Language Models

비전-언어 모델(VLM)은 시각 작업에서 뛰어난 성능을 입증해 왔으나, 시각적 인과 추론 능력에 대해서는 여전히 신뢰할 수 있는 평가가 부족합니다. 기존 평가는 모델이 시각적 증거에 기반해 인과 추론을 수행하는지, 아니면 지름길 학습(shortcut learning)을 위한 통계적 상관관계에 의존하는지 구분하기 어려워 실제 능력을 과대평가할 가능성이 있습니다. 본 논문에서는 단일 이미지 물리적 시나리오를 위한 제약 기반 시각 인과 추론 벤치마크인 CCRV-Bench를 제안합니다. 인과 관계 발견, 상태 예측, 인과적 진단, 개입-결과 예측의 네 가지 인과 작업 차원을 평가하는 직교 프레임워크를 구축합니다. 또한 작업에 필요한 물리적 상식을 보존하면서 지름길 단서를 줄이기 위해 개체 기호화, 공간적 그라운딩(spatial grounding), 사실적 적대적 제약 및 미니멀리스트 출력 제약을 도입합니다. 14개 멀티모달 모델에 대한 실험 결과, 제약 민감도는 작업 및 모델에 따라 다른 것으로 나타났습니다. 4가지 인과 작업 중 개입-결과 예측이 가장 큰 평균 유효 성능 저하를 보였고, 공간적 그라운딩이 평균적으로 가장 치명적인 제약이었으며, 사실적 적대적 제약은 평가된 모든 모델의 DCR을 향상시켰습니다. 이러한 결과는 제약이 없는 상태의 성능이 제약 조건 하에서의 강건성을 결정하지 않으며, 단일 종합 점수가 인과 식별, 공간적 그라운딩, 제약 준수 표현에서의 뚜렷한 실패를 가릴 수 있음을 보여줍니다. CCRV-Bench는 통제된 제약 조건에서 이미지 기반 인과 추론을 진단하기 위한 표준화된 프레임워크를 제공합니다. 코드는 https://github.com/0815linyuan/CCRVBench 에서 확인할 수 있습니다.

arXiv:2610.03105v1cs.CV

공간적으로 그라운딩된 제스처 생성을 위한 벤치마크

A Benchmark for Spatially Grounded Gesture Generation

공유된 공간에서의 의사소통은 언어적 신호와 비언어적 신호가 얽혀 있으며, 지시 제스처(pointing gesture)는 언어를 환경(environment)에 고정합니다. 예를 들어 지시 대상(referent)을 지정하는 제스처가 없다면 "컵을 저기 위에 놓아줘"라는 말은 해석할 수 없습니다. 그러나 생성된 제스처가 의도한 지시 대상을 가리키는지 평가하기 위한 공통 프레임워크는 존재하지 않으며, 분포 기반 지표(distributional metrics)는 잘못된 물체를 향한 제스처라 할지라도 자연스러워 보이기만 하면 보상(reward)을 부여합니다. 본 논문에서는 참값(ground-truth) 3D 지시 대상을 포함하는 자연스러운 VR 대화에서 수집된 약 2,000개의 지시 주석 클립, 대화 음성 내에서 언제, 어떻게, 어디를 가리켜야 할지 시스템이 결정해야 하는 태스크, 그리고 시간적 정렬(temporal alignment), 공간적 그라운딩(spatial grounding), 인지된 자연스러움을 분리하는 프로토콜로 구성된 공간적으로 그라운딩된 제스처 생성 벤치마크를 소개합니다. 또한 플로우 매칭(flow-matching) 기준선(baseline)인 MM-Conv-Flow를 제공합니다. 이를 독립적인 검색 기반 시스템 및 캡처된 사람의 움직임과 함께 평가한 결과, 기하학적 그라운딩은 인지된 자연스러움의 향상 없이도 사람의 지시를 능가할 수 있음을 발견했으며, 이는 참조적 제스처 품질이 분리된 차원을 따라 측정되어야 함을 보여줍니다.

arXiv:2610.00040v1cs.CV

DSSR-3D: 3D 가우시안에서 시점 의존적 참조를 위한 분리 추론

DSSR-3D: Decoupled Reasoning for View-Dependent Referring in 3D Gaussians

3D 가우시안 스플래팅(3D Gaussian Splatting)의 최근 발전은 2D 파운데이션 모델의 의미론적 지식을 3D 표현으로 증류하여 개방형 어휘(open-vocabulary) 및 참조 세그멘테이션(referring segmentation)을 가능하게 했습니다. 그러나 기존의 참조 필드는 언어 특징을 전역적으로 시점 불변인 공간에 임베딩하므로, 카메라 포즈에 의존하는 관찰자 중심의 공간 관계(예: "~의 왼쪽에 있는")를 근본적으로 해결하지 못합니다. 본 논문에서는 연속적인 3D 가우시안 필드에서 시점 의존적 참조 세그멘테이션을 수행하기 위한 추론(inference) 시점 프레임워크인 DSSR-3D를 제안합니다. 이는 포즈 불변 의미론적 위치 추정과 포즈 조건부 공간 추론이라는 두 인터페이스로 정형화되어, 이러한 제약 조건을 만족하는 함수 쌍이라면 어떠한 조합이든 유효한 구현체가 될 수 있으며, 기반 의미 필드의 재학습이나 바운딩 박스와 같은 이산적 기하학적 대용물(proxy)에 의존하지 않습니다. 우리는 온도 파라미터로 선명화된 소프트맥스(softmax) 위치 추정 메커니즘과 투영 기반 방향 점수화 함수로 두 인터페이스를 구현하고 경량의 학습(training) 없는 단계를 통해 이를 융합하였으며, 별도의 적응 과정 없이 구조적으로 상이한 의미 필드에도 제로샷(zero-shot)으로 전이됨을 보입니다. 나아가 3D 가우시안 필드에서 시점 의존적 세그멘테이션을 분리 평가하는 벤치마크인 ViewRef-GS를 제안하고, 증강된 Ref-LERF와 함께 평가하여 시점 의존적 공간 그라운딩(grounding)을 위한 종합적인 테스트베드를 제공합니다. 실험 결과, 기본 의미 필드 외의 추가 학습 없이도 기존 3DGS 기반 참조 방식 대비 일관된 성능 향상을 보였습니다.

arXiv:2609.27408v1cs.CV

비전-언어 모델에서 능력 한계처럼 보이는 것은 판독(readout) 한계이다

What Looks Like a Capability Limit in Vision-Language Models Is a Readout Limit

비전-언어 모델 벤치마크는 답 선택지를 어떤 관례에 따라 제시한다: 문자, 색 이름, 픽셀 좌표 등. 그 관례는 중립적인 것으로 간주된다. 우리는 그렇지 않음을 밝히고, 벤치마크가 보고하는 한계가 모델이 아니라 판독(readout)에 속할 수 있음을 보인다. COCO 사진 200장에서 Qwen3-VL-4B는 이름이 붙은 객체에 대해 아홉 위치 중 올바른 위치를, 위치가 영어로 주어지면 68.5%, 동일한 위치가 픽셀 좌표로 주어지면 20.0%의 확률로 고른다. 우선확률(chance)은 11.1%이다. 비용은 답 선택지가 좌표일 때 발생한다. 질문 쪽에 좌표를 주는 방식은 3.5점 손실이며 유의하지 않다. 이 격차는 4×4 격자에서, 4비트가 아닌 8비트 양자화에서, 객체 크기·경계 거리·범주별 모든 슬라이스에서 유지된다. 또한 어떤 모델이 이기는지도 좌우한다. 영어 이름 조건에서 동률인 두 모델은 한 좌표계에서는 39점, 다른 좌표계에서는 54점 차이가 나며 방향은 서로 반대이다. 색 과제에서는 과제를 수행할 수 있는 네 개의 오픈 모델 중 세 개가 페널티를 보이고, 사진 과제에서는 세 개 중 두 개와 Gemini가 보이며, 파싱 가능한 답에 대해 11.1점(p = 1e-4)이다. GPT-4o는 그렇지 않다. 모델이 좌표를 전혀 읽는지 묻기 위해 각 좌표에 잘못된 이름을 붙이고 모델이 어느 쪽을 따르는지 기록한다. 색상각(hue angle)으로 쓴 색 선택지는 우선확률 이하로 따르고, 정규화된 픽셀 관례는 우선확률의 네 배로 따른다. 이는 모델이 쓸 수 있는 관례와 쓸 수 없는 관례를 구분해 주지만, 시도하지 않은 두 관례에서의 정확도는 예측하지 못했다. 다섯 모델은 같은 색환(color wheel)을 서로 다른 다섯 가지 방식으로 이름 붙이므로, 고정된 답 어휘도 모델 간에 중립적이지 않다. 이 작업 중 다섯 번, 채점기와 모델이 답의 형태에 대해 불일치하여 유능한 모델을 무능한 것으로 측정했다. 각 사례를 보고하며, 이들은 현상의 축소판이다.

arXiv:2607.22293v1cs.CV

RadSight: 지각적으로 신뢰할 수 있는 멀티모달 영상의학 영상 이해를 향하여

RadSight: Towards Perceptually Reliable Multimodal Radiology Image Understanding

의료 멀티모달 대규모 언어 모델(MLLM)은 점점 더 복잡한 영상 이해 작업을 수행할 것으로 기대되고 있지만, 시각적 해석에서의 빈번한 오류로 인해 신뢰성이 종종 저하된다. 이러한 실패를 체계적으로 추적하기 위해, 우리는 고수준 임상 작업에서부터 기본적인 시각 지각까지 계층을 따라 탐색한다. 이에 따라 우리는 Perception-Bench를 도입한다. 이는 113만 개의 샘플로 구성된 대규모 벤치마크로, 2D 및 3D 영상의학 영상을 모두 아우르며 속성 판단, 공간적 그라운딩(spatial grounding), 공간 이해, 질병 예측, 이상 탐지, 보고서 생성의 6가지 차원에서 의료 MLLM을 평가한다. Perception-Bench에 대한 우리의 분석은 기존 MLLM이 위치, 크기, 밀도와 같은 가장 기본적인 병변 속성조차 포착하는 능력이 부족함을 보여준다. 임상 출력을 1차 시각 증거에 그라운딩(grounding)하지 못하는 이러한 한계는, 모델의 진단적 비신뢰성이 저수준 시각 지각의 중요하지만 간과된 병목에 뿌리를 두고 있음을 드러낸다. 이에 영감을 받아, 우리는 RadSight를 제안한다. RadSight는 고유 영상 공간 구조를 보존하는 이중 2D/3D 인코더 아키텍처 위에 구축된 지각 중심 MLLM이다. RadSight는 의료 영상 이해를 시각-언어 정렬, 세밀한 시각 지각, 임상 진단, 진단적 해석의 4단계 점진적 과정으로 공식화한다. 이 모델은 점진적 커리큘럼 학습(progressive curriculum learning)을 사용하여 837만 개의 지각 지향 코퍼스로 학습된다. Perception-Bench에서 RadSight는 특히 공간적 그라운딩과 임상 진단에서 뚜렷한 향상을 보이며, 6가지 평가 차원 전반에서 기존 MLLM을 일관되게 능가한다. 또한 공개 2D 및 3D 의료 벤치마크에서도 일관된 개선을 달성하여, 견고한 저수준 시각 지각이 신뢰할 수 있는 임상 이해의 핵심 기반이 됨을 추가로 입증한다. 코드와 모델은 공개적으로 제공될 예정이다.

arXiv:2607.20691v1cs.CV

Spatially Grounded Concept Bottleneck Models for Trustworthy Breast Ultrasound Diagnosis

Concept Bottleneck Models provide interpretable-by-design predictions by mediating diagnosis through human-understandable concepts, but in medical imaging, their trustworthiness is often limited by the quality and granularity of available supervision. In particular, predicted concept activations can be driven by irrelevant regions, leading to spatially unfaithful explanations. We study a data-centric spatially grounded Concept Bottleneck Model (SG-CBM) that leverages coarse lesion delineations as weak supervision to encourage anatomically plausible concept evidence. For breast ultrasound, we derive two clinically motivated zones from each lesion mask: (i) an in-lesion region of interest for morphology-related concepts and (ii) a posterior acoustic band for posterior phenomena. We train concept maps using a grouped spatial grounding objective and preserve semantic faithfulness with a linear bottleneck classifier. Across five-fold stratified group cross-validation, the proposed SG-CBM improves diagnostic AUROC and concept macro-AUROC while markedly increasing spatial alignment of concept evidence. We also perform a Train-corrupt/Test-clean annotation-quality stress test to quantify the impact of supervision quality on diagnosis and spatial faithfulness. Overall, the results underscore the need for data-quality-aware supervision design and systematic trustworthiness validation for deployable healthcare AI systems.

arXiv:2607.01658v1cs.CV

비전-언어-액션 모델에게 무엇을 보고 어디를 볼지 가르치기

Teaching Vision-Language-Action Models What to See and Where to Look

비전-언어-액션(VLA) 모델은 엔드투엔드 자율주행을 위한 유망한 패러다임으로 부상하고 있다. 그러나 기존 VLA의 학습은 언어적 추론을 강조하는 텍스트 중심의 시각적 질의응답 및 사고의 연쇄(Chain-of-Thought) 추론 데이터에 크게 의존하며, 행동 기반 계획 수립 능력이 부족하다. 그 결과, 학습된 표현은 의미론적 지식을 포착하지만 신뢰할 수 있는 경로 예측에 필수적인 공간적 의존성이 결여되어 있다. 우리는 VLA 모델에게 무엇을 보고 어디를 볼지를 명시적으로 가르치는 프레임워크인 DriveTeach-VLA를 제안한다. 주행 인식 비전 증류(Driving-aware Vision Distillation, DVD)는 비전 인코더에 주행 특화 지각 사전 지식을 주입하고, 2D 경로 유도 프롬프트(2D Trajectory-Guided Prompts, 2D-TGP)는 실현 가능한 주행 경로에 정렬된 공간적 조건화를 제공한다. 이 두 요소는 함께 비전 유도 학습 파이프라인을 구성한다: 무엇을 볼 것인가(DVD 사전학습) - 어디를 볼 것인가(TGP 유도 SFT) - 어떻게 행동할 것인가(TGP 유도 GRPO). DriveTeach-VLA는 NAVSIM 및 nuScenes에서 최첨단 성능을 달성한다. 코드는 https://github.com/ShivaTeam/DriveTeach-VLA 에서 확인할 수 있다.

arXiv:2603.14609v2cs.CV

GroundSet: A Cadastral-Grounded Dataset for Spatial Understanding with Vector Data

Precise spatial understanding in Earth Observation is essential for translating raw aerial imagery into actionable insights for critical applications like urban planning, environmental monitoring and disaster management. However, Multimodal Large Language Models exhibit critical deficiencies in fine-grained spatial understanding within Remote Sensing, primarily due to a reliance on limited or repurposed legacy datasets. To bridge this gap, we introduce a large-scale dataset grounded in verifiable cadastral vector data, comprising 3.8 million annotated objects across 510k high-resolution images with 135 granular semantic categories. We validate this resource through a comprehensive instruction-tuning benchmark spanning seven spatial reasoning tasks. Our evaluation establishes a robust baseline using a standard LLaVA architecture. We show that while current RS-specialized and commercial models (e.g., Gemini) struggle in zero-shot settings, high-fidelity supervision effectively bridges this gap, enabling standard architectures to master fine-grained spatial grounding without complex architectural modifications.

arXiv:2606.06891v1cs.CV

Stream3D-VLM: 증분 기하학적 사전 지식을 활용한 온라인 3D 공간 이해

Stream3D-VLM: Online 3D Spatial Understanding with Incremental Geometry Priors

3D 장면 이해 분야의 발전에도 불구하고, 기존의 3D 대규모 멀티모달 모델들은 오프라인 환경에서 동작하며 완전한 장면 관찰 또는 사전 정의된 비디오 클립을 필요로 한다. 본 논문에서는 스트리밍 비디오로부터 실시간 공간 이해를 가능하게 하는 온라인 3D 비전-언어 모델을 제시한다. 제안하는 방법은 대규모 언어 모델(LLM)의 다음 토큰 예측 목적함수를 기반으로 응답 시점을 학습하는 자기회귀적 스트리밍 제어 모델링을 채택하고, 경량의 시각-공간 특징 통합(VSFI, Visual-Spatial Feature Integration) 모듈을 활용하여 시간적으로 정렬된 기하학적 사전 지식을 시각 스트림에 점진적으로 주입한다. 긴 컨텍스트 디코딩 오버헤드를 완화하기 위해, 효율적인 시각 토큰 압축을 위한 플러그 앤 플레이 방식의 기하학 적응형 복셀 압축(GAVC, Geometry-Adaptive Voxel Compression) 모듈을 제안한다. 스트리밍 3D-언어 데이터의 부족 문제를 해결하기 위해, 100만 개 이상의 온라인 시공간 3D QA 쌍을 구축하고 29개 태스크에 걸친 종합 벤치마크를 수립하는 확장 가능한 데이터 생성 파이프라인을 추가로 개발한다. 광범위한 실험을 통해, 제안하는 방법이 온라인 및 오프라인 3D 공간 이해, 추론, 그라운딩 태스크에서 독점 및 오픈소스 모델 모두를 크게 능가함을 보인다. 프로젝트 페이지는 https://stream3d-vlm.github.io/ 에서 확인할 수 있다.