PyTorchKR Papers

최신 논문

총 2,147편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.00746v1cs.CV

GaussianFusion: 다중 모달 융합 인식을 위한 통합 3D 가우시안 표현

GaussianFusion: Unified 3D Gaussian Representation for Multi-Modal Fusion Perception

BEV 기반 다중 센서 융합의 이산 격자 표현이 초래하는 세부 정보 손실과 교차 모달 정렬 한계를 극복하기 위해, GaussianFusion은 연속적인 3D 가우시안 공간에서 카메라와 LiDAR 특징을 통합하는 범용 다중 모달 융합 프레임워크를 제안한다. nuScenes 데이터셋에서 BEVFusion 대비 NDS 2.6 향상, 가우시안 30%만 사용하면서 GaussFormer 대비 3D 시맨틱 점유 예측에서 mIoU 1.55 향상 및 450% 속도 향상을 달성했다.

arXiv:2607.00710v1cs.CV

영향력 있는 자율주행 데이터셋 구축: 연구 공백에서 벤치마크까지의 전략적 가이드

Creating Impactful Autonomous Driving Datasets: A Strategic Guide from Research Gap to Benchmark

영향력 있는 자율주행 데이터셋 설계를 위한 전략적 프레임워크를 제시하며, 연구 공백이 데이터 문제인지 평가 문제인지 진단한 후 최소 비용의 데이터 연산자를 선택하는 체계적 접근법을 제안한다. KITScenes 데이터셋 패밀리 사례를 통해 공백 식별, 센서 슈트 설계, 어노테이션 전략 등 각 단계를 구체적으로 구체화한다.

arXiv:2607.00547v1cs.CV

EgoGapBench: 다중 에이전트 장면에서의 자기중심적 행동 선택 벤치마킹

EgoGapBench: Benchmarking Egocentric Action Selection in Multi-Agent Scenes

다중 에이전트 장면에서 1인칭 신체 단서 없이 자기중심적 행동 선택(EAS) 능력을 독립적으로 평가하는 진단 벤치마크 EgoGapBench를 제안하며, 1,000개 항목으로 구성된 이 벤치마크에서 인간은 신뢰할 수 있는 성능을 보이는 반면 오픈소스·독점 MLLM 모두 현저히 낮은 성능으로 다른 에이전트의 행동을 체계적으로 선택하는 경향을 보인다. 기존 자기중심적 데이터 파인튜닝으로는 이 격차를 해소할 수 없으며, EAS 특화 학습이 정확도를 향상시키나 여전히 인간 수준에는 도달하지 못함을 보여준다.

arXiv:2607.00544v1cs.CV

GEAR-Seg: 추론 분할 및 데이터 엔진을 위한 근거 기반 설명 가능한 에이전트

GEAR-Seg: A Grounded Explainable Agent for Reasoning Segmentation and Data Engine

GEAR-Seg는 복잡하고 암묵적인 쿼리 기반의 추론 분할(reasoning segmentation) 문제에서 기존 엔드-투-엔드 모델의 불투명한 블랙박스 구조를 탈피하여, SAM 2 기반 클래스 무관 분할, DAM 기반 밀도 높은 의미론적 설명, LLM 기반 논리 추론을 명시적으로 분리한 에이전트 프레임워크를 제안한다. 제로샷 추론에서 경쟁력 있는 성능을 달성하는 동시에, 이 프레임워크를 데이터 엔진으로 활용해 38k 이미지와 656k QA-마스크 쌍으로 구성된 GEAR-131K 벤치마크를 자동 구축하고, 지식 증류를 통해 경량 모델이 인간 주석 기반 상한 성능에 근접함을 입증했다.

arXiv:2607.00529v1cs.CV

NoPA: 비모수적 온라인 3D 장면 그래프 생성

NoPA: Non-Parametric Online 3D Scene Graph Generation

RGB-D 스트리밍 환경에서의 실시간 3D 장면 그래프 생성 문제를 다루며, 기존의 단일 가우시안 근사 방식이 유발하는 기하학적 세부 정보 손실과 객체 병합 오류를 해결하기 위해 각 객체를 고정 크기 비모수적(non-parametric) 파티클 집합으로 표현하는 NoPA를 제안한다. Maximum Mean Discrepancy 기반의 분포 수준 병합 전략과 친화도 클러스터 기반 관계 전파 메커니즘을 도입하여, 실시간 추론 속도를 유지하면서 온라인 3D SSG 벤치마크에서 기존 방법 대비 최고 성능을 달성하였다.

arXiv:2607.00491v1cs.CV

MindEdit-Bench: 실세계 사진에서 비전-언어 모델의 객체 수준 반사실적 공간 추론 벤치마킹

MindEdit-Bench: Benchmarking Object-Level Counterfactual Spatial Reasoning in VLMs from In-the-Wild Photos

MindEdit-Bench는 비전-언어 모델(VLM)이 객체를 가상으로 이동하거나 회전시켰을 때의 공간적 결과를 예측할 수 있는지 평가하는 반사실적(counterfactual) 공간 추론 벤치마크로, 스마트폰으로 촬영한 실내 장면 3장 트리플렛에서 자동으로 3D 장면 그래프를 추출해 6가지 과제를 구성한다. 15개 VLM을 평가한 결과 과제별 평균 정확도가 8%~31%에 불과해 인간 정확도(81%~97%)와 최소 39pp 이상의 격차를 보였으며, 특히 카메라 깊이 축 추론과 교차 시점 가시성 편집에서 취약함이 드러났다.

arXiv:2607.00375v1cs.CV

LIST3R: 장시퀀스 인스턴스 인식 3D 재구성

LIST3R: Long-sequence Instance-aware 3D Reconstruction

긴 비디오 시퀀스의 3D 재구성에서 단편화된 부분 시퀀스 간의 장거리 연관이 어렵다는 문제를 해결하기 위해, LIST3R은 인식 가능한 객체 인스턴스를 지속적 앵커로 활용해 지역 인스턴스 라이브러리를 구축하고 이를 기반으로 부분 재구성을 일관된 전역 3D 장면으로 통합하는 인스턴스 인식(instance-aware) 프레임워크를 제안한다. 장시퀀스 벤치마크 실험에서 기존 스트리밍 및 부분 시퀀스 기반 방법 대비 더 정확한 카메라 궤적과 높은 품질의 포인트 클라우드 재구성을 달성하였다.

arXiv:2607.00218v1cs.CV

EgoSafetyBench: 임베디드 VLM을 런타임 안전 가드로 평가하기 위한 진단적 에고센트릭 비디오 벤치마크

EgoSafetyBench: A Diagnostic Egocentric Video Benchmark for Evaluating Embodied VLMs as Runtime Safety Guards

EgoSafetyBench는 가정·공장 환경의 구현형 에이전트(embodied agent)를 위한 런타임 안전 가드로서 비전-언어 모델(VLM)을 평가하기 위해, 0.5초 단위로 주석된 1,200개 로봇 시점 시나리오로 구성된 에고센트릭 비디오 벤치마크로, 상황별 위험 분류와 장면 내 오도성 텍스트 채널이라는 두 축을 독립적으로 평가한다. 10개 VLM 평가 결과, 모델들은 위험 영상 전체는 인식하지만 구체적인 위험 순간을 놓치는 경향이 있으며, 오도성 표지판은 취약한 모델의 위험 탐지율을 최대 1/3 저하시키고 견고한 모델은 오히려 안전한 장면에 과도하게 개입하는 것으로 나타났다.

arXiv:2607.00176v1cs.CV

PRISM-VO: 광도측정 플레놉틱 번들 조정을 활용한 스케일 인식 비주얼 오도메트리

PRISM-VO: Scale-Aware Visual Odometry Using Photometric Plenoptic Bundle Adjustment

우리는 포커스드 플레놉틱 카메라를 위한 새로운 순수 최적화 기반의 희소 광도측정(photometric) 비주얼 오도메트리(visual odometry) 프레임워크인 PRISM-VO를 소개한다. PRISM-VO의 핵심은 슬라이딩 윈도우 내 점들의 카메라 포즈와 역깊이(inverse depth) 값을 공동으로 최적화하는 새로운 광도측정 플레놉틱 번들 조정(bundle adjustment)이다. 단일 플레놉틱 이미지의 기하학적 깊이와 시간적 다시점 제약을 결합함으로써, PRISM-VO는 정확하고 드리프트에 강건한 모션 추정을 달성한다. 플레놉틱 투영의 명시적 모델링을 통해, PRISM-VO는 단안 SLAM 알고리즘의 스케일 모호성을 극복하여 신뢰할 수 있는 실척 스케일(metric-scale) 재구성을 제공한다. 중요하게도, 우리의 접근 방식은 단일 플레놉틱 센서에만 의존하며 복잡한 초기화를 피하는데, 이는 깊이 사전값(depth prior)이 플레놉틱 이미징으로부터 직접 계산되기 때문이다. 실험을 통해 PRISM-VO가 실내 및 실외 장면에서 현재 최신 플레놉틱 비주얼 오도메트리 방법을 능가함을 보인다. 제안된 접근 방식은 장면의 실척 스케일을 정확하고 신뢰성 있게 복원하면서 다른 최적화 기반 및 학습 기반 방법들과 대등한 성능을 보인다. 프로젝트 페이지: https://prism-vo.github.io/

arXiv:2603.00654v3cs.CV

RC-GeoCP: 레이더-카메라 협력 지각을 위한 기하학적 합의

RC-GeoCP: Geometric Consensus for Radar-Camera Collaborative Perception

Collaborative perception (CP) improves scene understanding through multi-agent information sharing, yet LiDAR-centric systems remain costly and vulnerable in adverse weather. Camera--4D radar offers a practical alternative, but their synergy is still underexplored in CP. We introduce RC-GeoCP, which promotes low-cost, weather-resilient, and geometrically stable radar from an ego-level auxiliary cue to a cross-agent collaboration anchor. To resolve misalignment caused by depth ambiguity and spatial dispersion across agents, RC-GeoCP establishes an ego-normalized geometric consensus: the same radar-derived reliability prior is reused to ground local BEV features, select complementary messages, and weight received evidence. Specifically, Geometric Structure Rectification (GSR) aligns visual semantics with geometry derived from radar to generate spatially grounded, geometry-consistent representations. Uncertainty-Aware Communication (UAC) then serves as an information filter that inherits rectified features from GSR, leveraging inter agent disagreement to steer selective communication toward the most informative regions. Finally, the Consensus-Driven Assembler (CDA) aggregates multi-agent information via ego-normalized geometric anchors to form a spatially coherent representation. We establish a unified radar-camera CP evaluation protocol on V2X-Radar and V2X-R, demonstrating a strong accuracy--communication trade-off. Code will be released soon.

arXiv:2601.04453v4cs.CV

UniDrive-WM: Unified Understanding, Planning and Generation World Model for Autonomous Driving

장면 이해, 궤적 계획(trajectory planning), 미래 이미지 생성을 단일 비전-언어 모델(VLM) 아키텍처 내에서 통합한 자율주행 월드 모델(world model) UniDrive-WM을 제안한다. Bench2Drive 벤치마크에서 기존 최고 방법 대비 L2 궤적 오류 7.3%, 충돌률 10.4% 개선을 달성하였으며, 이산(discrete) AR 방식과 연속(continuous) AR+Diffusion 방식의 미래 이미지 예측 표현을 비교 분석한다.

arXiv:2512.23365v4cs.CV

SpatialMosaic: A Multiview VLM Dataset for Partial Visibility

부분 가시성(partial visibility), 가림(occlusion), 낮은 시야 중첩(low-overlap) 등 실환경에서 빈번히 발생하는 멀티뷰 공간 추론의 난제를 다루기 위해, 확장 가능한 데이터 생성 파이프라인으로 2M QA 쌍의 인스트럭션 튜닝 데이터셋 SpatialMosaic과 11개 태스크·1M QA 쌍 규모의 벤치마크 SpatialMosaic-Bench를 구축하였다. 실내외 장면을 모두 포괄하며, 지오메트리 인코더를 비전-언어 모델(VLM)에 통합한 베이스라인을 통해 교차 뷰 일관성과 공간 그라운딩을 개선함을 광범위한 실험으로 검증하였다.

arXiv:2512.20907v2cs.CV

PanoGrounder: Bridging 2D and 3D with Panoramic Scene Representations for VLM-based 3D Visual Grounding

3D 장면에서 자연어 쿼리로 대상 객체를 로컬라이징하는 3D 비주얼 그라운딩(3DVG) 과제에서, PanoGrounder는 파노라마 렌더링을 2D–3D 중간 표현으로 활용하여 사전학습된 2D 비전-언어 모델(VLM)의 강력한 추론 능력을 최소한의 수정으로 3D 장면 이해에 접목한다. 구조 인식 카메라 배치, 다중 모달 파노라마 VLM, 가시성 인식 3D 집계로 구성된 3단계 파이프라인을 통해 ScanRefer와 Nr3D에서 최고 성능을 달성하고 미학습 데이터셋과 다양한 텍스트 표현에서도 강한 일반화 성능을 보인다.

arXiv:2512.12165v4cs.CV

Audio-Visual Camera Pose Estimation with Passive Scene Sounds and In-the-Wild Video

수동적 주변 음향(passive scene sounds)이 모션 블러나 조명 불량 등으로 시각 정보가 열화된 환경에서도 상대적 카메라 포즈 추정(relative camera pose estimation)을 보완할 수 있음을 제안하며, 도달 방향(DOA) 스펙트럼과 바이노럴 임베딩을 최신 비전 전용 모델 Reloc3r에 결합한 오디오-비주얼 프레임워크를 도입한다. Ego-Exo4D 등 두 대규모 데이터셋 실험에서 강력한 시각 기반 베이스라인 대비 일관된 성능 향상을 달성하며, 실세계 영상에서 수동 음향을 카메라 포즈 추정에 처음으로 성공적으로 활용한 연구임을 입증한다.

arXiv:2511.18011v2cs.CV

RoadBench: Benchmarking MLLMs on Fine-Grained Spatial Understanding and Reasoning under Urban Road Scenarios

도시 도로 환경에서 멀티모달 대규모 언어 모델(MLLM)의 세밀한 공간 이해 및 추론 능력을 평가하기 위해, 5개 중국 도시에서 수집한 BEV·FPV 이미지 기반의 8개 태스크 3,040개 테스트 케이스로 구성된 RoadBench 벤치마크를 제안한다. 20개의 주류 MLLM을 평가한 결과, 일부 태스크에서 단순 규칙 기반 또는 랜덤 선택 베이스라인에도 미치지 못하는 성능을 보여 현재 MLLM의 도시 환경 내 세밀한 공간 추론 능력에 심각한 한계가 있음을 확인하였다.

arXiv:2506.12009v2cs.CV

Affogato: Open-Vocabulary Affordance Grounding with Automated Data Generation at Scale

오픈-보캐뷸러리 어포던스 그라운딩(affordance grounding)의 데이터 부족 문제를 해결하기 위해, Gemma3·Molmo·MobileSAM 등 파운데이션 모델을 자동으로 연계하는 파이프라인으로 75만 건의 3D 어포던스 히트맵을 구축한 Affogato-750K 데이터셋을 제안한다. 이를 기반으로 사전학습한 Espresso-3D/2D 모델은 기존 방법 대비 미학습 객체 및 어포던스 카테고리에서 가장 큰 성능 향상을 달성하며, 다양한 아키텍처에 범용적으로 전이 가능한 지도 학습 신호를 제공함을 입증한다.

arXiv:2607.00283v1cs.RO

What's Hidden Matters: Identifying Planning-Critical Occluded Agents using Vision-Language Models

Autonomous vehicles must safely navigate complex environments where planning-critical agents may be hidden from view. Current approaches often treat all occlusions with uniform conservatism, yielding needlessly defensive driving, or they infer hidden spaces without estimating the impact on the planner. This work bridges the critical gap between perception and planning by enabling Vision-Language Models (VLMs) to identify and reason about the specific hidden agents that are most critical to the ego-vehicle's trajectory. We introduce a novel framework that uses Planning KL-divergence (PKL), an information-theoretic metric, to systematically identify and rank occluded agents based on their impact on the ego vehicle's plan. Using this planning-aware ranking, we employ an expert VLM (GPT-5) to generate rich, structured annotations that capture the visual evidence and reasoning required for this task. We apply this framework to the nuScenes dataset to create a new benchmark focused on high-impact scenarios. We conduct comprehensive experiments on a wide range of general-purpose and domain-adapted VLMs, demonstrating that fine-tuning on our PKL-guided data yields dramatic performance improvements across all models. Notably, our results show that smaller, fine-tuned models significantly outperform their much larger zero-shot counterparts, and that our PKL-guided data selection strategy improves performance by approximately 30\% over random sampling. Our work presents the first systematic approach for training VLMs to focus on planning-critical occlusions, enabling more semantically grounded and efficient risk assessment in autonomous driving.

arXiv:2604.16993v2cs.AI

Rule-VLN: Bridging Perception and Compliance via Semantic Reasoning and Geometric Rectification

As embodied AI transitions to real-world deployment, the success of the Vision-and-Language Navigation (VLN) task tends to evolve from mere reachability to social compliance. However, current agents suffer from a "goal-driven trap", prioritizing physical geometry ("can I go?") over semantic rules ("may I go?"), frequently overlooking subtle regulatory constraints. To bridge this gap, we establish Rule-VLN, the first large-scale urban benchmark for rule-compliant navigation. Spanning a massive 29k-node environment, it injects 177 diverse regulatory categories into 8k constrained nodes across four curriculum levels, challenging agents with fine-grained visual and behavioral constraints. We further propose the Semantic Navigation Rectification Module (SNRM), a universal, zero-shot module designed to equip pre-trained agents with safety awareness. SNRM integrates a coarse-to-fine visual perception VLM framework with an epistemic mental map for dynamic detour planning. Experiments demonstrate that while Rule-VLN challenges state-of-the-art models, SNRM significantly restores navigation capabilities, reducing CVR by 19.26% and boosting TC by 5.97%.

arXiv:2606.31200v1cs.AI

Agentic RAG-VLM: Affordance-Aware Retrieval-Augmented Generation with Self-Reflective Planning for Robotic Grasping

어수선한 환경에서의 로봇 파지(grasping) 문제를 해결하기 위해, Agentic RAG-VLM은 시각적 유사성 대신 물체의 물리적 어포던스(affordance)를 기반으로 경험을 검색하는 HAA-RAG, 씬 그래프(scene graph) 기반 공간 제약 추론, 14가지 실패 유형 분류와 3단계 적응형 재시도를 갖춘 자기반성(self-reflective) 에이전트 파이프라인을 통합한 프레임워크를 제안한다. 12개 작업 벤치마크에서 전체 성공률 78.3%를 달성해 VLM 단독 기준 대비 53.3%p 향상을 보였다.

arXiv:2606.31144v1cs.RO

A Modular Vision-Language-Action Robotics Framework for Indoor Environments

CMU Vision-Language-Action(VLA) 챌린지를 위한 모듈형 로봇 프레임워크로, OwlViT 임베딩 기반의 의미론적 복셀 맵(semantic voxel map)을 실시간으로 구축하는 인식 파이프라인과 Gemini VLM을 활용한 자연어 명령 분류 파이프라인을 병렬로 운용한다. 시간 제한(500초) 내에 자율 탐색으로 부분 맵을 구성하고, 이를 기반으로 사용자 질의를 공간·의미 컨텍스트에 그라운딩하여 수치 응답, 객체 탐색, 경유지 기반 내비게이션 등 복합 실내 작업을 수행한다.