PyTorchKR Papers

최신 논문

총 2,147편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.20889v1cs.CV

객체 및 조명을 포함한 엔진 네이티브 편집 가능 3D 월드 재구성

Engine-Native Editable 3D World Reconstruction with Objects and Lighting

편집 가능한 3D 장면 생성에는 검사하고, 이동하고, 표준 엔진으로 가져올 수 있는 객체 인스턴스와 조명이 필요하지만, 기존 단일 이미지 기반 방법은 대부분 방 규모 기하학, 베이크/글로벌 일루미네이션, 또는 텍스트 기반 생성에 머무른다. 우리는 단일 이미지로부터 엔진 네이티브, 조명 인식 3D 장면 파싱을 위한 벤치마크 및 참조 파이프라인인 Lumera(Light-aware Unified Engine-native Reconstruction and Assembly)를 제안한다. Lumera-2K는 2,513개의 UE5 프로젝트로 구축되었으며, 3.73M개의 컴포넌트, 63M개의 객체 인스턴스, 102.6K개의 엔진 네이티브 파라미터 조명, 95.1K개의 카메라 뷰를 제공한다. 이 데이터를 기반으로 Lumera-Box와 Lumera-Light는 VLM을 적용하여 객체 박스와 파라미터 조명 튜플(x,y,z,r,g,b,I)을 파싱하며, 이는 객체별 메시 재구성, HDR 환경(environment) 추정, 제한된 에이전트(agent) 기반 정제 루프와 함께 조립된다. DetAny3D, SpatialLM, N3D-VLM, WildDet3D와의 정제된 박스 벤치마크에서 Lumera-Box는 전반적인 검출, 기하학, 의미, 레이아웃 점수에서 가장 우수한 성능을 보인다(병합 mAP 0.1141, IoU-B 0.2472, F-score 0.2762), 반면 WildDet3D는 앵커 재현율(recall)에서 여전히 더 강하다. 조명에 대해 Lumera-Light는 거의 모든 비어 있지 않은 장면을 복원한다(재현율 0.998)하지만 개별 조명 위치 추정에는 여전히 한계가 있다(0.5 m에서 F1 0.209); 매칭된 조명의 중앙값 위치 오차는 0.261 m, 중앙값 ΔE2000 4.59, 강도 Pearson r=0.628이다. 이 결과는 파라미터 조명을 측정 가능한 편집 가능 장면 목표로 확립하고, 관계 구조, 조명 재현율/강도, 교차 엔진 일반화에서 남은 병목을 드러낸다.

arXiv:2607.20866v1cs.CV

Agentic Designer: Progressive Multi-Agent Collaboration for Structure-Aware Interior Layout Generation

Generating realistic interior furniture layouts that strictly adhere to architectural constraints (e.g., walls, doors, and windows) remains a fundamental challenge in automated spatial design. Existing approaches, primarily based on one-shot generation using diffusion models or Large Language Models (LLMs), lack explicit mechanisms for intermediate geometric constraint verification, often resulting in structural collisions and functionally infeasible arrangements under complex room constraints. To address these challenges, we propose Agentic Designer, a progressive, multi-agent framework that formulates structure-aware interior layout generation as an iterative and constraint-verified decision process. By decomposing layout synthesis into modular stages of proposal, verification, and adjustment, the framework coordinates three specialized agents, a Generator, an Evaluator, and a Refiner, through a Progressive Consensus Mechanism. This mechanism enforces stepwise geometric validation and correction before each placement is committed, thereby preventing error accumulation. To facilitate this structure-aware paradigm and standardize evaluation, we establish InStruct, a comprehensive benchmark that integrates a dataset comprising over 18,000 high-quality, parametrically annotated samples with a novel suite of structure-centric metrics. Extensive quantitative evaluations, qualitative analyses, and user studies show that Agentic Designer significantly outperforms state-of-the-art methods, demonstrating substantial improvements in strict structural adherence and functional design coherence.

arXiv:2607.20789v1cs.CV

3D-GIMP: When 3D Gaussian Inpainting Meets PatchMatch

Recent advances in 3D scene editing have leveraged iterative diffusion models to update input views. However, this process is computationally expensive and struggles to produce sharp details. Meanwhile, ``hallucination drift'' frequently introduces multi-view inconsistencies, leading to structural artifacts when rendering novel viewpoints. To address this problem, we present 3D-GIMP (3D Gaussian Inpainting Meets Patch Matching), a novel hybrid paradigm designed for high-fidelity object removal in 3D Gaussian Splatting. Instead of diffusing every view, 3D-GIMP performs a single generative inpainting on a key reference view, which serves as an appearance prior. We then introduce a 3D-aware PatchMatch algorithm to propagate these reference textures across all remaining views via correspondence matching, effectively bypassing the stochastic nature of frame-by-frame diffusion. By prioritizing reconstructive consistency over iterative generation, 3D-GIMP maintains high-frequency details across arbitrary resolutions while ensuring a mathematically consistent 3D reconstruction. Our experiments demonstrate that 3D-GIMP not only achieves competitive inpainting quality as previous methods using diffusion in multiple views, but also outperforms these methods in rendering speed and view consistency.

arXiv:2607.20748v1cs.RO

A real-time RGB-D perception pipeline for autonomous impact hammers in mining: self-filtering, rock segmentation and rock-breaking poses generation

Impact hammers, also known as rock-breakers, are essential machines in mining operations, where they perform secondary reduction. In underground mining, these machines are typically teleoperated, limiting operational efficiency. This paper presents a real-time RGB-D perception pipeline as a step towards automating the operation of hydraulic impact hammers used in mining. The proposed system simultaneously generates operationally feasible rock-breaking poses and a robot-free 3D representation of the workspace. The proposed approach combines image-based instance segmentation with geometric point cloud processing, and operates on embedded hardware at approximately 10 Hz with a total latency of around 675 ms, enabling responsive closed-loop behavior when integrated with a control system. Experimental results in a representative scaled scenario demonstrate that the proposed system is suitable for real-time autonomous impact hammer operation.

arXiv:2606.31533v2cs.CV

MV-GEL: Language-Driven Multi-View Geometric Entity Localization on Meshes

Identifying and grounding precise geometric entities, such as edges, planar regions, and curved surfaces within 3D objects, is foundational to computer-aided design (CAD), robotic manipulation, and scientific simulation. Although modern Vision Language Models (VLMs) have advanced referring segmentation (RIS) in the image domain, extending such language-driven localization to structured 3D geometry is substantially harder. The 3D object appearance is highly sensitive to viewpoints; a single perspective may render a target entity clearly observable, while another may suffer from severe occlusion or foreshortening. In this work, we attempt to solve these challenges with MV-GEL (Multi-View Geometric Entity Localization), a framework for localizing fine-grained geometric entities on polygon meshes from natural language queries. Our key insight is that reliable CAD entity (i.e., faces, edges or solids) localization depends on selecting views that make the queried entity maximally interpretable. We introduce GELviews, a prompt-conditioned ranking module that prioritizes viewpoints based on language prompted observability of geometric CAD entities. Selected views are processed by a VLM-based reasoning segmentation backbone, and predicted masks are lifted to the corresponding meshes via geometry-aware ray casting. Our framework is completely CAD agnostic and relies only on 3D meshes. Experiments show up to a 1.7X improvement in face-level IoU and over 4.5X gains in edge-level F1 compared to vanilla baselines, substantially outperforming CLIP-based and random view sampling, particularly for thin and view-sensitive structures. The dataset, code and trained checkpoints are available at https://github.com/kbali1297/MV-GEL.

arXiv:2606.20515v3cs.CV

S-Agent: 공간 도구 사용(Spatial Tool-Use)이 공간 지능을 위한 추론을 유도함

S-Agent: Spatial Tool-Use Elicits Reasoning for Spatial Intelligence

실세계 공간 지능은 연속적이고 진화하는 3D 세계에 대한 추론을 요구하지만, 기존 비전-언어 모델(VLM)과 도구가 강화된 에이전트는 대부분 고립된 시각적 관찰로부터의 정적이고 상태가 없는(stateless) 추론에 여전히 의존하고 있습니다. 우리는 연속적인 다중 뷰 이미지와 비디오를 이해하고 추론하기 위한 공간 도구 사용 에이전트 패러다임인 S-Agent를 소개합니다. 공간 추론을 고립된 프레임 수준 예측이 아닌 시공간적 증거 누적(spatio-temporal evidence accumulation)으로 정의함으로써, S-Agent는 공간 지각을 프레임 중심(frame-centric) 인식을 넘어선 장면 중심(scene-centric) 이해로 재구성합니다. 구체적으로, S-Agent는 필요한 증거를 결정하는 의미론적 계획자(semantic planner)로서 VLM을 활용하는 반면, 공간 도구 및 전문가들의 계층 구조는 객체를 2D에 그라운딩(grounding)하고 이를 3D 기하학적 증거로 리프트(lift)하며, 이 증거를 고차원 공간 지식(예: 계수, 측정, 방향, 상대 위치)으로 집계합니다. 또한, 진화하는 장면 상태를 유지하기 위한 장면 메모리(Scene Memory)와 추론 컨텍스트를 누적하기 위한 에이전트 메모리(Agent Memory)를 포함하는 시간적 메모리 메커니즘은 프레임 및 추론 단계에 걸친 증거 통합을 가능하게 합니다. 다중 뷰 및 비디오 공간 추론 벤치마크에 대한 포괄적인 실험 결과, S-Agent는 학습 없이(training-free) 오픈 소스 및 폐쇄형 VLM 모두를 일관되게 개선하는 것으로 나타났습니다. 추론 시간 증강(augmentation)을 넘어, S-Agent가 생성한 공간 궤적 데이터셋인 S-300K에 대한 지도 미세조정(SFT)을 통해 S-Agent-8B라는 소형 공간 에이전트를 얻었으며, 이는 유사한 규모의 기준 모델(예: Qwen3-VL-8B)을 현저히 능가하고 고급 폐쇄형 모델(예: GPT-5.4 및 Gemini 3)과 유사한 성능을 발휘합니다.

arXiv:2605.22819v2cs.CV

Cambrian-P: Pose-Grounded Video Understanding

Camera pose matters. The position and orientation of each viewpoint define a shared spatial coordinate frame that relates observations across video frames. Yet this signal is largely absent from multimodal LLMs (MLLMs) for video understanding, which process frames as isolated 2D snapshots, instead of the persistent scene humans perceive. We revisit pose as a lightweight supervisory signal and introduce Cambrian-P, a video MLLM augmented with per-frame learnable camera tokens and a pose regression head. With a carefully designed sampling scheme, the model achieves substantial gains of 4.5-6.5% on spatial reasoning benchmarks such as VSI-Bench, generalizes across eight additional spatial and general video QA benchmarks, and, as a byproduct, achieves state of the art streaming pose estimation on ScanNet. Surprisingly, training on pseudo-annotated poses from in-the-wild video further improves general video QA benchmarks, showing pose helps beyond spatial reasoning. Together, these results position camera pose as a fundamental signal for video models that reason about the physical world.

arXiv:2607.20326v1cs.CV

신뢰할 수 있는 RGB-D 의미 분할을 햽하여: Condition Dropout을 통한 결측 모달리티 처리

Toward Reliable RGB-D Semantic Segmentation: Handling Missing Modalities via Condition Dropout

RGB-D 의미 분할은 눈에 띄는 진전을 이루었지만, 대부분의 모델은 RGB와 깊이(depth)가 항상 사용 가능하다고 가정한다. 실제로는 감시 센서의 고장이나 가림(occlusion)으로 인해 한쪽 모달리티가 사라지는 경우가 많다. RGB 또는 깊이만으로도 충분한 단서를 담을 수 있지만, 전체 모달리티 입력만으로 학습된 모델은 한쪽 모달리티가 없어지면 남은 모달리티를 활용하지 못해 성능이 크게 저하된다. 우리는 이 문제를 간단한 지속 학습(continued training) 패러다임인 Condition Dropout(ConD)으로 해결한다. ConD는 전체 모달리티 정확도를 유지하면서 성능 저하를 완화한다. 사전학습된 RGB-D 모델에서 출발하여, ConD는 두 번째 단계를 추가한다. 이 단계에서는 완전한 입력, RGB 결측 입력, 깊이 결측 입력을 무작위로 시뮬레이션하고, 원래 인코더를 고정(freeze)한 뒤, 복사한 인코더를 영-초기화(zero-initialized) 특징(feature) 주입과 함께 학습한다. NYU-Depth V2와 SUN RGB-D에서의 실험은 ConD가 결측 모달리티 상황에서 견고성(robustness)을 향상시키며, 모달리티가 모두 있을 때에도 약간의 성능 향상을 보인다는 것을 보여준다. 우리 코드는 논문 채택 시 공개될 예정이다.

arXiv:2607.20284v1cs.CV

원격 탐사 이미지 이해를 위한 멀티모달 대규모 언어 모델: 도메인 특화형인가 범용형인가?

Multimodal Large Language Models for Remote Sensing Image Understanding: Domain-Specific or General-Purpose?

멀티모달 대규모 언어 모델(MLLM)의 급속한 발전은 원격 탐사 이미지 장면 이해(RSISU)를 위한 유연한 패러다임을 도입했으며, 원격 탐사 영상과의 자연어 상호작용을 가능하게 했다. 그러나 기존 원격 탐사 MLLM(RS-MLLM)의 능력 경계, 태스크 간 일반화, 태스크별 한계에 대한 체계적인 이해는 여전히 부족하다. 본 논문은 RSISU를 위한 MLLM에 대한 체계적인 서베이와 진단적 평가를 제시한다. 우리는 RS-MLLM의 기술적 진화를 검토하며, 모델 설계, 멀티모달 학습, 학습 데이터, 하류 능력에 초점을 맞춘다. 또한 다양한 RSISU 태스크와 벤치마크에서 RS-MLLM과 범용 컴퓨터 비전 MLLM(CV-MLLM)을 비교한다. RS-MLLM은 도메인 특화 설정, 특히 원격 탐사 시각적 그라운딩(visual grounding)과 고해상도 시각적 질의응답(VQA)에서 경쟁력을 유지한다. 더 주목할 점은, 범용 CV-MLLM이 원격 탐사 특화 미세조정 없이도 여러 RSISU 태스크에서 이러한 특화 모델과 동등하거나 그 이상의 성능을 낼 수 있다는 것이다. 이러한 결과는 범용 CV-MLLM의 강한 전이 가능성을 보여 주며, 현재 RS-MLLM이 다양한 RSISU 태스크 전반에서 이를 일관되게 능가하지는 못함을 시사한다. 현재 MLLM은 공간적·관계적 추론, 세밀한 시각 이해, 지시 다양성, 이질적 태스크 형식 간 일반화에서도 한계에 직면한다. 이러한 발견을 바탕으로, 신뢰할 수 있는 평가, 멀티모달 및 고해상도 추론, 효율적 배포, 도구 증강 원격 탐사 에이전트를 향한 향후 방향을 개괄한다. 본 서베이는 RSISU를 위한 견고하고 일반화 가능하며 실용적인 MLLM 개발을 위한 체계적인 참고 자료를 제공한다.

arXiv:2607.20263v1cs.CV

도시 맥락은 주거 건물 상태와 어떻게 연관되는가? 건물 수준 주택 점검을 위한 비전-POI 융합 프레임워크

How Does Urban Context Relate to Residential Building Health? A Vision-POI Fusion Framework for Building-Level Housing Inspection

주택 수준의 도시 물리적 점검은 주거 건물 문제를 식별하고 표적화된 도시 재생을 지원하는 데 필수적이다. 기존 자동화 점검 연구는 주로 개별 이미지에 의존하며, 주변 도시 기능적 맥락이 건물 수준 평가에 보조 정보를 제공할 수 있는지는 거의 검토하지 않는다. 본 연구는 주거 건물 상태 평가를 위해 다중 시점 시각 점검과 POI 기반 이웃 맥락을 결합하는 비전-POI 융합 프레임워크를 제안한다. 실증 데이터셋은 중국 칭다오의 92개 노후 주거 단지, 3,237채의 주거 건물, 25,608장의 현장 촬영 점검 이미지를 포함하며, 주택 관련 문제 7개 범주를 포괄한다. 먼저, 여러 객체 검출 모델을 평가하여 개별 이미지에서 문제 위치, 범주, 신뢰도 점수를 추출한다. 이미지 수준 출력은 이후 다중 시점에 걸쳐 집계되어 해석 가능한 건물 수준 표현을 구성한다. 둘째, 500m, 1,000m, 1,500m 이웃 버퍼 내에서 POI 특징을 추출하여 주변 기능적 환경을 특성화한다. Pearson 및 Spearman 상관 분석과 오탐 발견률(false discovery rate) 보정을 결합하여 후보 맥락 특징을 식별한다. 마지막으로, 시각 및 POI 특징은 단지 격리 공간 교차 검증(community-isolated spatial cross-validation) 하에서 비용 민감 Random Forest 분류기를 사용하여 통합된다. 결과는 다중 시점 집계가 주요 성능 향상을 제공하며, 건물 수준 Macro-F1을 Direct Detection에서 60.84%에서 74.95%로 높였음을 보여준다. POI 맥락을 통합하면 Macro-F1이 76.79%로 더 증가하지만, 추가 이득은 미미하며 범주에 따라 달라진다. 따라서 POI 정보는 직접적 시각적 증거의 대체나 건물 상태의 인과적 결정 요인보다는 보조적 맥락 사전(prior)으로 기능한다.

arXiv:2607.20175v1cs.CV

PerceptDrive: 엔드투엔드 자율주행을 위한 적응형 전문가 라우팅 기반 인지 사전 세계-행동 모델링

PerceptDrive: Perception Prior World-Action Modeling with Adaptive Expert Routing for End-to-End Autonomous Driving

고정(frozen)된 인지(perception) 기반 모델(foundation model)은 풍부한 기하학적, 의미적, 동적 지식을 인코딩한다. 그러나 좁은 조건화(conditioning) 인터페이스는 과업 관련 단서를 약화시킬 수 있으며, 정적 융합(static fusion)은 장면별로 전문가(expert) 기여를 조정할 수 없다. 우리는 이 과제를 사전(prior)-to-plan 전이(transfer) 문제로 규정하고, 적응형 전문가 라우팅을 갖춘 인지 사전 세계-행동 모델링 프레임워크인 PerceptDrive를 제안한다. PerceptDrive는 고정된 운전(driving) 적응 제공자(provider)로부터 교사 증류(teacher-distilled) 사전과, 고정된 자기지도(self-supervised) 비디오 인코더로부터의 밀집 관측 잠재(dense observation latents)를 학습 가능한 전문가 라우팅 세계-행동 모델에 입력한다. 전문가별 쿼리 분기(query branch)가 이 신호들을 처리하며, 사전 유지(prior-retention) 목적 함수(objective)가 각 분기를 해당 사전에 고정(anchor)한다. 라우터(router)는 공유 장면 표현(scene representation)으로부터 소프트 게이트(soft gate)를 예측하고, 궤적(trajectory) 생성 전에 전문가 조건을 결합한다. 학습(training) 중, 분기별 궤적 초안(trajectory draft)에 대한 특권(privileged) 규칙 기반 하위 지표(sub-metric) 추정치가 소프트 게이트 증류(distillation) 타깃을 제공한다. 예측된 행동 없는(action-free) 미래 잠재(latent)가 flow-matching 액터(actor)를 조건화(condition)한다. 추론(inference) 시에는 특권 구성 요소가 없으며, 전방 카메라 하나로 PerceptDrive는 테스트 시점(test-time) 채점(scoring), 재순위화(reranking), 또는 탐색(search) 없이 계획(planning) 단계마다 하나의 궤적을 생성한다. 실험 결과 PerceptDrive는 NAVSIM v1에서 90.4 PDMS, NAVSIM v2에서 90.2 EPDMS의 최신(state-of-the-art) 성능을 달성하여 기존 방법들을 능가한다. Ablation은 사전 유지와 장면 조건 라우팅(scene-conditioned routing)으로부터의 상보적 이득, 그리고 세 가지 사전에 대한 차별적 의존을 확인한다. 이 결과는 인지 사전을 보존하고 적응적으로 라우팅하는 것이 테스트 시점 후보 선택(candidate selection) 없이 직접 계획(direct planning)을 개선함을 보여준다.

arXiv:2607.20071v1cs.CV

GaussianSeed: 고해상도 3D 점유 예측을 위한 계층적 가우시안 시딩

GaussianSeed: Hierarchical Gaussian Seeding for High-Resolution 3D Occupancy Prediction

비전 중심 3D 점유 예측은 자율주행 및 로봇 내비게이션에 필수적인 밀집 장면 표현을 제공하지만, 기존 방법들은 계산 비용이 과도하여 고해상도 복셀 해상도로 확장하는 데 어려움을 겪는다. 이를 해결하기 위해, 우리는 프리미티브(primitives)를 coarse-to-fine 계층으로 구성하는 점진적 다중 스케일 가우시안 점유 예측 프레임워크인 GaussianSeed를 제안한다. 이 계층적 설계의 이점을 활용하여, GaussianSeed는 밀집 표현에 내재된 메모리 병목을 효과적으로 우회하며, 실시간 추론 능력을 유지하면서 $0.1\text{m}$ 공간 해상도까지 성공적으로 확장한다. 고해상도 기하학적 인식을 종합적으로 평가하기 위해, 우리는 고도로 상세한 $0.1\text{m}$ 주석이 포함된 파노라믹 6카메라 점유 데이터셋 TJScenes를 추가로 구축한다. Occ3D-nuScenes와 TJScenes에 대한 광범위한 실험 결과, GaussianSeed는 매우 경쟁력 있는 정확도를 유지하면서 평가된 모든 방법 중 최저 지연 시간을 달성하여, 고해상도 3D 점유 예측의 효율-품질 프론티어를 한 단계 끌어올린다.

arXiv:2607.19951v1cs.CV

OffNadirLoc: 대규모 오프-네이더(off-nadir) 시점에서의 도전적인 UAV-위성 지오로컬라이제이션(geo-localization)을 위한 벤치마크 및 프레임워크

OffNadirLoc: Benchmark and Framework for Challenging UAV-to-Satellite Geo-Localization under Large Off-Nadir Views

UAV와 위성 영상 간 교차 시점 지오로컬라이제이션(geo-localization)은 근본적이면서도 매우 어려운 과제로 남아 있으며, 특히 급격한 원근 왜곡, 가림(occlusion), 외관 차이(appearance gap)가 발생하는 대규모 오프-네이더(off-nadir) 시점에서 더욱 그렇다. 기존 벤치마크와 방법들은 주로 근-네이더(near-nadir) 시나리오에 초점을 맞추며, 구조적 장면 이해와 도메인 내 관계 제약의 중요성을 종종 간과하여 실제 배포 환경에서의 성능을 제한한다. 본 연구에서는 대규모 오프-네이더 UAV-위성 지오로컬라이제이션을 위한 새로운 벤치마크인 OffNadirLoc을 제안한다. 오프-네이더 시점이 제기하는 고유한 과제를 해결하기 위해, 구조 인식 문맥 가중 메커니즘을 통해 신뢰할 수 있는 지역 특징을 동적으로 강조하고 모호하거나 반복적인 영역을 억제하는 프레임워크인 ONLoc을 추가로 제안한다. 또한 하나의 위성 영상과 여러 시점에서 촬영된 대응 UAV 영상을 하나의 응집적인 의미 그룹으로 취급하는 시점 일관(view-coherent) 학습 전략을 설계한다. 이 집합 수준 지도는 모델이 시점 불변적이고 판별적인 특징을 학습하도록 하여, 기존의 쌍wise 대조 학습(pairwise contrastive learning)보다 다중 시점 일관성을 포착하는 데 더 효과적이다. OffNadirLoc 벤치마크와 4개의 근-네이더 데이터셋에 대한 광범위한 실험을 통해, 우리 방법이 최신(state-of-the-art) 접근법을 일관되게 능가하며 추가 학습 없이 보지 못한 데이터셋에 대해서도 강한 제로샷(zero-shot) 일반화를 보임을 보여준다. 코드는 https://montalario.github.io/offnadirloc/ 에서 공개될 예정이다.

arXiv:2607.19857v1cs.CV

스트리밍 항공 영상에서 소형 객체 이해를 위한 메모리 증강 멀티모달 대규모 언어 모델

Memory-Augmented Multimodal Large Language Models for Small Object Understanding in Streaming Aerial Videos

언어 유도 항공 인식(perception)은 복잡한 무인항공기(UAV) 장면에서 사용자가 지정한 미세 타깃을 이해하는 것을 목표로 한다. 실제 UAV 배치에서는 UAV가 비행 중에 응답해야 하므로, 이러한 인식은 온라인 스트리밍 방식으로 수행되며, 프레임이 순차적으로 도착하고 모델은 미래 프레임에 접근하지 않은 채 각 프레임에 응답한다. 그러나 현재의 멀티모달 대규모 언어 모델(MLLM)을 이 설정에 적용하면 두 가지 과제가 발생한다. 첫째, 공중에서 본 타깃은 종종 매우 작지만, 기존 MLLM의 시각적 압축은 모든 영역을 동등하게 처리하여 미세한 세부 정보를 버린다. 둘째, 연속 스트림을 이해하려면 과거 프레임의 문맥이 필요하지만, 자원이 제한된 온보드 하드웨어에서는 전체 이력을 유지하는 것이 불가능하며, 이를 버리면 타깃이 표류하거나 사라진다. 우리는 데이터와 방법 관점 모두에서 미세 객체 및 스트리밍 과제를 해결한다. 데이터 관점에서, 우리는 미세 항공 타깃을 위한 최초의 픽셀 수준 개방 어휘(open-vocabulary) 참조 분할(referring-segmentation) 데이터셋인 DroneEyes를 제시하며, Object Description 및 Referring Expression 과제에 걸쳐 2,140개의 고화질 비디오와 176,623개의 쌍, 그리고 프레임별 밀집 마스크를 포함한다. 방법 관점에서, 우리는 위 과제에 대한 두 가지 설계를 갖춘 MLLM인 SkyAnchor를 제안한다: 축소된 시각 토큰 예산 하에서 소형 타깃을 보존하는 Semantics-Aware Token Router와 스트림에서 타깃을 일관되게 이해하도록 유지하는 Hierarchical Memory Bank.

arXiv:2607.19790v1cs.CV

Trace: 다중 도메인 시각 추론을 위한 분류체계 기반 환경

Trace: A Taxonomy-Guided Environment for Multidomain Visual Reasoning

검증 가능한 보상을 사용하는 강화학습(RLVR)은 언어 모델의 추론 능력을 크게 향상시켰지만, 비전-언어 모델로의 확장은 동시에 넓고, 정확히 검증 가능하며, 재현 가능한 학습 데이터의 부족으로 제약을 받고 있다. 본 논문은 다중 도메인 시각 추론을 위한 분류체계 기반 환경인 Trace를 제안한다. Trace는 과제 구성을 장면 문법(scene grammar)과 실행 가능한 과제 프로그램으로 분해하여 시각적 구현과 답 계산을 분리한다. 공유 의미 상태(shared semantic state)가 렌더링된 이미지, 프롬프트, 타입이 지정된 답, 검증기 상태, 재생 가능한 인스턴스 추적(trace)을 결정한다. 이로 생성된 환경은 277개의 장면 문법과 11개의 시각 도메인에 걸쳐 1,000개의 과제로 구성되며, 통제된 의미적·시각적 변이를 포함한다. 64,000개의 Trace 인스턴스에 대한 RLVR은 Qwen2.5-VL-3B에서 3.51%p, Qwen2.5-VL-7B에서 4.06%p만큼 24개 외부 벤치마크의 매크로 평균을 향상시켰으며, 이는 넓은 절차적 학습이 생성된 과제 분포를 넘어 전이될 수 있음을 보여준다. 프로젝트 페이지: https://maveryn.github.io/trace/.

arXiv:2607.19781v1cs.CV

WASABI: 프레임 간 추적 기반 차선 토폴로지 전 그래프 할당 안정화

WASABI: Whole-graph Assignment-based Stabilizer for lAne topology By Inter-frame tracking

자율주행은 교차로를 통과하는 경로를 따르고 교차·합류 교통에 대해 추론하기 위해, 자차 차선만이 아니라 주행 가능한 차선과 그 연결성을 그래프로 이해해야 한다. 최근 지각(perception) 모델은 온보드 센서로 360도 BEV(bird's-eye view) 시야에서 이러한 차선 토폴로지, 즉 차선 세그먼트와 차선 간 연결성(LCLC)을 추론한다. 신경망 지각의 불완전성으로 인해, 그 출력에는 미검출, LCLC 손실 또는 오류, 과검출, 레이블 깜빡임(label flicker)과 같은 구조적 불안정성이 남아 있다. 본 논문은 WASABI를 제안한다. WASABI는 차선 세그먼트와 LCLC 연결성을 공동 추적 대상으로 취급하여 프레임 내·프레임 간 차선 토폴로지 출력을 안정화하는 실시간 후처리 파이프라인으로, 온보드 실시간 제약(10 Hz / 20 ms / 최대 200개 입력 차선) 하에서 동작한다. 이 파이프라인은 세그먼트 추적과 연결성 통합, 노이즈에 강건한 토폴로지 인식 정제, 자원 제약형 실시간 설계를 결합한다. 내부 검증 데이터(16 시퀀스)에서 WASABI는 LCLC 검출 F1을 0.834에서 0.948(+0.114, +13.6%)로 향상시키고, 중심선 횡방향 오차를 2.50 m에서 0.95 m로 줄이며, 검출 false-positive를 24.6% 감소시킨다. 동일 데이터에 대한 시간적 안정성 지표는 LCLC 토글 비율이 63.3%, 경계 레이블 깜빡임 비율이 30.2% 감소했음을 보여주며, 프레임 단위 정확도를 넘어 프레임 간 안정화가 이루어졌음을 확인한다.

arXiv:2607.19777v1cs.CV

편집하기 전에 살펴보기: 3D Gaussian Splatting 편집을 위한 어텐션 유도 카메라 배치 및 다중 뷰 정렬

Look Before You Edit: Attention-Guided Camera Placement and Multi-View Alignment for 3D Gaussian Splatting Editing

3D Gaussian Splatting(3DGS)을 이용한 텍스트 기반 3D 장면 편집은 일반적으로 고정된 학습 카메라에서 렌더링한 뷰에 2D diffusion 편집기를 적용하는 방식으로, 편집의 공간적 범위와 복잡한 장면에서 특정 객체를 타깃으로 지정하려는 사용자의 자유도를 모두 제한한다. 우리는 국소 편집을 위한 편집 카메라를 어디에 배치할지, 그리고 미세조정 후 3D 장면이 일관되게 유지되도록 뷰별 편집을 서로 일치시키는 방법이라는 두 가지 밀접하게 연관된 문제를 해결하는 프레임워크인 LB-Edit을 제안한다. 첫째, 어텐션 유도 편집 카메라 배치(Attention-Guided Editing Camera Placement, ACP)는 여러 후보 카메라 거리에서 diffusion 모델의 self-attention과 cross-attention을 탐색하여 관심 영역 내에서 어텐션이 잘 한정되는 위치를 찾고, 그 어텐션 최적 거리에 컴팩트하고 기하학적으로 다양한 편집 카메라 세트를 배치한다. 둘째, 다중 뷰 어텐션 정렬(Multi-view Attention Alignment, MAA)은 두 축을 따라 뷰 간 동일한 편집을 향하도록 편집기를 유도한다: 토큰 수준 대응을 통해 self-attention 특징을 공유하여 외관을 정렬하고, cross-attention 맵을 3D Gaussian에 올려 공유 3D 어텐션 필드로 만들어 공간적 위치를 정렬함으로써 외관 및 공간적 드리프트를 모두 억제한다. 다중 객체 및 단일 객체 장면에 대한 실험에서, 우리 방법은 편집 뷰를 단 5개만 사용하면서 기존 방법 대비 지연 시간을 최대 7배까지 줄이고, 지시 충실도, 다중 뷰 일관성, 편집 국소성에서 가장 높은 사용자 선호도를 달성함을 보여준다.

arXiv:2607.19765v1cs.CV

다중 뷰 팬옵틱 분할을 위한 대규모 뷰 합성 모델 확장

Extending a Large View Synthesis Model for Multi-view Panoptic Segmentation

대규모 뷰 합성 모델은 명시적인 3D 표현 없이 교차 뷰 어텐션을 통해 새로운 뷰를 합성하며, 최근 연구들은 RGB 감독만으로도 정확한 공간 대응(spatial correspondence)을 학습한다는 것을 보여주었다. 우리는 이러한 대응이 외관(appearance)을 넘어 일반화된다는 것을 관찰한다. 이진 인코딩된 팬옵틱(panoptic) 레이블과 같은 비실사(non-photorealistic) 신호를 모델에 통과시키면, 일관된 공간 구조를 유지한 채 새로운 뷰로 전파된다. 이 결과는 RGB 뷰 합성을 위해 학습된 대응이 뷰 독립적인(view-independent) 픽셀 단위(per-pixel) 레이블도 전파할 수 있음을 시사한다. 이 관찰에 기반하여, 우리는 대규모 뷰 합성 모델을 외관 렌더링을 넘어 3D 장면 이해로 확장하는 최초의 연구를 제시한다. 우리는 3D 재구성이나 뷰 합성 모델에 대한 분할 특화 학습 없이, 동결(frozen)된 뷰 합성 모델을 재사용하여 입력 뷰의 팬옵틱 레이블을 새로운 뷰로 전파하는 팬옵틱 분할 파이프라인을 제안한다. 입력 뷰에 팬옵틱 레이블이 주어지면, 이를 이진 채널 표현으로 인코딩하고 동일한 모델에 통과시켜 타깃 뷰 분할을 렌더링한다. ScanNet에서 우리 방법은 명시적 3D 재구성을 필요로 하는 가우시안(Gaussian) 기반 접근법과 동등한 분할 품질을 달성하면서, 새로운 뷰 합성에서는 7 dB 이상 더 우수한 성능을 보인다. 레이블 전파는 데이터셋 간에도 전이되며, 미세조정 없이 Replica에서도 이러한 접근법들을 능가한다.

arXiv:2607.19617v1cs.CV

EGRNet: 엣지 게이트 정제 및 적대적 감지를 갖춘 경량 의미 분할 네트워크

EGRNet: A Lightweight Semantic Segmentation Network with Edge-Gated Refinement and Adversarial Sensing

자율 시스템과 스마트 시티가 계속 발전함에 따라, 효율적이고 견고한 장면 이해에 대한 수요가 점점 더 중요해지고 있다. 의미 분할은 자율주행 차량이 복잡한 도시 환경을 이해하는 데 핵심적인 역할을 한다. 그러나 최소한의 계산 비용으로 높은 정확도를 달성하는 것은 여전히 중요한 과제로 남아 있다. 본 논문에서는 도시 시나리오에서 실시간 의미 분할을 위해 설계된 경량且 효율적인 심층 학습 모델인 Edge-Gated Refinement Network(EGRNet)를 제안한다. 이 모델은 계산 복잡도를 줄이기 위해 depthwise separable convolution을 사용하고, 풍부한 다중 스케일 문맥 정보를 포착하기 위해 dilated residual block을 통합한다. 또한, 학습 가능한 게이팅 메커니즘을 통해 원본 특징과 정제된 특징을 적응적으로 융합하여 경계 보존과 엣지 민감 영역을 향상시키는 새로운 Edge-Gated Refinement(EGR) 모듈을 도입한다. 특징 표현을 더욱 개선하기 위해 네트워크 전반에 Squeeze-and-Excitation(SE) 어텐션을 적용한다. 파라미터가 0.46M에 불과한 EGRNet은 낮은 계산 부담을 유지하면서 최첨단 성능을 달성한다. Cityscapes 데이터셋에서 평가할 때, 이 모델은 평균 Intersection over Union(mIoU) 65.28%를 기록하여 최소한의 자원 소비로 강력한 정확도를 보여준다. 또한, 실시간 성능을 저해하지 않으면서 적대적 입력에 대한 견고성을 보장하는 경량 적대적 공격 탐지 전략을 도입한다. 효율성, 정확도, 견고성을 결합함으로써 EGRNet은 안전이 중요한 실시간 응용에서 엣지 디바이스에 배포하기에 적합하다.

arXiv:2607.19528v1cs.CV

D3VL: 3D 시계열 데이터와 영상을 활용한 언어 모델 기반 주행 장면 이해

D3VL: Understanding Driving Scenes from 3D Time Series Data and Video with Language Models

최근 다중모달 대규모 언어 모델(MLLM)의 발전은 자율주행을 위한 엔드투엔드 MLLM 개발을 촉발했다. 그러나 지금까지의 주된 초점은 2D 이미지와 영상을 사용하는 MLLM에 맞춰져 있다. 이와 대조적으로, 본 논문은 LiDAR 및 스테레오 카메라와 같은 3D 센서를 사용할 때의 MLLM 효과를 고려한다. LiDAR는 데이터의 희소성과 격자 구조의 부재로 인해 MLLM 내 통합에 독특한 과제를 제기한다. 유사한 이유로 MLLM 파이프라인 내에서 카메라와 LiDAR 데이터의 융합도 흔하지 않다. 그러나 대부분의 자율주행 시스템은 LiDAR 기반 센싱에 의존하며, 3D 데이터를 통합하는 것이 전통적인 3D 장면 인식 작업에서 성능 향상을 입증해 왔다. 본 논문은 2D 및 3D 시계열 데이터를 단일하면서도 단순한 아키텍처로 통합하는 새로운 MLLM 프레임워크인 D3VL을 제안한다. 해당 모델은 교통 장면 이해와 안전과 관련된 질문에 답하는 것을 목표로 한다. D3VL은 2D 및 3D 시계열 데이터 처리에서 KITTI 질의응답(QA) 데이터셋상 기준선 방법 대비 11%의 성능 향상을 보인다. 본 논문은 다양한 주행 조건에서 3D 및 시계열 데이터를 처리하는 모델의 능력을 평가하는 Waymo QA 데이터셋 확장을 추가로 소개한다. D3VL 구현 코드와 WaymoQA 확장은 보조 웹사이트(https://automotivesafety-lvlm.github.io)에서 확인할 수 있다.