3차원 장면 완성(3D scene completion)은 컴퓨터 비전과 로보틱스에서 주요 문제로 발전해 왔으며, 자율 주행 및 증강 현실을 포함한 다양한 분야에 응용되고 있다. 본 연구에서는 2016년부터 2026년까지 최근 10년간의 연구 성과를 체계적으로 정리하는 문헌 조사를 수행하였으며, 이 기간 동안 해당 분야는 SSCNet으로 대표되는 복셀(voxel) 의미론적 완성 패러다임에서 Gaussian splatting 기법을 활용한 실시간 렌더링과 생성적 확산(diffusion) 사전 지식을 결합한 최신 패러다임으로 혁신적으로 변화하였다. 본 연구에서는 복셀 그리드, 포인트 학습, 암묵적 신경장(implicit neural fields), 트랜스포머 네트워크, 확산 네트워크, 그리고 렌더링 인식 3D 가우시안 프리미티브 기반의 최신 패러다임에 이르기까지 표현 패러다임의 발전 과정을 논의하였다. 지난 10년간의 연구 성과에 대한 포괄적인 분석을 수행하고, 해당 분야의 기여를 명확히 파악할 수 있는 분류 체계(taxonomy)를 개발하였다. 또한 해당 분야의 연구 성과와 함께 여전히 해결이 필요한 과제들을 논의하였다. 마지막으로, 차세대 시스템 개발에 있어 나아가야 할 방향을 명확히 제시하는 연구 아젠다를 제안하였다.
기존의 시각 내비게이션 정책은 복잡한 환경에서 근시안적 의사결정과 모드 붕괴(mode collapse) 문제에 빈번히 어려움을 겪는다. 월드 모델(world model)은 유망한 대안을 제시하지만, 기존 패러다임은 일반적으로 인식, 생성, 제어를 분리하여 이들이 공유하는 시공간적 역학을 포착하는 데 실패한다. 본 논문에서는 잠재 월드 추론, 멀티모달 행동 예측, 제어 가능한 시각 생성을 원활하게 통합하는 통합 내비게이션 월드 모델인 NavWM을 제안한다. 핵심적으로, NavWM은 잠재 월드 토큰(latent world token)을 활용하여 기하학적·의미론적 사전 지식을 증류하고, 에이전트에게 강건한 구조적 이해 능력을 부여한다. 결정론적 정책의 한계를 극복하기 위해, 다양한 행동 공간을 생성하는 앵커 기반 멀티모달 궤적 예측 프레임워크를 도입한다. 이러한 내재적 다양성은 생성적 월드 모델이 강건한 폐루프(closed-loop) 플래너로 기능할 수 있도록 명시적으로 지원하며, 시각적 예지(visual foresight)를 활용하여 최적 경로를 평가하고 선택한다. 다양한 로보틱스 데이터셋에 걸친 광범위한 실험을 통해 NavWM이 최첨단 성능을 크게 향상시키며, 고충실도 미래 상태 생성과 제로샷(zero-shot) 내비게이션 성공률 모두에서 두드러진 개선을 달성함을 입증한다.
구체화된 추론과 탐험(exploration)은 복잡하고 낯선 환경에서 동작하는 로봇에게 점점 더 중요한 능력으로 여겨지고 있다. 이러한 환경에서 태스크를 수행하려면 에이전트(agent)가 탐험을 통해 태스크에 필요한 정보를 식별하고 획득해야 한다. 본 논문에서는 장면 표현, 검색, 탐험을 통합하는 관찰 중심의 계층적 씬 그래프인 ObsGraph를 제안한다. ObsGraph는 시각적 증거를 보존하고 이를 방(room)-뷰(view)-객체(object) 레이어로 구성한다. 방은 거친 의미론적 앵커를 제공하고, 뷰는 객체의 문맥적 공동 가시성을 보존하며, 객체는 세밀한 세부 정보를 저장한다. 이 표현 위에서 제한된 예산 내에 거친-세밀(coarse-to-fine) 계층적 검색을 수행하고, 검색 결과를 활용하여 탐험 후보 공간을 구조화한다. 구체적으로 방 수준 탐험, 뷰 세밀화, 또는 프런티어 탐험을 활성화함으로써 표현, 검색, 적응형 다중 스케일 탐험을 긴밀하게 결합한다. 구체화된 추론 및 탐험 벤치마크에 대한 실험 결과, 향상된 성공률과 효율성이 입증되었으며, 구조화된 씬 표현과 식별된 증거 공백에 의해 유도된 보다 목표 지향적인 정보 수집의 이점이 부각된다.
본 논문은 실세계의 역사적 사건을 캡션 생성의 지식 원천으로 활용함으로써 시각적 콘텐츠와 자연어 이해 사이의 의미론적 간극을 해소하는 것을 목표로 한다. 우리는 대규모 언어 모델(LLM)과 밀집 캡셔닝 모델을 활용하여 단일 입력 이미지에서 실제 사건을 식별하고 기술하는 새로운 프레임워크인 VisChronos를 제안한다. 본 프레임워크는 상세하고 맥락을 인식하는 사건 설명을 자동으로 생성할 수 있으며, 맥락적 서사를 포착하는 데 있어 기존 방법의 한계를 해결하기 위해 생성된 캡션의 기술적 품질과 맥락적 관련성을 향상시킨다. 나아가, 우리는 복잡한 사건을 식별하고 이해하는 모델의 능력을 강화하기 위해 제안된 프레임워크를 사용하여 구체적으로 구축된 새로운 데이터셋인 EventCap(https://zenodo.org/records/14004909)을 소개한다. 사용자 연구를 통해 정확하고 일관성 있으며 사건 중심의 설명을 생성하는 우리 솔루션의 효용성이 입증되었으며, 이는 사건 중심 이미지 이해 분야의 미래 연구를 위한 토대를 마련한다.
비전-언어-행동(VLA) 자율주행 모델은 사전학습된 비전-언어 모델을 주행 정책으로 변환하여 세계 지식을 활용하고 언어 지시를 따를 수 있게 한다. 그러나 기존 VLA 자율주행 모델은 주행 지향적 공간 지능이 여전히 부족하다. 이러한 모델의 정책은 주로 원근 이미지 토큰과 언어 사전 지식에 의존하는 반면, 정밀한 모션 플래닝에는 메트릭 기하학, 하향식 장면 구조, 그리고 안전에 중요한 지각 단서에 대한 어텐션이 필요하다. 이러한 한계로 인해 현재 모델은 전문가 시연에서 시각적 기하학 모델링 약화 및 지각 범위 부족에 취약하다. 본 논문에서는 대규모 VLM 백본 위에 구축된 프레임워크인 DriveStack-VLA를 제안한다. VLA 자율주행의 공간 그라운딩을 강화하기 위해 이중 시각 모델링 구성 요소를 개발한다. DeepStack 방식의 연결을 통해 조감도(Bird-Eye-View, BEV) 표현을 대규모 언어 모델(LLM) 디코더에 주입하고, 실제 이미지의 지각적 초점을 래스터화된 이미지의 초점과 정렬하는 Render-Teacher Alignment를 제안한다. 나아가 멀티모달 궤적 선택의 격차를 해소하기 위해, 샘플링된 궤적에 순위를 매기고 최상의 궤적을 조건부로 정제하는 헤드 기반 자기 비평 모듈을 도입한다. DriveStack-VLA는 NAVSIMv1에서 91.6 PDMS, NAVSIMv2에서 91.0 EPDMS(인간 패널티 필터 적용 시), 그리고 폐루프 Bench2Drive에서 56.36%의 성공률과 79.49의 주행 점수를 달성한다. 추가 시각화 자료는 프로젝트 페이지에서 확인할 수 있다: https://anonymous.4open.science/w/drivestack-vla/
Bird's-eye-view (BEV) representations derived from multi-camera input have become a central interface for online high-definition (HD) map construction. However, most approaches rely solely on ego-centric supervision, requiring large-scale scene structure to be inferred from incomplete observations, occlusions, and diminishing information density at long range, where perspective effects and spatial sparsity hinder consistent structural reasoning. We introduce Cross-View Supervision (CVS), a representation learning paradigm that transfers geometric and topological priors from an ego-aligned overhead perspective into camera-based BEV encoders. Rather than adding auxiliary semantic losses, CVS aligns representations in a shared BEV feature space and distills globally consistent structural knowledge from a perspective-privileged teacher into the ego-centric backbone. This supervision enhances structural coherence without modifying the inference architecture or requiring overhead input at test time. Experiments on nuScenes using ego-aligned aerial imagery from the AID4AD cross-view extension demonstrate consistent improvements over StreamMapNet while maintaining identical camera-only inference. CVS yields +3.9mAP in the standard $60\times30\,\mathrm{m}$ region and +9.9mAP in the extended $100\times50\,\mathrm{m}$ setting, corresponding to a 44% relative gain at long range. These results highlight perspective-privileged structural supervision as a promising training principle for improving BEV representation learning in HD map construction.
Open-vocabulary object detection (OVD) aims to recognize and localize object categories beyond the training set. Recent approaches leverage vision-language models to generate pseudo-labels using image-text alignment, allowing detectors to generalize to unseen classes without explicit supervision. However, these methods depend heavily on single-step image-text matching, neglecting the intermediate reasoning steps crucial for interpreting semantically complex visual contexts, such as crowding or occlusion. In this paper, we introduce MSPL, a framework that incorporates multi-step visual reasoning into the pseudo-labeling process for OVD. It decomposes complex scene understanding into three interpretable steps-object localization, category recognition, and background grounding-where these intermediate reasoning states serve as rich supervision sources. Extensive experiments on standard OVD evaluation protocols demonstrate that MSPL achieves state-of-the-art performance with superior pseudo-labeling efficiency, outperforming the strong baseline by 9.4 AP50 for novel classes on OV-COCO and improving box and mask APr by 3.2 and 2.2, respectively, on OV-LVIS. Code and models are available at https://github.com/hchoi256/mspl.
We study multi-sensor fusion for 3D semantic segmentation that is important to scene understanding for many applications, such as autonomous driving and robotics. Existing fusion-based methods, however, may not achieve promising performance due to the vast difference between the two modalities. In this work, we investigate a collaborative fusion scheme called perception-aware multi-sensor fusion (PMF) to effectively exploit perceptual information from two modalities, namely, appearance information from RGB images and spatio-depth information from point clouds. To this end, we project point clouds to the camera coordinate using perspective projection, and process both inputs from LiDAR and cameras in 2D space while preventing the information loss of RGB images. Then, we propose a two-stream network to extract features from the two modalities, separately. The extracted features are fused by effective residual-based fusion modules. Moreover, we introduce additional perception-aware losses to measure the perceptual difference between the two modalities. Last, we propose an improved version of PMF, i.e., EPMF, which is more efficient and effective by optimizing data pre-processing and network architecture under perspective projection. Specifically, we propose cross-modal alignment and cropping to obtain tight inputs and reduce unnecessary computational costs. We then explore more efficient contextual modules under perspective projection and fuse the LiDAR features into the camera stream to boost the performance of the two-stream network. Extensive experiments on benchmark data sets show the superiority of our method. For example, on nuScenes test set, our EPMF outperforms the state-of-the-art method, i.e., RangeFormer, by 0.9% in mIoU. Our source code is available at https://github.com/ICEORY/PMF.
For a wheelchair user, a standard blue line on a map is often a broken promise. While platforms like OpenStreetMap (OSM) successfully capture where a path is, they frequently fail to convey how it physically feels to travel on it. This information barrier is problematic for wheelchair users. To solve this issue, we present OmniPath, a system that moves from passive mapping to proactive environmental auditing. Our framework fuses the network topology of OSM with the submeter precision of high-density aerial LiDAR (USGS 3DEP) to create a high-fidelity 3D model of the pedestrian environment. Rather than simply routing a user, our agent virtually traverses the network, analyzing the surface in 0.5 meter increments. It rigorously quantifies physical friction points specifically running slope, cross slope, and vertical discontinuities against ADA compliance standards, calculating a weighted severity score to categorize hazards from ``Mild'' to ``Critical.'' To ensure real world reliability, we validated the system against 200 physical ground truth field surveys across the National Mall using stratified random sampling. The framework demonstrated strong diagnostic reliability for high-severity hazards, achieving F1-scores of 0.60 for Severe and 0.58 for critical categories. By automating this micro-scale inspection, OmniPath identifies the ``invisible'' barriers that standard maps miss, effectively transforming a static dataset into accessibility data source that anticipates accessibility challenges before the user ever leaves home.
자연어로 기술된 3D 장면에서 개체의 위치를 특정하는 3D 시각적 그라운딩(3DVG, 3D visual grounding)을 위한 견고한 모델 개발은, 에이전트가 공간적 언어를 물리 세계의 객체와 대응시키도록 하는 데 중요하다. 그러나 대규모의 다양한 설명 부족은 모델이 단순한 언어적 패턴을 넘어 일반화하는 것을 막는다. 최근의 이러한 시도들은 객체를 그라운딩하는 데 사용되는 제약 유형과 언어의 다양성이 부족하다. 캡셔닝(captioning) 방법은 시각적 그라운딩에 중요한 객체 간 정밀한 대조를 수행할 수 없다. 따라서 우리는 장면 그래프(scene graph)에서의 제약 샘플링과 대규모 언어 모델(LLM)의 언어 생성을 결합하여 다양한 시각적 그라운딩 쿼리를 생성하는 확장 가능하고 장면에 무관한(scene-agnostic) 방법인 ViGiL3D++를 제안한다. 이를 통해 기존의 대규모 데이터셋보다 더 큰 다양성을 보이며, 여러 3DVG 벤치마크에서 모델 성능을 향상시키지만, 비전-언어 모델(VLM)의 미해결 한계를 드러내기도 함을 보인다.
객체 검출, 분할, 장면 그래프 생성과 같은 구조화된 시각 인식 작업을 위한 기존 지도 학습 방법은 종종 결정론적이고 고정된 출력을 생성하여, 복잡한 시각 장면에 내재된 불확실성을 포착하는 능력을 제한한다. 그 결과, 이러한 점 추정은 부분적으로 가려진 객체의 크기 모호성, 정확한 분할 경계의 국소적 모호성 등 자연적 모호성뿐만 아니라 노이즈와 학습 데이터의 희소성에서 비롯되는, 이러한 문제에 내재된 예측 불확실성(또는 다중 모달성)을 포착하지 못한다. 이 한계를 해결하기 위해, 우리는 주어진 입력 이미지에 대해 구조화된 출력에 대한 분포를 학습하는 간단하고 새로운 프레임워크인 Modular Diffusion Models(MDM)를 제시한다. MDM은 확산 과정을 각각 객체 범주, 공간적 위치, 객체 간 관계 등 구조화된 정보 공간의 서로 다른 측면을 포착하는 데 집중하는, 서로 구별되는 과제별 모듈로 분해한다. 이 모듈형 설계는 각 구성 요소를 독립적으로 학습할 수 있게 하며, 추가 학습 없이 추론 시 원활하게 통합할 수 있다. 또한 MDM의 모듈성은 확산 과정이 많은 구조화 학습 작업에서 흔한 이질적 출력 공간(예: 연속적인 바운딩 박스와 이산적 클래스 레이블) 위에서 쉽게 작동할 수 있게 한다. 객체 검출, 인스턴스 분할, 장면 그래프 생성이라는 세 가지 서로 다른 구조화 작업에 대한 실험 결과는 우리가 제안한 프레임워크의 이점을 보여준다.
비전-언어 모델(VLM)은 공간 추론이 기준 좌표계에 따라 의미가 달라지는 관계들을 조합해야 할 때 여전히 신뢰할 수 없다. 기존 신경-심볼릭(neuro-symbolic) 방법은 추론을 더 명시적으로 만들지만, 종종 불안정한 기하학적 절차와 노이즈가 많은 지각(perception)에 대한 경성(hard) 결정에 의존한다. 우리는 관점 인식(perspective-aware) 구성적(compositional) 공간 추론을 위한 신경-심볼릭 프레임워크인 SATURN을 제안한다. SATURN은 근사 3D 장면을 재구성하고, 소프트(soft) 관점 인식 공간 술어(predicates)를 도출한 뒤, 학습 없는(training-free) Pythonic 심볼릭 실행기(symbolic executor)로 이를 조합하여, 다중 홉(multi-hop) 추론을 통해 불확실성을 보존하면서 지각과 추론을 분리한다. 또한 공간 배치 그라운딩(SAG)과 지시 표현 그라운딩(REF)에 걸쳐 추론 깊이, 시점(view), 관점 구성을 제어하는 진단 벤치마크인 3D FORCE를 도입한다. 3D FORCE에서 VLM과 공간적으로 학습된 모델은 깊이와 관점 복잡도가 증가할수록 급격히 성능이 저하되는 반면, SATURN은 안정적으로 유지되며 강력한 기준선들을 능가한다. 실세계 벤치마크 MindCube에서 SATURN은 78.57%의 전체 정확도를 달성하여, 가장 강력한 기준선보다 14%p 높다.
4D 동적 장면 이해는 신원(identity), 메트릭 3D 운동, 동기화된 다중 뷰 2D 투영을 묶는 지속적인 월드라인(worldline)에 언어를 그라운딩(grounding)하는 것을 요구한다. 기존 패러다임은 이 구조의 일부만 포착한다. 대규모 멀티모달 모델은 풍부한 시각적 근거에 대해 추론하지만 메트릭 위상(metric topology)을 거의 보존하지 못하며, 비전-언어 추적은 단편적인 2D 또는 3D 출력 및 국소적 연속(local continuation)에 묶여 있다. 따라서 우리는 완전히 관측된 다중 뷰 비디오에서 지시 조건부(instruction-conditioned) 4D 동적 장면 이해를 위한 월드라인 중심 태스크 4DVLT와 129.4K개의 질문-답변 쌍, 64.7K개의 타깃 개체, 851개의 장면, 9가지 추론 지향 질의 유형을 포함하는 벤치마크 Instruct-4D를 제안한다. 이 설정을 해결하기 위해, 우리는 객체 중심(object-centric) 4D 상태 그래프, 메트릭 유도 라우팅(metric-guided routing), 양방향 디코딩(bidirectional decoding), 운동학적 보정(kinematic calibration)을 통해 지시 조건부 추적을 그래프 조건부 월드라인 추론으로 형식화하는 4DTrack을 제시한다. Instruct-4D에서 4DTrack-Qwen3.5-9B는 62.68 $\mathrm{TGA}_{\mathrm{Top1}}$을 달성하며, 적응된 최고 VLT 기준선을 19.62점 초과한다. 이 결과는 월드라인 중심 모델링이 타깃 그라운딩과 복원된 월드라인 품질 모두를 개선함을 보여준다. 프로젝트 페이지는 https://github.com/mikubaka88/4DVLT 에서 확인할 수 있다.
멀티모달 대규모 언어 모델(MMLM)은 2D 시각 태스크에서 뛰어난 성능을 달성했지만, 자율주행 차량(AV)과 같은 실제 응용을 위한 공간 지능을 향상시키는 것은 여전히 미해결 과제로 남아 있다. 기존의 기하 인식 MLLM은 일반적으로 추론 시점에 보조 3D 모델에 의존하여 파이프라인 복잡도와 연쇄적 실패 위험을 초래한다. 본 논문에서는 순수 2D 관측만으로 기하 인식 공간 추론을 수행하는 단순하면서도 효과적인 플러그 앤 플레이 패러다임인 OmniSpace를 제안한다. 현재 MLLM이 취약한 교차 뷰 대응(cross-view correspondence)과 깊이 추정에 병목이 있다는 발견에 영감을 받아, OmniSpace는 Camera Pose Injector, Multi-view Epipolar 어텐션 모듈, 그리고 3D 기하 지식 증류(distillation) 목적함수를 도입하여 기하학적 지식을 모델로 전이함으로써 이 두 한계를 공동으로 해결한다. 광범위한 실험 결과, OmniSpace는 계획(planning) 벤치마크(nuScenes, Bench2Drive), 위험 탐지(nuInstruct), 언어(Omnidrive), 일반화(DriveBench)에서 기존 방법들을 능가한다.
인간은 서로 다른 시점에서 장면에 대해 손쉽게 추론할 수 있지만, 비전-언어 모델(VLM)이 유사한 교차 시점 공간 능력을 갖추고 있는지는 여전히 불분명하다. 위성-스트리트 장면 쌍은 복잡한 맥락과 극단적인 시점 변화를 지니므로 이상적인 시험대를 제공한다. 이에 영감을 받아, 위성-스트리트 쌍을 통한 교차 시점 공간 추론 평가를 위한 대규모 벤치마크 CVSBench를 제안한다. 이 벤치마크는 교차 시점 VQA, 교차 시점 그라운딩(grounding), 시점 식별(viewpoint identification) 등 다양한 과제를 지원한다. CVSBench는 3,297개의 교차 시점 이미지 그룹, 9,468개의 객체 수준(object-level) 어노테이션, 40,679개의 질문-답변(QA) 쌍으로 구성되어 교차 시점 공간 추론의 체계적이고 통제된 평가를 가능하게 한다. 광범위한 평가 결과, 고급 VLM은 급격한 시점 변화 하에서 객체 수준 및 레이아웃(layout) 일관성을 유지하는 데 어려움을 겪는 것으로 나타난다. 인간과 유사한 공간 인지(spatial cognition)로의 격차를 줄이기 위해, 공간 기반 추론(spatially grounded reasoning)과 인지 지도(cognitive map) 입력 통합이라는 두 범주의 접근법을 조사한다. 우리의 결과는 언어만을 이용한 추론(language-only reasoning)은 미미한 개선만을 가져오는 반면, 3D 장면 상상(scene imagination) 파이프라인을 통한 시각적 공간 상상(visual spatial imagination) 통합은 교차 시점 추론을 실질적으로 향상시킴을 보여준다. 이러한 결과는 VLM에서 견고한 공간 인지를 위해 명시적 시각-공간(visual-spatial) 표현의 필요성을 강조한다. 데이터와 코드는 https://huggingface.co/datasets/zlyzlyzly/CVSBench 에서 공개된다.
해부학적 구조의 정확한 인식은 안전하고 효과적인 최소 침습 수술(MIS)에 필수적이지만, 주석 데이터가 제한적이고 방법들이 주로 자연 장면에 맞춰져 있어 수술 컴퓨터 비전에서는 충분히 탐구되지 않고 있다. 본 연구에서는 MIS에서 해부학 인식 기반 지각을 발전시키기 위한 통합 데이터셋 및 모델 프레임워크를 제안한다. 먼저 ATLAS-120k를 소개한다. 이는 14가지 시술과 복강경 및 로봇 보조 수술을 포함한 여러 모달리티에 걸친 100개의 수술 영상에서 120,000개 이상의 주석 프레임으로 구성된 대규모 클립 수준 의미 분할(semantic segmentation) 데이터셋이다. 이 데이터셋은 상당한 시술 변동성을 포착하며, 전문가 수동 라벨링, 자동 전파, 반복적 정제, 외과의 검증을 통합한 확장 가능한 주석 파이프라인을 사용하여 고품질 주석을 확보하였다. 둘째, 수술 해부학 인식을 위해 특별히 설계된 영상 의미 분할 모델인 ATLAS(Anatomy Recognition with Context Learning using Foundation Representations)를 제안한다. 객체 추적을 강조하는 기존 접근과 달리, ATLAS는 파운데이션 모델 임베딩과 경량 시간적 추론을 함께 활용하여 시술 유형, 수술 단계, 단기 시각적 기억과 같은 문맥 단서를 통합한다. 이러한 설계는 실시간 실행 가능성을 유지하면서 시간적으로 일관되고 정확한 예측을 가능하게 한다. 데이터셋과 모델은 함께 견고한 수술 장면 이해를 위한 실용적 기반을 마련하며, 최소 침습 수술을 위한 임상 적용 가능한 안내 시스템 개발을 지원한다. 모델, 데이터셋 주석, 주석 플랫폼은 https://github.com/TimJaspers0801/ATLAS 에서 공개 제공된다.
극단적 기후 사건의 빈도와 강도가 증가함에 따라, 재난 피해 평가를 위한 지능적이고 확장 가능하며 자율적인 접근법에 대한 명확한 수요가 있다. 기존 방법은 대체로 지도 학습(supervised learning)과 태스크별 미세조정에 기반하며, 특히 재난 시나리오에서 도메인 이동(domain shift), 롱테일(long-tailed) 데이터 분포, 이질적인 지리공간(geospatial) 데이터 소스 하에서 일반화하는 데 어려움을 겪는다. 또한 위성 영상과 거리 뷰 영상과 같은 다중 모달(multimodal) 지리공간 정보를 통합하고 추론하는 능력이 부족한 경우가 많다.
본 논문에서는 RAPID를 소개한다. RAPID는 피해 수준 평가, 피해 유형 해석, 대응·복구·재건을 위한 실행 가능한 제안을 포함하는, 해석 가능한 재난 피해 평가를 위한 재현 가능한 다중 에이전트 파이프라인이다. RAPID는 이질적인 데이터 모달리티에 걸쳐 교차 시점(cross-view) 이해, 영상 복원(image restoration), 구조화된 피해 인식, 지리적 추론(geographical reasoning)을 수행하도록 전문화된 에이전트를 조율한다. 태스크별 미세조정 없이 RAPID는 원격 탐사(remote sensing)와 지상 수준 관점의 상보적 정보를 공동으로 활용하여 제로샷(zero-shot) 피해 평가를 지원한다. 이 시스템은 세밀하고 해석 가능한 평가를 생성하며, 초기 긴급 대응을 지원하기 위해 위치별·의사결정 관련 재난 보고서를 자동 생성한다.
허리케인, 홍수, 산불, 지진에 대해 RAPID를 평가했으며, 재난 전후 거리 뷰 영상, 재난 후 원격 탐사 영상, 거리 뷰 영상 쌍 등 다양한 교차 시점 영상 입력을 사용했다. 실험 결과 RAPID는 다중 재난 유형 분류에서 전체 정확도 0.92, 교차 시점 피해 심각도 예측에서 최대 0.627을 달성하여, 자율 재난 인텔리전스를 위한 기초 프레임워크로서의 잠재력을 보여준다.
지시 조건(instruction-conditioned) 궤적 예측은 자율주행에서 떠오르는 문제로, 모델이 시각적 장면 컨텍스트와 과거 운동뿐만 아니라 자연어 기동(maneuver) 지시로부터도 미래 자차(ego) 궤적을 예측한다. 본 논문은 3D 지각, 추론, 계획 기능을 갖춘 비전-언어-행동(vision-language-action) 주행 에이전트인 OmniDrive를 기반으로 doScenes Instructed Driving Challenge에 제출한 우리의 방법을 소개한다. doScenes 설정에 맞추기 위해 지시가 주석된 nuScenes 장면에서 OmniDrive를 학습(training)시키고, 12개의 미래 웨이포인트로 표현된 6초 자차 궤적을 생성한다. 다중 시점(multi-view) 시각적 그라운딩(grounding) 향상을 위해 OmniDrive 지각 헤드에 DVPE 스타일 divided-view perception 모듈을 추가한다. 제안 모듈은 모든 카메라 특징에 대해 전역적으로 어텐션(attention)을 적용하는 대신, 쿼리 특징과 이미지 토큰을 분할된 국소 시점 공간으로 묶고 각 시점 내에서 가시성 인식(visibility-aware) 크로스 어텐션을 수행한다. 이 설계는 무관한 시점 간(cross-view) 간섭을 줄이고, 모델이 언어 지시를 주행 관련 국소 시각적 근거와 더 잘 정렬(align)하도록 돕는다. 코드는 다음에서 공개되어 있다: https://github.com/feel12348/doscenes-omnidrive.
단일 이미지로부터 조합적 3D 장면을 복원하는 것은 3D 세계 모델링에서 근본적인 과제이다. 최근 방법들은 고충실도의 완전한 3D 객체를 복원하고 그럴듯한 장면 배치를 예측할 수 있지만, 대부분은 여전히 장면 복원을 주로 시각적·기하학적 예측 문제로 다룬다. 따라서 출력에는 공중에 떠 있는 객체, 상호 침투, 불안정한 접촉 아티팩트가 포함될 수 있어, 시뮬레이션, 로봇공학, 상호작용 환경에서의 물리적 타당성과 하위 활용 가능성이 제한된다. 우리는 개방 어휘(open-vocabulary) 및 조합적 이미지-3D 장면 복원을 위한 물리적으로 그라운딩된 접근법인 $φ$-Scene을 제안한다. 핵심 전제는 복원된 장면을 예측된 자세(pose)를 가진 객체들의 집합으로만 취급해서는 안 되며, 안정적인 물리 시스템으로 봐야 한다는 것이다. 이에 따라 $φ$-Scene은 복원을 위상(topology) 기반 물리적 조립으로 공식화한다: 객체끼리 서로를 어떻게 지지하는지 추론하고, 그에 맞게 순서를 정한 뒤, 이미 안정화된 지지 맥락에 대해 각 객체를 점진적으로 안착(settle)시킨다. 위상 순서상 각 객체에 대해, SDF 기반 최적화가 먼저 사전 안착된 지지 맥락과의 침투를 해소하고, 강체(rigid-body) 시뮬레이션이 실제 물리 제약 하에서 객체를 안정적인 접촉 구성으로 안착시킨다. 3D-Front에서의 실험은 $φ$-Scene이 도메인 외(out-of-domain) 방법 중 최고의 전반적 성능을 달성하고 도메인 내(in-domain) 기준선(baseline)과도 매우 경쟁력 있음을 보여준다. 인간 평가와 VLM(비전-언어 모델) 평가는 시각적 품질, 참조 정렬(reference alignment), 물리적 그럴듯함(physical plausibility)에서 $φ$-Scene에 대한 강한 선호를 추가로 보여준다. 마지막으로, 정적 접촉 품질과 동적 안정성을 아우르는 전용 물리적 그럴듯함 지표는 $φ$-Scene이 침투 아티팩트를 크게 줄이면서 시뮬레이션 후 drift를 훨씬 낮게 만들어, 더 안정적이고 물리적으로 그라운딩된 3D 장면을 생성함을 보여준다.
Technical Report for ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation Challenge: Exploring Query-Based Segmentation and Increased Spatial Context for Outdoor Scene Understanding
본 보고서에서는 ICRA 2026의 Field Robotics 워크샵 일환으로 개최된 GOOSE 2D Fine-Grained Semantic Segmentation Challenge에 대한 우리의 제출 결과를 제시한다. 해당 챌린지는 GOOSE 및 GOOSE-Ex 데이터셋의 데이터를 결합하며, 이 데이터셋들은 4가지 서로 다른 카메라 구성에서 촬영된 13k장 이상의 이미지로 구성되고, 56개의 세분화 클래스와 11개의 더 넓은 범주로 이루어진 계층적 분류 체계로 주석이 달려 있다. SegFormer를 기준선으로 출발하여, 학습 crop 크기 확대, 쿼리 기반 Mask2Former 아키텍처로의 전환, 테스트 시 증강(test-time augmentation)을 통해 분할 성능을 점진적으로 개선하였다. 실험 결과, 쿼리 기반 분할이 기준선 모델보다 유의미하게 우수한 성능을 보였다. 또한 학습에 사용되는 crop 크기를 늘리면 상당한 성능 향상을 얻을 수 있으며, 이는 세분화된 의미론적 모호성 해소를 위해 장면 컨텍스트를 보존하는 것이 중요함을 시사한다. 최종 제출 결과는 테스트 시 증강을 적용하여 챌린지 테스트 세트에서 69.6%의 mIoU를 달성했으며, 야외 환경에서의 세분화 의미론적 분할을 위한 강력한 기준선을 제공한다. 재현성과 향후 연구를 위해 코드와 가중치는 https://github.com/RoboticsLabURJC/outdoor-fine-grained-segmentation 에서 공개될 예정이다.