3D 장면 그래프는 객체와 장소 같은 공간적 개체 및 그 관계를 인코딩하여 환경의 계층적 추상화를 제공한다. 그러나 기존 장면 그래프 시스템은 부분 포인트 클라우드나 클래스 수준의 CAD 템플릿에 의존하여 객체 형상을 개략적으로 모델링하므로 인스턴스별 형상 세부 정보가 제한된다. 본 논문은 학습 기반 객체 형상 추정기를 계층적 3D 장면 그래프 파이프라인에 통합하는 방법을 시스템 수준에서 탐구한 Hydra++를 제시한다. Hydra++는 카테고리에 구애받지 않는 형상 추정과 재투영-마스크 일관성 검사를 통합하여 부분 관측이나 부정확한 분할로 인한 퇴화 예측을 제거한다. 기본 CRISP 기반 구성에서 Hydra++는 온라인 장면 그래프 구축을 수행하며, SAM3D와 같이 속도가 느린 추정기는 일반화-지연 트레이드오프를 보여주기 위한 모듈식 대안으로 평가된다. 또한 실외 환경에서의 희소하고 노이즈가 많은 깊이 측정 문제를 해결하기 위해 Hydra++는 대규모 운용을 위한 하이브리드 LiDAR-카메라 구성을 지원하여 장면 수준 재구성 품질을 향상시킨다. 시뮬레이션과 실제 실외 캠퍼스 환경에서의 실험을 통해 Hydra++가 객체 및 장면 수준의 재구성 품질을 개선함을 입증한다. 프로젝트 페이지는 https://hydra-plusplus.github.io/ 에서 확인할 수 있다.
우리는 강건한 온라인 3D Gaussian splatting, 실시간 VR 탐험, 음성 기반 비전-언어 모델(Vision-Language-Model) 상호작용을 위한 새로운 통합 아키텍처를 제안한다. 깨끗한 깊이 정보나 외부 포즈를 가정하는 방법들과 달리, 우리 시스템은 잡음이 있는 실세계 데이터에 대해 ORB-SLAM3 기반 포즈 추정과 온라인 Gaussian 재구성을 결합한다. VR 파이프라인은 점진적 재구성의 몰입형 탐험을 가능하게 하며, 의미론적 모듈은 음성 명령을 텍스트로 변환하고, 장면 설명을 생성하며, 관심 지점을 기록한다. 최신 온라인 Gaussian splatting 방법들과 비교하여, 우리 데이터셋에서 이미지 품질이 향상되었으며(PSNR +14.5%, SSIM +8.6%, LPIPS -14.3%), TUM-RGBD 데이터셋에서도 마찬가지였다(PSNR +11.7%, SSIM +7.8%, LPIPS -21.6%). 품질-속도 구성을 통해 비교 가능하거나 우수한 프레임 레이트를 달성하였으며, VLM 객체 인식률 88%를 기록하였다.
로봇 매니퓰레이터는 구조화된 환경에서 뛰어난 성능을 발휘하지만, 비구조적이고 동적인 환경에서는 상당한 어려움에 직면한다. 본 논문은 기존에 경험하지 못한 환경과 지속적으로 변화하는 환경에서 충돌 없는 로봇 팔 제어를 가능하게 하는 실시간 장면 재구성 및 반응형 로봇 동작 생성을 위한 통합 프레임워크인 SplatCtrl을 제안한다. 3D 가우시안 스플래팅(3D-GS)을 기반으로, RGB-D 스트림으로부터의 효율적인 장면 재구성을 지원하면서 환경 변화를 수용하는 하이브리드 복셀 기반 필터링 및 동적 가우시안 재배치 전략을 도입한다. 안전하고 반응적인 제어를 위해, 등방성 가우시안으로부터 연속적인 부호 있는 거리 함수(signed distance function)를 유도하는 방법을 추가로 제안하며, 이는 고전적인 거리 필드와 현대적인 암묵적 표현을 연결하는 안정적이고 미분 가능한 충돌 확률 추정값을 제공한다. 이러한 연속적인 거리 메트릭은 제어 배리어 함수(control barrier function)에 통합되어, 장면 변화에 대응하는 부드럽고 신뢰할 수 있는 실시간 동작 생성을 지원하는 통합 인지-행동 결합 프레임워크를 구성한다. 시뮬레이션, 실제 로봇, 그리고 인간-로봇 공유 작업 공간에서의 실험적 검증을 통해 프레임워크의 효과성을 입증하며, 불확실하고 동적인 환경에서 통합된 장면 재구성과 반응형 제어를 달성함을 보인다.
일반 장애물 탐지는 자율주행, 특히 희귀하거나 미지의 객체가 등장하는 롱테일 시나리오에서 매우 중요합니다. 기존 방법들은 지도 학습이나 사전 정의된 카테고리에 의존하여 일반화 능력이 제한됩니다. 본 연구에서는 멀티모달 파운데이션 모델과 기하학적 추론을 결합한 학습-프리(training-free) 방식의 3D 장애물 탐지 접근법을 제안합니다. 핵심 아이디어는 장애물을 도로 표면으로부터의 이탈로 탐지하고, 이를 2D에서 분할한 뒤 시간적 LiDAR 집계를 통해 3D로 위치를 추정하는 것입니다. 해당 파이프라인은 태스크별 학습 없이 제로샷(zero-shot) 방식으로 동작합니다. 실험 결과, 최대 100미터까지 정확한 위치 추정이 가능하며, 파운데이션 모델 사전 정보를 통해 재현율이 10~25% 향상되고 확장 가능한 자동 레이블링이 가능함을 보여줍니다.
암묵적 신경 표현(implicit neural representation)은 다양한 장면에서의 3D 재구성에서 유망한 결과를 보여왔다. 그러나 기존 방법들은 빠르게 움직이는 객체를 모델링하는 데 어려움을 겪거나, 도시 환경에서의 대규모 카메라 자기운동(ego-motion)을 처리하지 못하는 한계가 있다. 이로 인해 대규모 도시 장면의 합성 뷰 품질이 저하된다. 본 논문에서는 더욱 실용적이고 도전적인 문제인 대규모 장면과 빠르게 이동하는 차량으로 인한 문제를 동시에 해결하고자 한다. 이를 위해 동적 객체의 로컬 장면 표현과 전체 도시 장면의 글로벌 표현을 학습하는 점진적 장면 그래프 네트워크 아키텍처를 제안한다. 이 점진적 학습 아키텍처는 시간 윈도우 내의 프레임으로 학습된 새로운 로컬 장면 그래프를 동적으로 할당하며, 윈도우 크기를 자동으로 결정함으로써 표현을 임의적으로 큰 장면으로 확장할 수 있다. 또한, 관찰에 따르면 동적 객체의 학습 뷰는 빠른 움직임으로 인해 상대적으로 희소하며, 이는 동적 객체의 재구성 정확도를 크게 저하시킨다. 이를 해결하기 위해 파운데이션 모델 네트워크를 활용하여 잠재 코드(latent code)를 인코딩한다. 구체적으로, 시각 파운데이션 모델 DINOv2의 일반화 능력을 활용하여 외관 및 형상 코드를 추출하고, 희소 뷰 동적 입력 처리를 위한 사전 모델링 능력을 강화하고자 대규모 도시 장면 객체 데이터셋으로 네트워크를 학습한다. 이와 병행하여, 객체의 주파수 스펙트럼을 정규화하는 주파수 변조 모듈을 도입함으로써 주파수 영역 관점에서 희소 이미지 입력 모델링의 어려움을 해결한다. 실험 결과, 제안 방법은 다양한 장면에서 최첨단 수준의 뷰 합성 정확도, 객체 조작, 그리고 장면 로밍 능력을 달성함을 입증한다.
자율주행 시스템의 안전 임계 사고 추론 능력을 평가하기 위해, 600개 이상의 블랙박스 영상 클립과 6,000개 이상의 질의응답 쌍으로 구성된 사고 중심 VQA 벤치마크 AUTOPILOT-VQA를 제시한다. 날씨·도로 상태·사고 유형·충격 위치 등 다양한 안전 관련 카테고리를 포괄하며, CVPR 2026 경진대회를 통한 평가 결과 상위 팀의 최고 정확도가 0.66 수준에 머물러 현재 비전-언어 모델이 단순 인식을 넘어선 시간적·인과적 추론에서 여전히 한계를 보임을 확인하였다.
의미론적 세계 예측과 생성적 세계 진화를 통합하는 이중 수준 VLA 프레임워크 WCog-VLA를 제안하며, 3D 공간 인지 기반의 에이전트 토큰과 Game-CoT 추론, 그리고 다중 에이전트 궤적을 합성하는 ADDT 생성 세계 모델을 결합해 능동적 자율주행을 구현한다. NAVSIM 벤치마크에서 PDMS 92.9의 최고 성능(SOTA)을 달성했으며, 85k개의 Game-CoT 어노테이션 데이터셋을 추가로 구축하였다.
기존 슬롯 어텐션(slot attention)이 단일 입도의 외형 기반 분해만 수행하는 한계를 극복하기 위해, HSA(Hierarchical Slot Attention)는 전체론적(전경/배경)·의미론적(객체 범주)·파노픽(개별 인스턴스) 세 수준의 장면 분해를 단일 모델에서 동시에 학습한다. 레이블 데이터 10%와 계층적 정렬 손실만으로 COCO에서 가장 강력한 평탄 기준선 대비 최대 +41.5 ARI를 달성하며, 세 개의 별도 모델 없이 단일 순전파(forward pass)로 다중 입도 분해를 수행한다.
자율주행 정책의 실패 진단에 기반한 적대적 시나리오 생성 프레임워크 SPHINX를 제안하며, 설명 가능한 인공지능(XAI) 기법으로 정책의 시각적 개념 의존도와 예측 불확실성을 분석해 비전-언어 모델이 실패 유형을 진단하고 표적 시나리오를 생성하는 폐루프 구조를 갖는다. 기존 LLM 사전 지식 기반 방법과 달리 정책 고유의 실패 근거를 조건으로 시나리오를 합성함으로써, 다양한 최신 자율주행 아키텍처에서 기존 시나리오 생성 방법 대비 일관된 강건성 향상을 달성했다.
3D Gaussian Splatting(3DGS)의 비구조적 기하학으로 인한 공간적 모호성과 다단계 의미론적 모호성을 해결하기 위해, LESV는 Sparse Voxel Rasterization(SVRaster)을 구조화된 기하학 표현으로 채택하고 AM-RADIO 기반 모델의 밀집 정렬 특성을 활용하여 결정론적 특징 등록과 단일 패스 다중 스케일 쿼리를 가능하게 한다. 개방형 어휘 포인트 클라우드 이해 벤치마크에서 최고 수준의 성능을 달성하고, 3D 및 2D 객체 검색 벤치마크에서도 경쟁력 있는 결과를 보인다.
공간 추론은 지능형 로봇에게 핵심적인 능력이지만, 현재의 비전-언어 모델(VLM)은 비디오 기반 공간 추론에서 인간 수준의 성능에 아직 미치지 못한다. 이 격차는 주로 두 가지 과제에서 비롯된다: 일관된 3D 이해를 방해하는 의미론적-기하학적 불일치, 그리고 프레임 간 3D 표현 및 이해를 유지하는 지속적 메모리의 부재이다. 이러한 한계를 해결하기 위해, 우리는 VLM$^2$를 제시한다. 이는 순수한 2D 비디오로부터 시점 일관적이고 3D를 인식하는 표현을 활용하여 공간 추론을 수행하는 지속적 메모리를 갖춘 비전-언어 모델이다. 구체적으로, 즉각적인 컨텍스트에 집중하기 위해 슬라이딩 윈도우 방식으로 작동하는 작업 기억(working memory)과 프레임 전반에 걸쳐 중요한 정보를 통합하고 저장하는 에피소딕 메모리(episodic memory)로 구성된 이중 메모리 모듈을 도입한다. 이 설계는 고정된 계산 비용 하에서 제한적이고 효율적인 공간 추론을 가능하게 한다. 다수의 벤치마크에서 수행한 광범위한 실험을 통해 VLM$^2$가 비디오 기반 모델 중 최첨단 성능을 달성하며, 시각적 공간 지능의 경계를 크게 발전시킴을 보인다.
컴퓨터 비전의 이질적인 태스크들을 태스크별 아키텍처 없이 통합 멀티모달 모델(UMM)의 텍스트·이미지 생성 공간으로 표현하는 SenseNova-Vision을 제안하며, 자연어 명령어와 선택적 시각 프롬프트로 탐지, OCR, 분할(segmentation), 깊이 추정, 카메라 포즈 추정 등 다양한 시각 태스크를 단일 생성 인터페이스로 처리한다. 대규모 학습을 위해 구축한 SenseNova-Vision Corpus를 활용하여 학습한 결과, 단일 통합 모델이 구조적 시각 이해, 조밀한 기하학적 예측, 분할, 다시점 시각 기하학 전반에서 태스크 특화 시스템과 동등한 성능을 달성함을 보인다.
기존 3D-LLM이 단일 공간 장면에 국한되었던 한계를 극복하기 위해, CAIRN은 그래프 신경망과 계층적 어텐션 마스크를 활용해 다중 공간 환경의 객체-공간 계층 구조와 토폴로지를 명시적으로 모델링한다. HM3D 기반의 새로운 다중 공간 벤치마크 CAIRN-MR에서 그라운딩, 캡셔닝, 공간 간 비교 추론 등 6가지 태스크 전반에 걸쳐 기존 3D-LLM을 큰 차이로 능가했다.
교통 표지판은 모든 조명 조건에서 시각적 도구로서 도로 안전의 핵심 구성 요소이다. 도로 교통 제어 장치 통일 매뉴얼(MUTCD)은 가독성 및 색상 대비와 같은 주간 시각적 요소와 야간 재귀반사율 요구사항을 규정하고 있다. 전통적인 평가 방법은 수동 점검에 의존하는데, 미국 연방도로청(FHWA)은 이를 주관적이고 노동 집약적이며 안전 우려가 있다고 지적하는 반면, 재귀반사계는 비용이 높아 소규모 기관이 도입하기 어렵다. 기존 연구의 대부분은 주간 요소 또는 야간 재귀반사율 중 한 가지에만 집중하며, 두 측면을 종합적으로 통합하는 경우는 드물다. 본 연구는 주야간 통합 평가를 통해 교통 표지판을 체계적으로 평가하는 새로운 프레임워크를 개발한다. 제안 방법론은 세 가지 파인튜닝된 비전-언어 모델(VLM)을 활용하여 가독성, 색상, 표면 및 형상 무결성, 주변 환경 조건의 네 가지 주요 요소에 걸쳐 주간 시각 성능을 평가한다. VLM 예측은 감성 분석과 대조적 언어-이미지 사전학습(CLIP) 점수를 통해 수치 점수로 변환되며, 야간 성능은 확립된 보정 절차에 따라 LiDAR 기반 재귀반사율을 사용하여 평가된다. 프레임워크는 이러한 구성 요소들을 유지관리 지침을 위한 종합 표지판 상태 지수(SCI)로 통합한다. 평가 결과, LLaVA와 Qwen이 InternVL보다 우수한 성능을 보였으며, 모든 요소에서 양방향 코사인 유사도 점수 0.67~0.76을 달성하였다. 검증된 교통 표지판 462개 중 68개가 재귀반사율 성능 부족으로 인해 즉각적인 교체가 필요한 것으로 제안 프레임워크에 의해 표시되었다. 본 연구는 종합적인 교통 표지판 상태 평가를 위한 전통적인 수동 점검의 비용 효율적인 대안을 제공한다.
장면 그래프 생성(SGG)에서 검출기 기반(detector-based)과 쿼리 기반(query-based) 방법의 예측 행동 차이를 검출기 조건부 도달 가능성(detector-conditioned reachability) 관점에서 체계적으로 분석하고, 두 메커니즘이 상호 보완적임을 실험적으로 규명하였다. 이를 바탕으로 이중 쿼리 설계(dual-query design)를 통해 두 추론 방식을 단일 트리플렛 디코더에 통합한 Dual-SGG를 제안하며, Visual Genome, Open Images v6, GQA-200 벤치마크에서 효과를 검증하였다.
PVCap은 3D 밀집 캡셔닝의 두 가지 핵심 문제인 공간적 레이아웃 다양성 부족과 단순한 네트워크 아키텍처를 해결하기 위해, 인스턴스 랜덤 믹싱과 교사-학생 프레임워크 기반의 데이터 증강 기법(PseudoCap)과 복셀 기반 캡션 네트워크(VoxelCapNet)를 제안한다. ScanRefer와 Nr3D 벤치마크에서 [email omitted] 기준 기존 최고 성능 대비 각각 11.41%, 13.99% 향상을 달성했다.
포인트 클라우드 인터랙티브 3D 분할에서 거친 복셀 해상도로 인한 경계 흐림과 배경 구조의 거짓 양성(false positive) 문제를 해결하기 위해, NegROI는 클릭 중심 다중 해상도 ROI 정제와 장면 조건부 네거티브 프롬프트를 결합한 트랜스포머 기반 프레임워크를 제안한다. ScanNet, S3DIS, KITTI 벤치마크에서 불확실성 기반 선택적 정제와 경계 인식 하드 네거티브 마이닝을 통해 기존 최신 기법 대비 향상된 클릭 효율성과 크로스 데이터셋 일반화 성능을 달성했다.
건설 현장 모니터링을 위한 비전-언어 모델(VLM)이 단일 전역 이미지 기반 파인튜닝에 의존해 운용 범위, 저해상도 신뢰성, 추론 효율성 면에서 한계를 보이는 문제를 해결하고자, AVA-VLM은 인간의 시각 주의 메커니즘에서 착안해 저해상도 전역 이미지를 먼저 추론한 뒤 세부 검사가 필요한 경우에만 고해상도 로컬 크롭을 선택적으로 요청하는 거친-세밀(coarse-to-fine) 전략을 채택한다. 영역 인식 사고의 연쇄(Chain-of-Thought) 데이터셋을 새롭게 구축하여 모델이 언제, 어디를 크롭할지 학습하도록 하였으며, 실험 결과 장거리·저해상도 조건에서 신뢰성이 향상되고 시각 토큰 사용량이 크게 감소함을 확인하였다.
DeSeG는 인간-장면 상호작용(HSI) 합성에서 의미적 의도와 기하학적 제약이 하나의 백본에 혼재되어 발생하는 단축 편향(shortcut bias) 및 물리적 환각 문제를 해결하기 위해, Residual Semantic Planner와 물리 정규화 확산 실행기(physics-regularized diffusion executor)로 구성된 계층적 분리 프레임워크를 제안한다. Lingo 데이터셋 실험에서 기존 SOTA 대비 장면 관통을 47% 감소시키고 의미 정렬을 29% 향상시키는 최고 성능을 달성했다.
RGB-D 이미지 시퀀스로부터 고품질 인터랙티브 환경을 실시간으로 구성하는 신경 시뮬레이션 프레임워크 Image2Sim을 제안하며, 3D 공간 앵커링과 포토리얼리스틱 관측 합성을 분리하는 것이 핵심 설계 원칙이다. 약 20K개의 인터랙티브 장면과 1천만 개 이상의 내비게이션 학습 샘플을 자동 생성하여, 이 신경 환경에서만 학습한 모델이 주요 벤치마크에서 성능 향상을 달성하고 실제 환경 제로샷 전이에도 효과적임을 입증했다.