MLLM의 시각적 객체 수 세기(visual counting) 능력을 종합적으로 평가하기 위해, 의미적 계수·분석적 계수·강건성 테스트의 3단계 계층적 분류 체계로 구성된 HoloCount 벤치마크를 제안한다. 20개 이상의 최신 MLLM 평가 결과, 단순 지각 과제에서 논리적 추론 및 적대적 시나리오로 전환될수록 최상위 모델조차 수치 환각(hallucination) 등 성능이 크게 저하되는 한계가 확인되었다.
견고하고 프라이버시를 보존하는 실내 장면 이해는 여전히 근본적인 미해결 문제입니다. RGB 및 LiDAR와 같은 광학 센서는 높은 공간적 충실도를 제공하지만, 심각한 가림에 취약하고 실내 환경에서 프라이버시 위험을 초래합니다. 대조적으로, 밀리미터파(mmWave) 레이더는 프라이버시를 보존하고 장애물을 투과하지만, 본질적으로 낮은 공간 해상도로 인해 신뢰할 수 있는 기하 추론이 어렵습니다. 우리는 단일 정적 레이더 기반 실내 장면 이해를 위한 최초의 벤치마크 및 시스템인 RISE를 제안하며, 레이아웃 재구성과 객체 검출을 공동으로 목표로 합니다. RISE는 다중 경로 반사—전통적으로 노이즈로 취급되던—가 풍부한 기하학적 단서를 인코딩한다는 핵심 통찰에 기반합니다. 이를 활용하기 위해, 우리는 도착각(Angle-of-Arrival)과 출발각(Angle-of-Departure)을 명시적으로 모델링하여 2차(ghost) 반사를 복원하고 보이지 않는 구조를 드러내는 Bi-Angular Multipath Enhancement를 제안합니다. 이러한 향상된 관측 위에, 시뮬레이션-현실 Hierarchical Diffusion 프레임워크가 단편적인 레이더 응답을 완전한 레이아웃 재구성 및 객체 검출로 변환합니다. 우리 벤치마크는 100개의 실제 실내 궤적에서 수집된 50,000프레임을 포함하며, 단일 정적 레이더 기반 실내 장면 이해에 전용된 최초의 대규모 데이터셋을 구성합니다. 광범위한 실험 결과 RISE는 mmWave 레이아웃 재구성에서 최신 기술(state of the art) 대비 Chamfer Distance를 60% 감소(16 cm까지)시켰으며, 최초의 mmWave 기반 객체 검출을 달성하여 58% IoU를 기록했습니다. 이러한 결과는 단일 정적 레이더를 사용한 기하 인식 및 프라이버시 보존 실내 장면 이해를 위한 RISE를 새로운 기반으로 확립합니다. 웹사이트와 코드는 https://rise-cvpr.github.io 에서 이용할 수 있습니다.
조감도(Bird's-eye view, BEV) 인식은 자율주행을 위해 다중 카메라 이미지를 통합된 하향식 표현으로 융합한다. 최근의 발전에도 불구하고, 최신 방법들은 폐쇄형 집합(closed-set) 시나리오에 국한되어 예측 불가한 실제 환경에 취약하다. 본 연구에서는 개방형 어휘 BEV 분할(open-vocabulary BEV segmentation, OVBS)을 제안한다. 이는 비전-언어 모델(VLM)을 활용하여 학습 집합 너머의 카테고리를 인식하면서 정밀한 BEV 인식과 실시간 효율성을 유지한다. OVBS의 핵심 과제는 2D VLM 의미론을 BEV로 리프팅(lifting)하는 비적정 문제에 내재된 3D 기하학적 불일관성이다. 이를 해결하기 위해, 우리는 기하학 인식 OVBS 프레임워크인 OVBEVSeg를 제안한다. 이 프레임워크는 세 가지 점진적 단계에 걸쳐 강건한 3D 기하학적 제약을 활용하여 효율적인 가우시안 스플래팅(Gaussian splatting, GS) 기반 역투영(unprojection)을 향상시킨다: (1) OV 일반화를 위한 신뢰성 있는 3D 투영을 통한 2D-to-BEV 의사 레이블링(pseudo-labeling); (2) 3D 기하학적 일관성을 위한 BEV 구조적 제약을 포함한 공동 2D-BEV 장면별 최적화; (3) 온라인 효율성을 위한 3D 기하학적 지식 증류. nuScenes 데이터셋에서 OVBEVSeg는 최신 성능을 달성하며, 미관측 카테고리에서 폐쇄형 집합 방법을 15.3 mIoU만큼 능가한다. 주목할 만한 점은, 새로운 클래스에 대한 정답 레이블이 전혀 없음에도 불구하고, 최대 40%의 정답 어노테이션으로 학습된 자기지도 및 반지도 기반 베이스라인과 경쟁력 있는 성능을 유지한다는 것이다. 또한 투영 기반 방법 대비 2.5배 빠른 추론 속도와 단 0.22배의 메모리 소비를 달성한다. 프로젝트 페이지: https://hchoi256.github.io/projects/ovbevseg/.
교차 체화(cross-embodiment) 내비게이션은 체화 지능(embodied intelligence)의 핵심 과제이다. 체화의 차이로 인해 동일한 시각 관측이 서로 다른 에이전트(agent)에게는 서로 다른 행동을 의미할 수 있으며, 시각에만 의존할 경우 예측이 모호해진다. 기존 연구는 주로 강화학습에 의존하며, 이는 대규모 상호작용과 세심한 보상 설계를 요구하여 확장 가능한 사전학습(pre-training)과 실세계 적응을 지원하기 어렵게 만든다. 반면 모방 학습(imitation learning) 기반 접근법은 여전히 제한적이다. 이러한 과제를 해결하기 위해, 우리는 모듈형 다단계 설계를 갖춘 모방 학습 기반의 체화 인식 내비게이션 프레임워크를 제안한다. 사전학습 단계에서, 우리는 인터넷 동영상으로부터 교차 체화 내비게이션 데이터셋을 구성하고, 동일한 관측 하에서 행동 모호성을 줄이기 위해 체화 기하학(embodiment geometry)을 조건부 토큰(token)으로 도입한다. 미세조정 단계에서, 우리는 분리형(decoupled) 아키텍처 기반의 멀티모달 정보 주입 메커니즘을 설계한다. 구체적으로, 고위험 샘플을 생성하는 궤적 증강(trajectory augmentation) 전략을 설계하고, 이를 공간 지각(spatial perception)과 위험 인식(risk-aware) 보정(correction) 학습에 각각 사용하여, 안전한 내비게이션을 위해 체화 기하학을 명시적으로 통합한다. 실험 결과, 제안 방법은 서로 다른 체화 설정에서 내비게이션 성능을 효과적으로 향상시키며, 체화 내비게이션에 체화 기하학을 통합하는 것의 효과를 보여준다.
실환경(in-the-wild)에서 4D 주행 장면을 재구성하는 것(예: 인터넷 및 AI 생성 비디오)은 다양한 자율주행 시뮬레이션에 필수적이다. 최근 가우시안 씬 그래프(GSG) 방법들은 인상적인 시각적 품질을 달성하지만, 정확한 카메라 포즈, LiDAR 깊이, 또는 수동 어노테이션과 같은 정밀한 사전 지식(priors)에 크게 의존한다. 실환경 비디오에서 추정된 노이즈가 있는 사전 지식으로 초기화하면, 기존 GSG 방법들은 최적화 모호성(예: 카메라와 에이전트 포즈의 얽힘)과 위상학적 실패(예: 객체 누락)로 인해 심각한 렌더링 아티팩트가 발생한다. 견고한 실환경 재구성을 가능하게 하기 위해, 자기 교정(self-correcting) 4D 프레임워크인 적응형 가우시안 그래프(AGG)를 제안한다. 의미론적 가이드 Tick-Tock 전략은 2D 파운데이션 특징을 활용하여 정적 배경 및 카메라 포즈 업데이트를 동적 에이전트 학습과 명시적으로 분리한다. 동시에, 적응형 위상 진화(Adaptive Topology Evolution) 모듈은 누락된 에이전트를 생성하고, 잘못 분류된 가우시안을 재할당하며, 거짓 양성을 가지치기하여 그래프 구조를 능동적으로 교정한다. 이 실환경 설정을 엄밀하게 평가하기 위해, 인터넷 및 생성형 비디오로 구성된 도전적인 벤치마크 Wild-30을 도입한다. KITTI와 Wild-30에 대한 광범위한 실험을 통해, AGG가 노이즈가 있는 사전 지식 하에서 시각적 충실도와 견고함 측면에서 최신(state-of-the-art) 방법들을 일관되게 능가함을 검증한다.
공간 추론은 멀티모달 대규모 언어 모델(MLLM)의 지속적인 과제로 남아 있습니다. 기존 접근 방식은 대규모의 정적으로 큐레이션된 데이터셋에 크게 의존하며, 여기서는 모델의 발전하는 능력과 무관하게 모든 학습 샘플이 동일하게 처리됩니다. 이러한 정적 패러다임은 본질적으로 데이터 비효율적입니다: 학습 용량은 종종 현재 단계의 모델에게 너무 쉽거나 지나치게 어려운 샘플에 소비됩니다. 이러한 한계를 해결하기 위해, 우리는 모델이 제안자와 해결자라는 이중적인 역할을 수행하는 자가 진화형 학습 프레임워크인 Ouroboros-Spatial을 제안합니다. 각 반복(iteration)에서 고정된 제안자는 3D 장면 메타데이터와 원본 비디오 프레임으로부터 공간 질문-답변(QA) 쌍을 생성하고, 신뢰할 수 있는 정답(ground truth)을 도출하기 위한 실행 가능한 코드를 함께 생성합니다. 그런 다음 학습 가능한 해결자는 수락된 샘플에 대해 파인튜닝(fine-tuning)되며, 샘플별 예측 신뢰도가 난이도 신호로 사용됩니다. 이 신호는 다음 반복(iteration)에서 제안자에게 피드백되어, 해결자의 현재 능력에 더 잘 부합하는 질문을 생성하도록 안내합니다. 이러한 폐루프(closed-loop) 설계를 통해 학습 분포는 모델 능력과 공진화하여, 학습 가치가 제한적인 모호하거나 정보가 부족한 샘플을 걸러내는 동시에 중복된 사소한 예제를 줄입니다. 6개의 공간 추론 벤치마크(benchmark)에서 Ouroboros-Spatial은 최근 대규모 큐레이션 데이터셋보다 훨씬 적은 수의 학습 예제를 사용하면서 Qwen3-VL-4B 및 Qwen3-VL-8B를 실질적으로 향상시켰습니다. VSI-Bench에서는 4B 및 8B 모델에 대해 각각 9.9점 및 6.8점의 절대적인 향상을 이끌어내어, 두 모델 모두 다양한 강력한 오픈 소스 및 독점 베이스라인을 능가하도록 했습니다.
신경 방사 필드(NeRF)는 발표 이후 3D 장면 표현 방식을 완전히 변화시켰습니다. NeRF는 2D 이미지로부터 복잡한 3D 장면을 효과적으로 재구성할 수 있어 장면 이해, 3D 콘텐츠 생성, 로보틱스와 같은 다양한 분야와 응용 기술을 발전시키고 있습니다. 상당한 연구 진전에도 불구하고, 최근의 혁신, 응용 및 해결 과제에 대한 종합적인 검토는 부족한 실정입니다. 본 서베이는 주요 이론적 발전과 대안적 장면 표현을 정리하고 새롭게 떠오르는 과제들을 조사합니다. 나아가 재구성 측면의 응용을 탐색하고, 컴퓨터 비전(CV)과 로보틱스에 미친 NeRF의 영향을 조명하며, 필수 데이터셋과 툴킷을 살펴봅니다. 기존 문헌의 공백을 식별함으로써, 본 서베이는 미해결 과제를 논의하고 향후 연구를 위한 방향을 제시합니다.
원격 탐사 다중 모달 대규모 언어 모델(RS-MLLM)은 일반적인 항공 영상 이해를 향상시켰다. 그러나 지구 관측 응용은 미세한 시나리오 특화를 요구하며, 고품질 시나리오 데이터의 부족과 불완전한 역량 커버리지에 제약을 받는다. 우리는 이러한 적응을 역량 격차 주도 사후 학습 문제로 공식화하고 채우기 후 진전(FBA)을 제안한다. 목표 도메인 샘플에 대한 단일 단계 지도 미세조정(SFT)에 의존하는 대신, FBA는 시나리오 특화를 향해 진전하기 전에 선행 역량 격차를 먼저 메운다. 우리는 대표적인 다중 소스 시나리오인 해안 항만 이해를 위해 CPRS(Coastal-Port Remote Sensing)를 구성하여 FBA를 구현한다. CPRS는 세 층의 지도 데이터셋으로, 다음 세 단계의 순차적 파이프라인과 결합된다: (1) 조감도 시각-언어 정렬을 위한 RS 의미 앵커링; (2) 서로 다른 모달리티 하에서 목표 및 브리징 시나리오 간 공유 RS 사전 지식(prior)의 도메인 브리지 수렴; (3) 하류 성능을 위한 근거 기반 시나리오 튜닝. 우리는 지각, 공간 이해, 견고성, 생성을 포괄하는 8개 트랙 진단 벤치마크 HarborEval을 구축한다. 동등한 학습 예산 하에서 HarborEval 점수는 LLaVA-v1.5에서 Direct-SFT의 57.95에서 FBA의 70.29로, Qwen3-VL에서는 81.09에서 83.37로 향상된다. FBA는 Collapsed-SFT도 능가하며, 항만 관련 VRSBench/RSVQA 부분집합과 OpenEval에서도 선두를 달린다. 단계별 및 역할 대체 분석은 점진적 격차 메우기와 단계별 역할을 검증한다. CPRS, HarborEval, 코드, 학습된 가중치에 대한 공개 예시 및 릴리스 업데이트는 https://github.com/Z0ngL1ng/filling-before-advancing 에서 확인할 수 있다.
이미지 기반 실내 장면 재조명은 복잡한 기하 구조와 국부 조명 간의 복잡한 상호작용 때문에 광원 위치, 색상, 강도를 정밀하게 모델링해야 하므로 여전히 어려운 과제로 남아 있다. 기존 데이터 기반 방법은 페어드 다중 조명 데이터셋을 통해 이 관계를 암묵적으로 학습한다. 그러나 이러한 데이터는 비용이 높고 확장하기 어려워, 정확한 광원 수준 제어에 필수적인 요소가 되지 못한다. 반면 역렌더링(inverse rendering) 방법은 물리적 사전 지식을 통합해 데이터 의존성을 줄이지만, 까다로운 조건에서 본질(intrinsic) 추정의 견고성이 부족하다. 본 논문에서는 광원 위치, 색상, 강도를 명시적으로 조작하는 제어 가능한 실내 재조명을 위한 페어 없는(paired-free) 프레임워크인 FreeLit을 제시한다. 페어 감독(supervision)에 의존하는 대신, 본질 장면 속성으로부터 물리 유도 조명 사전 지식을 구성하고, 구조화된 라이트맵(lightmap)과 의사 재조명(pseudo-relit) 이미지를 함께 생성하여 확산 기반 합성을 유도한다. 특히 저조도 장면에서 본질 추정의 불안정성을 해결하기 위해, 구조 인식 지식 증류(distillation)와 일관성 제약을 통해 조명 불변 반사율(reflectance)을 강제하는 재조명 유도 본질 안정화 전략을 도입한다. 또한 사용자가 지정한 조명 색상 및 강도와의 정렬(alignment)을 정량화하는 제어 지향 평가 지표를 제안한다. 실험 결과, FreeLit은 페어 감독 없이도 안정적이고 물리적으로 일관되며 제어 가능한 재조명을 달성하며, 저조도 실내 장면에서 견고성이 향상됨을 보여준다.
멀티모달 대규모 언어 모델(MLLM)이 놀라운 진전을 이뤘지만, 2D 이미지로부터 3D 공간 관계를 이해하는 것은 여전히 중요한 과제로 남아 있다. 기존 방법은 주로 기호적 텍스트 토큰(symbolic text tokens)에 의존하는데, 이는 연속적인 기하 정보를 표현할 충실도를 본질적으로 갖추지 못한다. 최근 방법들은 추론을 강화하기 위해 잠재 표현(latent representations)을 사용하지만, 단일 잠재 유형에만 의존하면 다양한 공간 과제에 적응하지 못해 복잡한 기하 시나리오에서 정렬 불일치가 발생한다. 이러한 한계를 해결하기 위해, 저희는 교차형 텍스트-잠재 추론 프레임워크인 GeoAnchor를 제안한다. GeoAnchor는 3D 공간 정보를 세 가지 상보적 구성 요소로 분해한다: 객체 그라운딩(grounding)을 위한 위치 잠재(position latents), 관계적 방향(relative orientation)을 위한 방향 잠재(direction latents), 장면 구조를 위한 기하 잠재(geometry latents). 이 구성 요소들은 구조화된 공간에서 재결합되어 전역 맥락을 포착하면서 국소 증거를 구성하며, 동적이고 해석 가능한 추론을 가능하게 한다. 또한, 모델을 국소 공간 지각에서 포괄적인 3D 이해로 이끄는 협력적 학습(training) 전략을 도입한다. 다양하고 복잡한 3D 추론 과제에 대한 광범위한 실험을 통해 GeoAnchor가 최신(state of the art) 성능을 능가하며, 그 효과와 일반화 능력을 입증함을 보여준다.
카메라 전용 4D 점유 예측은 자율주행 차량이 과거 다중 뷰(multi-view) 이미지만으로 미래 3D 의미론적 장면을 예측할 수 있게 하며, 이는 주행 안전에 매우 중요하다. 현재 방법들이 좋은 성능을 달성했음에도, 입력 다중 뷰 프레임 간의 강력한 시공간 모델링은 여전히 충분히 탐구되지 않았으며, 이는 미래 4D 예측에서 해당 방법들의 성능을 제한한다. 이 공백을 해소하기 위해, 우리는 3D 복셀 기반 표현과 다중 뷰 분할 시퀀스 모두에서 시간적 역학을 공동으로 모델링하고, 2D와 3D 분기 간 특징 상호작용을 명시적으로 통합하는 4D 점유 예측을 위한 새로운 프레임워크인 InterOCF를 제안한다. 우리 프레임워크는 세 가지 핵심 구성 요소를 포함한다: 1) 과거 복셀 상태로부터 체적 역학을 학습하여 미래 복셀 상태를 예측하는 3D 시공간(3DST) 모듈; 2) 시간적 의미론적 역학을 강화하기 위해 보조 다중 뷰 시간적 분할 예측 작업을 활용하는 2D 시공간(2DST) 모듈; 3) 2D와 3D 표현 간 특징 상호작용을 가능하게 하는 시공간 상호작용 모델링(STIM) 모듈. nuScenes, Lyft-Level5, nuScenes-Occupancy 데이터셋에서의 실험 결과, InterOCF가 기존 기준선 접근법들을 일관되게 능가함을 보여준다.
다중모달 대규모 언어 모델(MLLM)은 그라운딩(grounding) 과제에서 큰 진전을 이루었지만, 기존 방법들은 여전히 정밀한 위치 지정(localization)과 복잡한 추론을 통합하는 데 어려움을 겪고 있다. 한편, 텍스트 기반 방법은 좌표 또는 인덱스 예측에 의존하여 밀집된 시각 객체에 대한 모델의 인식(perception) 능력을 크게 제한한다. 한편, 잠재 토큰 기반 방법은 고유한 공간적 참조가 없는 특수 토큰을 사용하고 사고 단계가 부족한 디코딩 메커니즘을 사용하여 고수준 추론 능력을 약화시킨다. 결과적으로, 인식과 추론 모두에서 뛰어난 통합 프레임워크를 개발하는 것은 여전히 어려운 과제로 남아 있다.
이를 해결하기 위해, 우리는 인식-추론 격차를 메우는 새로운 자유 형식 다중모달 그라운딩 방법인 Mixture-of-Thought-Tokens(Motto)를 제안한다. 이를 통해 MLLM이 다양하고 임의의 그라운딩 쿼리를 처리할 수 있게 한다. 구체적으로, 명확한 공간적 대응과 시각적 해석 가능성을 위해 특수 토큰을 공간 위치와 명시적으로 정렬하는 Spatially-Grounded Thought Tokenization을 도입한다. 또한 교차 배치된 추론 사슬 내에서 그라운딩 모드를 동적으로 전환하는 Context-Adaptive Chain-of-Tokens를 설계하여, 다양한 복잡도의 과제에서 강건한 그라운딩을 달성한다. 또한 인식-추론 격차를 평가하기 위한 새로운 지시 표현 이해(referring expression comprehension) 벤치마크인 PR-Bench를 구축한다. 광범위한 실험을 통해 Motto가 다양한 자유 형식 그라운딩 과제에서 최신(state-of-the-art) 성능을 달성함을 보여준다.
자율주행에서 교통 규정을 이해하고 준수하는 것은 안전에 매우 중요한 요구사항이지만, 교통 표지의 다양성과 문맥 의존성 때문에 여전히 어려운 과제로 남아 있다. 중요한 점은 규정 이해가 단순한 인식 과제가 아니라 추론 문제라는 것이다. 어떤 규칙이 적용되는지는 표지를 차선의 공간적 배치 및 장면 문맥과의 관계 속에서 해석하는 것에 달려 있다.
이러한 추론을 지원하기 위해 MapDR은 각 교통 표지의 규제 규칙을 해당 규칙이 적용되는 특정 차선과 연결하는 세밀한 주석을 제공한다. 그러나 기존 방법들은 대부분 이를 직접적인 시퀀스 예측으로 취급하여, 표지 의미와 지도 구조를 연결하는 근본적인 추론을 무시한다.
이러한 한계를 해결하기 위해, 우리는 이 과제에 추론을 명시적으로 통합하고 비전-언어(VLM) 모델에 사고의 연쇄(CoT) 능력을 부여하는 프레임워크를 제안한다. 먼저 2라운드 전략을 통해 강력한 대규모 언어 모델(LLM)로부터 근거(rationale)를 부트스트랩하고, VLM 기반 검증기를 사용해 잘못된 사례를 걸러내는 확장 가능한 CoT 큐레이션 파이프라인을 설계하여 고품질 (CoT, answer) 쌍을 확보한다.
이 기반 위에서 2단계 학습 방식을 채택한다: 근거에서 답변으로의 생성을 가르치는 지도 미세조정(SFT)에 이어, 답변 기반의 세밀한 보상을 사용하는 GRPO 강화학습으로 최종 답변 정확도를 더욱 향상시킨다.
MapDR에 대한 광범위한 실험은 우리 접근법이 해석 가능성과 정확도를 모두 크게 개선함을 보여주며, 규정 인식(regulation-aware) 자율주행을 위한 최초의 추론 기반 프레임워크를 확립한다.
3D 포인트 클라우드에서 고곡률 영역은 중요한 세밀한 기하학적 의미를 담고 있지만, 공간 분포에서 뚜렷한 롱테일 희소성을 보인다. 유클리드 공간에서 다항식 부피 증가의 본질적 한계로 인해, 이러한 복잡한 기하학적 특징을 균일한 스케일의 특징 공간 내에서 충분히 해석하기 어렵게 되는 경우가 많다. 결과적으로 이러한 영역은 저곡률 영역이 지배하는 매끄러운 전역 특징에 자주 가려져 네트워크의 판별력을 제한한다. 이 문제를 해결하기 위해 포인트 클라우드 분석을 위한 곡률 인식 쌍곡 정류(curvature-aware hyperbolic rectification, CHR)인 PointCHR을 제안한다. CHR은 쌍곡 다양체(hyperbolic manifold) 근처에서 지수적 부피 확장이라는 성질을 활용하여, 학습 가능한 곡률 유도 방사형 정류 메커니즘을 제시한다. PointCHR은 고곡률 포인트를 더 큰 유효 임베딩 용량을 갖춘 경계 영역으로 적응적으로 투영함으로써, 유클리드 설정에 내재된 표현 혼잡(representation crowding) 문제를 효과적으로 완화한다. 광범위한 실험을 통해 PointCHR이 백본(backbone)이 세밀한 기하학적 세부 정보를 포착하는 능력을 크게 향상시키며, 여러 벤치마크에서 최첨단(state-of-the-art) 성능을 달성함을 보였다.
스테레오 매칭과 표면 법선 추정은 3D 비전에서 기본적인 과제이다. 그러나 기존 피드포워드(feed-forward) 스테레오 방법은 강력한 기하 사전(prior)의 부족으로 인해 어려운 영역에서 신뢰할 수 있는 예측을 생성하는 데 여전히 어려움을 겪는다. 본 논문에서는 강력한 diffusion 사전을 활용하여 시차와 표면 법선을 공동으로 예측하는 통합 스테레오 기하 추정 프레임워크인 GeoStereo를 제안한다. 구체적으로, GeoStereo는 피드포워드 스테레오 매칭 파이프라인과 diffusion 기반 법선 추정 분기(branch)를 결합한다. 두 과제 간 효과적인 상호작용을 가능하게 하기 위해, 시차에서 법선으로의 초기화 전략을 도입하고 diffusion 과정을 위한 왼쪽 뷰(left-view) 조건으로의 warp를 구성한다. 이 결합 설계는 diffusion 분기가 ill-posed 영역에서 시차 추정을 향상시키는 강력한 구조적 사전을 제공하는 동시에, 피드포워드 분기가 정확한 법선 예측을 위한 신뢰할 수 있는 기하적 안내를 제공하도록 한다. 광범위한 실험 결과, GeoStereo는 저조도 환경, 고반사 표면, 투명 물체 등 어려운 시나리오에서도 안정적으로 동작함을 보여준다. 제로샷(zero-shot) 설정에서 KITTI, NYUv2 등 여러 벤치마크에서 시차 추정 Rank-1을 달성하며, iBims-1, ScanNet 등 다수의 실내 벤치마크에서 최고의 법선 추정 정확도를 제공한다. Project page: https://qz-wei.github.io/GeoStereo.github.io/
차량-만물(V2X) 통신을 통한 협력 인식은 가림(occlusion) 및 제한된 센서 범위와 같은 개별 자율주행 차량의 고유한 물리적 한계를 극복할 수 있다. 그러나 견고한 V2X 알고리즘, 특히 조감도(bird's-eye view, BEV) 표현과 같은 통합 공간 표현에 의존하는 알고리즘의 개발은 대규모, 다중 모달, 다중 과제 데이터셋의 부재로 인해 저해되고 있다. 또한 동기화된 실세계 다중 에이전트 데이터를 대규모로 수집하고 주석하는 것은 비용이 지나치게 높다. 이로 인해 기존 V2X 데이터셋은 규모와 범위 모두에서 현저히 제한적인 상황이 발생했다. 이를 극복하기 위해 CARLA 시뮬레이터 기반의 고급 합성 데이터 생성 도구인 SimBEV2X를 제안한다. SimBEV2X는 무작위 운전 시나리오를 자동으로 생성하여, 차량과 RSU(roadside unit) 모두로부터 고유 추적 ID가 부여된 3D 바운딩 박스, HD 맵 정보, BEV 분할(segmentation) 맵, 의미론적 점유(occupancy) 복셀 그리드 등 다양한 유형의 ground truth와 함께 다중 모달 센서 데이터를 수집한다. 또한 현재까지 최대 규모의 V2X 인식 데이터셋인 SimBEV2X 데이터셋을 공개한다. 이 데이터셋은 다양한 도로 네트워크에 걸쳐 최대 8대의 연결된 차량과 최대 4개의 RSU가 포함된 258개의 장면으로 구성된다. SimBEV2X 데이터셋은 기존 V2X 데이터셋보다 한 자릿수 더 크며, 102,200개의 프레임, 588,520개의 LiDAR 포인트 클라우드, 300만 개 이상의 이미지, 2,700만 개 이상의 바운딩 박스, 그리고 포괄적인 기타 주석을 포함한다. 마지막으로 CoopDet3D를 사용하여 SimBEV2X 데이터셋에 대한 강력한 기준선을 수립하고, 문맥 인식 다중 에이전트 특징 집계를 위해 CoopDet3D와 융합 축 어텐션(fused axial attention, FAX)을 결합한 새로운 아키텍처인 CoBEVFusion을 제안하여 우수한 성능을 달성한다. SimBEV2X, SimBEV2X 데이터셋, CoBEVFusion은 https://simbev2x.org 및 https://github.com/GoodarzMehr/SimBEV2X에서 이용할 수 있다.
강건한 객체 6D 포즈 추적은 동적이고 가려진 장면에서 동작하는 로봇 시스템에 매우 중요하다. 프레임별 추정기는 정확하지만 계산 비용이 크며, 현재의 추적기는 연속적인 가시성에 의존하기 때문에 빠른 움직임과 완전한 가림에서 어려움을 겪는다. 이러한 과제를 해결하기 위해, 우리는 빠른 움직임과 대상의 사라짐--재출현을 통과하는 강건한 추적을 가능하게 하는 효율적이고 복구 가능한 객체 6D 포즈 추적기 RRTrack을 제안한다. RRTrack은 메모리 기반 비디오 객체 분할(VOS)과 6D 포즈 정제(refinement)를 통합하는 2D--6D 폐루프(closed-loop) 추적 전략을 도입한다. 2D 분기는 대상 위치 추정(localization)을 유지하고, 6D 분기는 메모리 업데이트 전에 기하학적 일관성을 검증한다. 또한 DINOv2 기반 이중 뱅크(dual-bank) 템플릿 매칭 모듈을 개발하여, 오프라인 합성 템플릿과 온라인 관측 앵커(anchor)를 공동으로 활용함으로써 실시간 효율성을 유지하면서 유실된 대상을 복구한다. 우리는 또한 빠른 움직임과 완전한 가림을 포함하는 세 가지 로봇 시나리오로 구성된 합성 RGB-D 벤치마크를 제안한다. 합성 벤치마크에 대한 실험 결과, RRTrack은 FoundationPose 대비 equal-subset mean ADD-S AR을 66.3% 향상시키고 ADD-S AUC를 65.7% 향상시키면서 55.2 FPS를 달성함을 보여준다. 실세계 실험은 또한 노이즈가 있는 센싱 조건에서 RRTrack의 강건성을 추가로 검증한다. 프로젝트 페이지: https://github.com/7kevin24/RRTrack
본 연구는 상반신 인터랙티브 생성을 위한 실시간 인간 중심 월드 모델을 제안한다. 이 모델은 사람을 중심으로 한 일관된 국소 세계 동역학을 합성하는 것을 목표로 하며, 조율된 신체·손·얼굴 움직임이 제어 가능한 인간-객체 이산 상호작용과 함께 공동적으로 진화한다. 이를 위해 연속적 인간 상태와 이산 상호작용 상태라는 두 보완적 구성 요소를 갖춘 연속-이산 공동 제어 방식을 채택한다. 연속적 인간 상태 제어를 위해 다중 스케일 모션 인코딩에 기반한 통합 암시적 표현을 도입한다. 상반신, 손, 얼굴의 모션 잠재 변수를 공유 잠재 공간에 융합하며, 이 다중 스케일 설계는 서로 다른 공간 스케일 전반의 표현력을 향상시키고, 세밀한 인간 동역학을 더 효과적으로 포착하며, 명시적 리타게팅(retargeting) 없이 직접 제어를 가능하게 한다. 이산 객체 상호작용 상태 제어를 위해 객체 접촉을 소수의 언어 인코딩 이산 상호작용 상태로 표현한다. 여기서 텍스트는 개방형 생성 프롬프트가 아니라 \emph{no contact} 또는 \emph{grasp}와 같은 명시적 상호작용 상태 명령으로 작용한다. 또한 이러한 이산 상호작용 상태를 감독하기 위해 인간-객체 상호작용 데이터용 전용 렌더링 파이프라인을 구축한다. 연속적 암시적 인간 상태 제어와 이산 상호작용 상태 제어를 결합함으로써, 모델은 인근 장면 상태의 제어 가능한 변화를 포함하여 사람이 국소 환경에서 어떻게 움직이고 상호작용하는지를 정밀하게 모델링할 수 있다. 마지막으로 효율적인 스트리밍 실시간 추론을 위해 모델을 증류(distillation)하여 두 대의 H100 GPU에서 25 FPS를 달성한다. 실험 결과, 세밀한 모션 충실도 향상, 더 현실적인 손-객체 조율, 효과적인 실시간 상호작용을 보여 주며, 모션 재현을 넘어 실시간 인간 중심 월드 모델링을 향한 실용적 진전을 이룬다.
종단간 자율 주행 시스템은 일반적으로 인지(perception) 단계가 다중 모달 센서 입력을 압축된 컨텍스트로 변환하고, 하류 플래너(planner)가 이 컨텍스트를 조건으로 궤적(trajectory)을 예측하는 2단계 캐스케이드 파이프라인을 따른다. 우리는 이러한 단방향 인지-계획 인터페이스가 센서 입력을 압축된 표현으로 강제하여, 계획에 중요한 세밀한 세부 정보를 잃게 한다고 주장한다. 또한 플래너를 이 압축된 컨텍스트로 제한함으로써, 최신 비전 기반 모델(vision foundation models)이 제공하는 풍부한 표현을 활용하기 어렵다. 이러한 문제를 해결하기 위해, 우리는 모달리티 결합 학습(modal joint learning)을 기반으로 한 종단간 자율 주행을 위한 통합 센서-액션(sensor-to-action) 프레임워크인 MOJITO를 제안한다. MOJITO는 캐스케이드 인터페이스를 제거하고, 대신 블록 단위(block-wise) Modal Joint Attention을 수행하여 액션(action), 이미지, LiDAR 특징(feature)을 동시에 갱신하고, 플래너가 액션 생성(action generation) 중 다중 모달 특징에 직접 접근할 수 있게 한다. MOJITO는 NAVSIM v1 데이터셋에서 88.9 PDMS, 더 도전적인 NAVSIM v2 데이터셋에서 88.4 EPDMS를 달성하여 새로운 최고 성능(state-of-the-art)을 기록했다. 광범위한 실험은 또한 강력한 확장성(scalability), 지시 따르기(instruction following), 다양한 궤적 생성을 입증한다. 코드와 모델은 https://github.com/mumucc01/MOJITO 에서 이용 가능하다.
연속 환경에서의 비전-언어 내비게이션(VLN-CE)은 에이전트가 궤적 일관성을 위해 장기 시각 이력을 유지하면서 낮은 지연으로 동작을 실행해야 한다. 기존 비디오 기반 VLN 접근법은 일반적으로 두 요구를 동시에 충족하는 데 어려움을 겪는다. 이러한 과제를 해결하기 위해, 우리는 실시간 추론 효율(14 FPS)로 최신(state-of-the-art) 성능을 달성하는 새로운 VLN 프레임워크인 MemVLN을 제안한다. MemVLN은 연속 관측을 처리하는 시각 인코더와 지시를 해석하고 동작을 생성하는 대규모 언어 모델(LLM)을 활용한다. 우리 접근법의 핵심은 피라미드 해상도를 적용하는 에피소드 메모리 관리이다. 이 메커니즘은 압축된 장기 이력을 유지하면서 즉각적 지각에 계산을 집중한다. 이 설계를 보완하여, 우리는 자기회귀(auto-regressive) 디코딩 지연을 우회하기 위해 원자적 중간 수준 동작의 간결한 어휘로 빠른 동작을 위한 절차적 메모리를 도입한다. VLN-CE에서의 실험은 MemVLN-4B가 R2R에서 5.8% SR, RxR에서 9.7% SR만큼 기준선 Qwen3-VL-4B 아키텍처를 능가하며, 추론 지연에서 7배 속도 향상을 달성함을 보여준다.