운전자의 시각 주의(attention)는 잠재적 위험을 예측하기 위한 중요한 단서를 제공하며, 의사결정 및 제어 조작을 직접적으로 결정짓습니다. 이것이 부재할 경우 교통 안전이 저해될 수 있습니다. 지능형 차량을 위한 운전자의 지각 패턴을 모방하고 시각 주의 예측을 고도화하기 위해, 본 연구에서는 DiffAttn이라는 확산 기반 프레임워크를 제안합니다. DiffAttn은 이 작업을 조건부 확산-노이즈 제거(denoising) 과정으로 공식화하여 운전자의 주의를 더 정확하게 모델링할 수 있게 합니다. 국소 및 전역 장면 특징(feature)을 모두 포착하기 위해 Swin Transformer를 인코더로 채택하고, 층 간 상호작용을 위한 특징 융합 피라미드(Feature Fusion Pyramid)와 밀집된 다중 스케일 조건부 확산을 결합하는 디코더를 설계했습니다. 이를 통해 노이즈 제거 학습과 세밀한 국소 및 전역 장면 맥락 모델링을 공동으로 향상시킵니다. 또한, 대규모 언어 모델(LLM) 층(layer)을 통합하여 하향식 의미적 추론을 강화하고, 안전에 중요한 단서에 대한 민감도를 개선했습니다. 4개의 공개 데이터셋(dataset)에 대한 광범위한 실험을 통해 DiffAttn이 최첨단(SoTA) 성능을 달성함을 입증했으며, 이는 대부분의 비디오 기반, 하향식 특징 기반, 그리고 LLM 강화 기준 모델(baseline)을 능가하는 결과입니다. 본 프레임워크는 해석 가능한 운전자 중심의 장면 이해를 추가로 지원하며, 지능형 차량 내 차량 내 인간-기계 상호작용, 위험 지각, 그리고 운전자 상태 측정을 개선할 잠재력을 가지고 있습니다.
비전-언어 모델(VLM) 시대에 멀티모달 추론 능력을 고도화하는 것은 중요한 과제로 남아 있습니다. 특히 모호하거나 복잡한 시각적 입력을 처리할 때 초기 추론이 종종 환각이나 논리적 오류로 이어지기 때문입니다. 기존 VLM은 종종 그럴듯하지만 근거가 없는(ungrounded) 답변을 생성하며, "성찰(reflect)"하도록 프롬프트를 제시하더라도 수정 사항이 이미지 증거와 분리된 상태로 남을 수 있습니다. 이를 해결하기 위해 우리는 시각적 영역에 대한 성찰(Reflection On visual Regions)을 통한 멀티모달 반복적 추론을 위한 MIRROR 프레임워크를 제안합니다. 시각적 성찰을 핵심 메커니즘으로 통합함으로써, MIRROR는 초안(draft), 비평(critique), 영역 기반 검증, 수정(revision)으로 구성된 폐루프 프로세스로 공식화되며, 출력이 시각적으로 그라운딩될 때까지 이 과정이 반복됩니다. 이 모델의 학습을 지원하기 위해 우리는 **ReflectV**를 구축했습니다. 이는 명시적으로 성찰 트리거, 영역 기반 검증 행동, 시각적 증거에 기반한 답변 수정을 포함하는 멀티턴 지도(multi-turn supervision)를 위한 시각적 성찰 데이터셋입니다. 일반적인 비전-언어 벤치마크와 대표적인 비전-언어 추론 벤치마크 모두에서 수행된 실험 결과, MIRROR는 정확성을 향상시키고 시각적 환각을 줄이는 것으로 나타났습니다. 이는 성찰을 단순한 텍스트 기반 수정 단계가 아닌 증거를 추구하고 영역을 인식하는 검증 과정으로 학습하는 가치를 입증합니다.
비전-언어 모델(VLMs)은 다양한 멀티모달 벤치마크에서 강력한 성능을 달성하지만, 추상적인 상부(overhead) 표현을 자기 중심적 시점(egocentric view)과 정렬해야 하는 공간 추론 작업에서는 여전히 취약성을 보입니다. 본 연구에서는 동일한 실제 교차로에서 촬영된 스트리트 뷰 이미지와 북쪽이 위를 향하는 상부 지도를 정렬하여 카메라 시점 방향을 추론하도록 요구하는, 지도-스트리트 뷰 공간 추론을 위한 확장 가능한 벤치마크인 m2sv를 소개합니다. 또한 통제된 모호성을 포함하는 지리적으로 다양한 벤치마크인 m2sv-20k와 지도 미세조정(supervised fine-tuning)을 위한 구조화된 추론 트레이스(reasoning traces)로 구성된 엄선된 데이터셋인 m2sv-sft-11k를 공개합니다. 기존 멀티모달 벤치마크에서 강력한 성능을 보임에도 불구하고, 평가된 VLM 중 최상위 모델은 m2sv에서 단 65.2%의 정확도만을 기록했습니다. 이는 평균 72.0%(전문가의 경우 95%)에 달하며 높은 주석자 간 일치도($\kappa$ 최대 0.76)를 보인 인간 주석자의 성과보다 낮은 수준입니다. 지도 미세조정과 강화학습(reinforcement learning)이 일관된 성능 향상을 이끌어내지만, 교차 벤치마크 평가(cross-benchmark evaluations)를 통해 전이(transfer)가 제한적임이 밝혀졌습니다. 전체 정확도를 넘어, 구조적 신호와 인간의 노력을 활용하여 지도-스트리트 뷰 추론의 난이도를 체계적으로 분석하였으며, 적용된 오픈 모델들에 대한 광범위한 실패 분석을 수행했습니다. 연구 결과는 기하학적 정렬, 증거 집계, 추론 일관성 측면에서 여전히 존재하는 격차를 강조하며, 시점 간의 그라운딩된(grounded) 공간 추론에 대한 향후 연구의 필요성을 시사합니다.
생성 모델은 강력한 이미지 생성 사전(priors)을 활용하여 새로운 시점 합성(NVS)에서 큰 가능성을 보여주었습니다. 그러나 기존 접근 방식은 일반적으로 2D 인페인팅(inpainting) 패러다임을 따르며, 먼저 누락된 이미지 영역을 완성한 후 3D 재구성을 수행합니다. 이 전략은 2D 인페인팅 모델이 시점 간 일관성 있는 생성에 필요한 기저 3D 구조를 신뢰할 수 있게 추론할 수 없기 때문에, 종종 기하학적 왜곡과 외관 드리프트(drift)를 유발합니다. 본 논문에서는 생성적 NVS를 밀집 3D 장면 완성으로 재정의하는 기하학 인식 프레임워크인 SceneCompleter를 제안합니다. SceneCompleter는 고립된 2D 뷰를 환각(hallucinating)하는 대신, 공간적으로 정렬된 RGBD 잠재 공간에서 기하학-외관 이중 스트림 확산 모델(diffusion model)을 통해 기하학과 외관을 공동으로 완성합니다. 전체적인 장면 맥락을 제공하기 위해, 참조 이미지의 전역 의미 및 스타일 정보를 바탕으로 생성을 조건화하는 Scene Embedder를 추가로 도입합니다. 완성된 RGBD 예측은 정렬되어 확장 가능한 3D 장면 표현으로 통합되어, 반복적이고 일관된 장면 완성을 가능하게 합니다. 동일 분포(in-domain) 및 이질 분포(out-of-distribution) 데이터셋에 대한 광범위한 실험을 통해, SceneCompleter가 다양한 시나리오에서 시각적으로 타당하고 기하학적으로 일관된 새로운 시점을 생성함을 입증합니다. 프로젝트 페이지: https://chen-wl20.github.io/SceneCompleter
제로샷 객체 목표 내비게이션(ZS-OGN)은 구현형 에이전트(embodied agent)가 사전 학습 없이 탐험하여 대상 객체를 찾아내도록 요구합니다. 이를 위해 최근 방법들은 파운데이션 모델을 활용합니다. 하지만 이들은 일반적으로 정적 사전 지식(priors)에 의존하고 적응성이 부족하여, 반복되는 오류와 비용이 많이 드는 시행착오로 이어집니다. 본 논문에서는 테스트 타임(test-time) 지속적 개선을 가능하게 하는 자가 진화 ZS-OGN 프레임워크를 제안합니다. 구체적으로, 과거 궤적(trajectories)에서 실행 가능한 지식을 추출하여 에이전트 규칙 메모리를 구축합니다. 그 후, 상위 신뢰 구간(UCB)에 기반한 검색 전략을 제안하여, 의미적 관련성과 과거 성공 기록을 균형 있게 고려하여 효과적인 규칙을 선택합니다. 또한, 행동 전에 잠재적 결과를 예측하여 비효율적인 탐험을 줄이는 메모리 기반 사전 반성(preflection) 모듈을 도입합니다. 광범위한 실험 결과, 우리의 방법은 기존 제로샷 기준 모델(baselines)보다 우수한 성능을 보이며, 불필요한 단계(steps)를 줄이면서 성공률을 10.1% 향상시킴을 확인했습니다.
비전 내비게이션 파운데이션 모델(VNMs)은 다양한 형태와 환경에 걸쳐 제로샷 배포가 가능한 엔드-투-엔드 학습된 내비게이션 정책을 제공할 것을 약속합니다. 일반성을 유지하기 위해 많은 비전 기반 내비게이션 모델은 정규화된 행동을 예측합니다. 그러나 이러한 정규화는 치명적인 배포 취약점을 야기하는데, 동일한 정규화된 궤적에 서로 다른 스케일링 인자를 적용하면 물리적 기하학적 구조가 변경되어 내비게이션 성능이 저하되고 충돌 위험이 증가합니다. 우리는 모델을 이미지 관찰과 함께 정규화된 행동 이력에 대해 조건화하여 이 취약점을 해결합니다. 이는 모델의 예측과 로봇의 실제 물리적 변위 사이의 관계에 대한 명시적인 컨텍스트를 제공합니다. 또한, 현재의 VNMs는 뚜렷한 특징이 부족한 시각적으로 반복적인 환경에서 종종 어려움을 겪습니다. 이 문제를 해결하기 위해 DINOv3 인코더를 통합했으며, 이의 더 풍부한 표현(representations)을 통해 우리 모델이 관찰 사이의 공간적 및 기하학적 차원을 모두 포착하도록 합니다. VISTA는 분포 외(OOD) 환경에 강건하게 일반화되며, 야외, 숲 및 사무실 환경에서의 제로샷 실제 배포 시 100%의 목표 예측 정확도를 달성하고 평균 95%의 체크포인트를 통과하여, 보이지 않는 환경에서 일관된 경로 추종(path following)을 입증합니다.
공간 추론(spatial reasoning) — 객체의 위치, 관계, 3D 상에서의 움직임을 파악하는 능력 — 은 비전-언어 모델(VLM)에게 근본적인 도전 과제로 남아 있다. 도구 증강(tool-augmented) 에이전트는 VLM에 전문 인식 모듈을 결합하여 이를 해결하고자 하지만, 그 효과는 도구를 호출하는 액션 인터페이스의 설계에 의해 제한된다. 본 연구에서는 이 인터페이스의 설계가 개방형 공간 추론에 대한 에이전트의 역량을 어떻게 형성하는지 살펴본다. 기존의 공간 에이전트는 중간 결과를 관찰하기 전에 전체 분석 전략을 확정짓는 단일 패스 코드 실행(single-pass code execution) 방식을 사용하거나, 연산을 자유롭게 조합하거나 태스크별로 분석을 조정하는 유연성이 부족한 구조화된 도구 호출(tool-call) 인터페이스에 의존한다. 두 설계 모두 개방형의 복잡한 3D/4D 공간 추론에 대한 유연성이 제한적이다. 이에 우리는 코드를 액션 인터페이스로 채택한 학습 불필요(training-free) 공간 추론 프레임워크인 SpatialClaw를 제안한다. SpatialClaw는 입력 프레임과 인식 및 기하 프리미티브 도구 모음이 사전 로드된 상태 유지(stateful) Python 커널을 유지하며, VLM 기반 에이전트가 이전 모든 출력을 조건으로 단계별로 하나의 실행 가능한 셀을 작성하도록 함으로써, 에이전트가 인식 결과를 유연하게 조합·조작하고 중간 텍스트 및 시각적 관찰과 각 문제의 요구에 맞게 분석을 적응할 수 있게 한다. 정적 및 동적 3D/4D 공간 추론 태스크를 폭넓게 다루는 20개의 공간 추론 벤치마크에서 평가한 결과, SpatialClaw는 평균 59.9%의 정확도를 달성하여 최근의 공간 에이전트보다 +11.2포인트 높은 성능을 보였으며, 벤치마크나 모델별 적응 없이 두 모델 패밀리의 6가지 VLM 백본 전반에서 일관된 성능 향상을 달성하였다.
본 논문은 에이전트 3D 공간 이해, 즉 툴 사용(tool use)을 통해 3D 추론을 수행하는 멀티모달 대규모 언어 모델(MLLM) 에이전트를 탐구합니다. 기존 방법들은 3D 시나리오에서 툴을 오남용하고 편향된 툴 선호도를 보이는 경우가 많아, 비에이전트 전략(non-agentic strategies) 대비 에이전트 패러다임의 이득이 미미한 수준에 머물고 있습니다. 우리는 3D 공간 추론 작업이 장면(scene) 간에 이질적이라는 점을 밝혔습니다. 반면, 이러한 에이전트들은 특정 장면과 작업에 따라 툴을 선택하기보다는 모든 장면에 균일한 툴 사용 전략을 적용하고 있습니다. 이를 해결하기 위해 우리는 자가 진화하는 장면 인식 스킬(scene-aware skills)을 학습하는 프레임워크인 Skill-3D를 제안합니다. 구체적으로, Skill-3D는 작업 장면을 식별하고 에이전트의 툴 사용 궤적(tool-use trajectory)을 장면 메모리(Scene Memory)에 기록합니다. 여기서 유사한 장면에서의 성공적인 궤적은 집계되어 재사용 가능한 장면 인식 스킬로 증류(distilled)되며, 실패한 궤적은 교훈으로서 스킬에 첨부됩니다. 학습 과정에서 유사한 장면이 다시 등장하면, 해당 스킬이 주입되어 에이전트를 가이드하고 새로운 궤적을 생성합니다. 이러한 궤적의 성공과 실패는 스킬을 더욱 정제(refine)하여, 메모리와 스킬 라이브러리가 공진화(co-evolve)하는 루프를 형성합니다. 실험 결과, Skill-3D는 3D 공간 추론에서 툴 활용도를 크게 향상시키는 것으로 나타났습니다(VSI-Bench에서 39%에서 78%로 상승). 이는 에이전트가 올바르고 충분한 툴을 사용하도록 유도합니다. 예를 들어, MMSI-Bench에서 Gemini-3-Flash의 성능을 67% 향상시켰습니다. 또한, 스킬 가이드 궤적에 대해 에이전트 사후 학습(agentic post-training)을 수행하여 VSI-Bench에서 Qwen3-VL-8B의 성능을 60% 향상시켰습니다.
비전-언어-행동(VLA) 모델은 장면을 묘사하고 언어로 추론할 수 있지만, 주변의 밀집된 3D 세계에 행동을 그라운딩하는 데는 여전히 어려움을 겪습니다. 기존 접근 방식은 정책이 해당 특징을 사용한다는 것을 보장하는 목적 함수 없이 동결된 3D 파운데이션 모델에서 특징을 주입하거나, 밀집된 공간 신호를 제공하지 않는 희소한 박스 및 맵 손실로 기하학을 제한합니다. 우리는 주행하는 밀집된 3D 세계를 재구성하도록 지도 학습된 최초의 비전-언어-행동 모델인 VLGA를 소개합니다. VLGA는 비전, 언어, 행동과 함께 기하학을 네 번째 모달리티로 도입하며, 이는 라이다(LiDAR)에 대한 픽셀별 포인트맵 회귀 손실에 의해 감독되는 전담 전문가를 통해 구현됩니다. 각각 오픈 루프 및 클로즈드 루프 평가를 위해 도전적인 nuScenes 및 Bench2Drive 데이터셋에서 수행된 광범위한 실험은 대응하는 VLA 방법들에 대한 VLGA의 우수성을 보여줍니다. 특히, 오픈 루프 nuScenes에서 VLGA는 에고 상태(ego status)가 없는 VLA 방법 중 최신 성능(SOTA)을 기록했으며, 가장 낮은 L2(평균 0.50m) 및 3초 충돌률(0.18%)을 달성했습니다. 클로즈드 루프 Bench2Drive에서 VLGA는 79.08이라는 최신 주행 점수를 달성하여 가장 강력한 이전 VLA 대비 +0.71의 향상을 보였으며, 비슷한 수준의 효율성과 편안성을 유지했습니다.
효과적인 다중 인간-로봇 협업은 도전적이고 고위험인 수중 환경에서 인간 주도 작업을 확장하는 데 필수적이다. 자율 수중 기체(AUV)가 진정한 팀원이 되려면, 주변을 이해하고 잠수부의 활동을 인식하여 지원을 제공하고 안전을 보장할 수 있어야 한다. 이 목표를 향해, 복잡한 수중 장면을 분석하여 잠수부 활동을 분류하는 새로운 트랜스포머 기반 프레임워크인 DAR-Net을 제안한다. 우리의 기여는 트랜스포머 기반 시간적 추론과 픽셀 수준 장면 감독을 결합하는 의미 기반 학습 공식에 있다. 이 다중 손실 학습 전략은 전역 활동 인식과 지역적 인간-로봇 상호작용 의미론을 명시적으로 정렬하며, 이는 특히 가시성이 낮은 수중 조건에서 매우 중요하다. 이 영역에서 데이터 부족이라는 중대한 과제를 해결하기 위해, 픽셀 수준 마스크가 포함된 2,600장 이상의 주석 이미지를 담은 최초의 Underwater Diver Activity(UDA) 데이터셋이라는 기초 자원을 제시한다. 통제된 환경에서의 엄격한 실험 평가를 통해, DAR-Net이 여섯 가지 구별되는 잠수부 활동을 인식하는 데 있어 유망한 정확도를 달성하며 최신(state-of-the-art) 모델들을 능가함을 보여준다. 이 데이터셋이 중요한 기준선을 제공하는 한편, 본 연구는 선구적인 단계로서 향후 연구의 토대를 마련하고 더 지능적이고 협력적인 수중 로봇 시스템의 개발을 촉진한다.
의사결정과 관련된 건물 피해 평가는 재난 이후 자원 우선순위 결정 및 복구에 있어 매우 중요하지만, 대부분의 자동화 방법은 피해를 단일 심각도 척도(피해 없음, 경미, 심각, 전파)로 평탄화하거나, 신흥 재해에는 종종 이용 불가능한 사전·사후 이벤트 이미지 쌍을 필요로 한다. 이 논문은 Damage-TriageFormer를 제시한다. 이는 심각도 척도 대신 피해 유형(damage typology)을 산출하는 단일 이미지, 사후 이벤트, 건물 외곽선 조건부 모델이다. 본 연구의 기여는 다음과 같다: (1) DamageTriage-Bench—2018년 Hurricane Michael, 2024년 Hurricane Helene, 2025년 로스앤젤레스 산불 복합 재해에 걸친 NOAA 긴급 대응 이미지로 구축된 새로운 벤치마크로, 지붕 피해와 구조적 피해를 구분하고 각각에서 부분 피해와 전체 피해를 구별하는 5개 유형 클래스를 포함; (2) Damage-TriageFormer—더 높은 해상도의 인스턴스 풀링을 위한 Simple Feature Pyramid, 2단계 게이팅 피해 헤드, 보조 심각도 회귀 목적함수를 추가하여 DINOv3 ViT-L 백본을 확장한 모델. 본 모델은 검증 세트에서 매크로 F1 0.624, 홀드아웃 계층화 테스트 세트에서 0.619를 달성하며, 운용적 분류가 가장 필요한 곳에서 가장 강한 성능을 보였다. 클래스별 F1은 피해 없는 건물에서 0.91, 구조 전파에서 0.84이다. 희귀 클래스인 Total Roof Damage는 제한된 사례 수와 내재적으로 모호한 레이블 경계로 인해 여전히 어렵지만, 본 결과는 단일 이미지 사후 이벤트 이미지가 실행 가능한 건물 피해 유형 분류를 지원할 수 있음을 보여주며, 사전 이벤트 참조 이미지 없이도 표적화된 긴급 대응 및 자원 배분을 가능하게 한다.
우리는 깊이 센서 관측값이 불완전하고, 순서가 정렬되지 않았으며, 명시적인 시간적 대응 관계가 부족한 부분 포인트 클라우드 시퀀스에서의 4D 재구성 문제를 다룹니다. 관측값의 누락과 모호한 동역학으로 인해 이 기하학 전용 설정은 까다로운 문제입니다. 최근의 진전은 주로 이미지 기반 방법에 의존해 왔으나, 기존 포인트 기반 접근법은 대개 단일 객체에 초점을 맞추거나 비교적 완전한 입력을 가정하거나 명시적인 대응 관계를 요구합니다. 이러한 제한 사항을 해결하기 위해, 우리는 이미지 없이 부분 포인트 클라우드 시퀀스로부터 대응 관계 없는 4D 재구성을 수행하는 포인트 기반 프레임워크인 DynaTok을 제안합니다. DynaTok은 프레임을 압축된 잠재 토큰으로 인코딩하고, 트랜스포머 기반 시공간 인코더를 사용하여 시간에 걸친 불완전한 관측값을 집계하며, 통합 모델 내에서 잔차 토큰을 통해 기하학과 동작을 분리합니다. 이후 플로우 매칭 디코더가 잠재 토큰에 조건화되어 완전하고 시간적으로 일관된 4D 포인트 클라우드 시퀀스를 재구성합니다. 객체 및 장면 수준 벤치마크에 대한 실험을 통해, 부분 포인트 클라우드 관측값으로부터 개선된 재구성 품질과 시간적 일관성을 확인했습니다. 프로젝트 페이지: https://wrchen530.github.io/dynatok/.
본 논문에서는 자연어를 사용하여 감시 영상에서 충돌 이벤트가 언제 발생하는지, 어떤 유형의 충돌인지, 프레임 내 어디에서 발생하는지를 파악함으로써 영상 속 사고에 대한 제로샷 이해 문제를 다룬다. 사고 이해를 언제, 무엇, 어디로 분해하는 3단계 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 유사도를 이용해 충돌 주변의 짧은 시간 구간을 추출한다. 두 번째 단계에서는 메타데이터 기반 다중 프롬프트 추론을 수행하며, 다섯 가지 상보적 관점(기준선, 동작, 기하, 대비, 타이브레이커)을 사용하고 엔트로피 게이트 방식의 쌍별 판정기를 통해 불일치를 해결한다. 마지막으로, 예측된 사고 유형과 장면 레이아웃에 대해 쿼리하는 개방 어휘 탐지기로 충돌 위치를 특정하고, 점수 가중 중심을 이용해 키프레임 전반의 탐지 결과를 집계한다. 제안 파이프라인은 제로샷 ACCIDENT @ CVPR 벤치마크에서 프레임 중심 기준선 대비 조화 평균 점수에서 상당한 개선을 달성한다. 제로샷 영상 이해를 시간적 국소화, 의미 분류, 공간적 그라운딩으로 분해하면 비전-언어 모델에 직접 프롬프트하는 것만으로는 얻기 어려운 더 신뢰할 수 있는 추론이 가능함을 보인다.
비전-언어 모델(VLM)은 자율주행의 장면 이해에 점점 더 많이 사용되고 있지만, 견고성 분석은 종종 작업 무관 임베딩 안정성에만 의존한다. 우리는 손상에 의해 유발된 임베딩 드리프트가 CLIP 이미지-텍스트 유사도에서 유도된 작업 정렬 위험 점수의 변화를 예측하는지 조사한다. BDD100K 도로 장면에 대해 제어된 손상을 사용하여, perturbation 하에서 위험 점수의 변화로 정의되는 마진 드리프트와 임베딩 드리프트를 비교한다. 이 관계는 손상 유형에 매우 크게 의존한다: 일부 손상 계열은 표현 드리프트와 결정 드리프트 사이에 강한 결합을 보이는 반면, 다른 계열은 상대적으로 미미한 임베딩 변화에도 불구하고 위험한 결정 불안정성을 유발한다. 또한 손상 계열은 실패 방향에서도 차이가 있다: 대부분은 위음성(false negative)을 통해 위험 탐지를 억제하는 반면, 가림(occlusion)은 오히려 오경보를 유발한다. 이는 벤치마크 설계가 전체 불안정성 비율뿐만 아니라 비대칭적 실패 모드도 고려해야 함을 시사한다. 이러한 결과는 견고성 벤치마크가 임베딩 수준 perturbation 통계에 더해 작업 정렬 안정성 측도를 포함해야 함을 시사한다.
복잡한 실내 환경에서의 시각적 로컬라이제이션은 로봇공학 및 AR 응용에서 여전히 중요한 과제로 남아 있다. 시간에 따라 포즈(pose) 추정을 정제하는 순차적 로컬라이제이션은 자율 에이전트(agent)에 중요하다. 그러나 전통적인 방법은 종종 방대한 이미지 데이터베이스나 포인트 클라우드를 저장해야 하므로 상당한 오버헤드가 발생한다. 본 논문은 3D 씬 그래프(scene graph)를 사용한 순차적 시각적 로컬라이제이션을 위한 새롭고 경량의 접근법을 제안한다. 본 방법은 환경을 압축된 씬 그래프로 표현하며, 여기서 노드는 객체(거친 메시 포함)를 나타내고 엣지는 공간적 관계를 인코딩한다. 로컬라이제이션 단계의 각 이미지에 대해 패치별(patch) 의미(semantic) 특징을 추출하여 객체 정체성을 예측한다. 로컬라이제이션은 파티클 필터(particle filter) 프레임워크 내에서 수행된다. 카메라 포즈를 나타내는 각 파티클(particle)은 씬 그래프의 거친 객체 메시를 이미지에 투영하고, 가시성(visibility)에 따라 패치에 객체 정체성을 할당한다. 입력 이미지의 패치별 특징과 씬 그래프의 객체 특징 간 유사도가 파티클의 가중치를 결정한다. 후속 이미지를 순차적으로 통합하여 포즈 추정을 정제한다. 압축된 씬 그래프와 효율적인 semantic matching을 활용함으로써, 본 방법은 실세계 데이터셋(dataset)에서 성능을 유지하면서 저장 공간을 크게 줄인다. 코드는 https://github.com/DmblnNicole/sg2loc 에서 제공될 예정이다.
텍스트-투-비디오(T2V) 생성을 위한 보상 모델은 사후 학습을 안내하지만, 종종 세밀한 의미적 정렬에서 실패한다. 우리는 이를 기존 추론 기반 보상 모델의 두 가지 구조적 약점으로 추적한다: 프롬프트에 기술된 모든 조건을 체계적으로 검증하지 않으며, 각 판단을 뒷받침하는 시각적 근거가 자유 형식 추론 내에 암묵적으로 남아 있다는 것이다. 우리는 시공간 장면 그래프에 기반한 계획-검증 추론을 통해 이러한 한계를 해결하는 비디오 보상 모델인 SG-PVR을 제안한다. 검증 계획은 프롬프트를 원자적 주장으로 분해하여 모든 요구사항이 확인되도록 한다. 개체, 속성, 시간적으로 정렬된 관계를 인코딩하는 시공간 장면 그래프는 비디오에서 추출되어 추론 전 과정에 걸쳐 지속적인 구조화된 시각 참조로 유지된다. 각 주장은 비디오와 장면 그래프 모두에 대해 검증되어, 판단을 명시적 시각 증거에 고정한다. SG-PVR은 세밀한 시간적 의미론을 포함한 의미적 정렬에서 강한 성능을 달성한다. 테스트 시점 재순위화기(test-time reranker)로서 T2V 생성의 구성적 정렬을 더욱 향상시킨다.
오픈-어휘 장면 스케치 의미론적 분할은 학습 중 픽셀 수준 어노테이션에 의존하지 않고, 추론 시 지정된 유연한 카테고리 어휘를 기반으로 희소한 선 그림에 밀집 의미론적 레이블을 할당하는 것을 목표로 한다. 자연 이미지와 달리, 스케치는 질감과 색상 단서가 없어 의미론적 이해가 획 배치와 공간적 구성에 크게 의존하며, 이는 단일 층 비전-언어 특징이 본질적으로 불안정해지는 문제를 야기한다. 핵심 관찰은 서로 다른 비전 트랜스포머(Vision Transformer) 층의 어텐션 맵이 상호 보완적인 공간적 단서를 인코딩한다는 것이다: 얕은 층은 전역 구조적 레이아웃을 포착하고, 깊은 층은 국소 획 교차점과 객체 부분에 집중한다. 이는 층간 집계가 임의의 단일 층만으로는 얻을 수 없는 더 강건한 구조적 사전 지식을 제공함을 시사한다. 이러한 통찰을 바탕으로, 우리는 층별 누적 구조적 어텐션(LASA, Layer-wise Accumulated Structural Attention)을 기반으로 한 구조 인식 프레임워크를 제안한다. 이 프레임워크는 다층 어텐션을 집계하여 약한 지도 하에서 계층적 의미론적 정렬을 안내하고, 추론 중 예측을 정제한다. FS-COCO, SFSD, FrISS에 대한 실험에서 LASA는 기존 약한 지도 기준선 대비 mIoU를 각각 $+3.43$, $+8.01$, $+15.74$ 향상시켜 분할 정확도와 공간적 일관성 모두에서 일관된 성능 향상을 보여준다. 소스 코드는 공개될 예정이다.
에고센트릭(egocentric) 비디오로부터의 공간 추론은 관측 가능한 증거가 카메라 궤적에 의해 제한되기 때문에 본질적으로 어렵다. 기존 방법은 단일 턴(single-turn) 추론에 의존하여, 모델이 검증 가능한 증거보다는 의미론적 사전 지식(semantic priors)을 통해 기하학적 모호성을 해결하도록 강요한다. 우리는 공간 추론이 재방문 가능(revisitable)해야 한다고 주장한다: 제한된 증거 하에서 형성된 결론은 상보적 시점(complementary viewpoints)이 이용 가능해질 때 수정 가능한 상태로 남아 있어야 한다. 이 통찰을 바탕으로, 우리는 Reason, then Re-reason(ReRe)을 제안한다. 이는 학습 없이(training-free) 추론 시점(inference-time)에 적용되는 두 단계 프레임워크이다. Reason Phase에서는 MLLM이 원본 비디오로부터 공간 가설을 형성하고, Re-reason Phase에서는 합성된 새로운 시점(novel-view) 비디오를 관측하여 해당 가설을 검증하거나 수정한다. 효과적인 교차 뷰(cross-view) 재방문을 가능하게 하기 위해, 우리는 예측된 3D 기하로부터 전략적으로 상보적인 새로운 시점을 렌더링하는 Geometry-to-Video 파이프라인을 설계한다. 이러한 시점은 장면 전체를 아우르는(scene-spanning) 높은 고도의 사선(oblique) 시점을 특징으로 하며, 아키텍처 수정 없이 MLLM의 기본 비디오 인터페이스를 유지한다. VSI-Bench와 STI-Bench에 대한 광범위한 평가(evaluation)는 ReRe가 오픈소스 MLLM을 상당히 향상시켜 독점 최신(state-of-the-art) 성능과 견줄 수 있음을 보여준다. 프로젝트 페이지: https://zhenjiemao.github.io/ReRe/
최근의 발전에도 불구하고, 비전-언어 모델(VLM)은 여전히 세계의 동역학을 파악하는 데 어려움을 겪고 있다. 4D 장면에 대한 추론 능력은 그 자체로도 도전적이지만, 두 가지 요인으로 인해 더욱 복잡해진다. 첫째, VLM은 움직임을 2D 이미지에 투영된 형태로만 간접적으로 관찰한다. 둘째, 기존 데이터셋은 객체 움직임과 카메라 움직임을 분리하지 못한다. 이러한 문제를 해결하기 위해, 우리는 움직임 관련 장면 이해에 초점을 맞춘 QA 생성 파이프라인을 제시한다. 우리는 카메라 움직임과 객체 움직임의 혼재 문제를 해결하기 위해, 전통적인 방식의 추적과 함께 직관적인 움직임 서술을 제공하는 새로운 고정 기준계 방식인 True-Motion Tracking을 도입하여 추적을 수행한다. 이 파이프라인으로부터 40만 샘플 규모의 대규모 학습 데이터셋인 4DP-QA(4D Perception QA)와 2,200개 샘플 규모의 벤치마크인 4DP-QA-Bench를 생성한다. 우리의 데이터셋으로 기존 모델을 학습시키면 외부 벤치마크에서 성능 향상이 나타나, 제안 방법의 효과를 검증한다.
자연 환경은 로봇 지각 시스템에 복합적인 난제를 제기한다. 현재 모델, 특히 비전 파운데이션 모델(vision foundation models)은 대체로 구조화된 도시 환경에서 학습되어 현장 로봇(field robotics) 작업에 대한 지각에서 취약점을 보인다. 우리는 최근 공개한 WildCross 벤치마크를 사용하여 현재 모델의 한계를 보여주는데, 이는 대규모 자연 환경에서 장소 인식(place recognition)과 메트릭 깊이 추정(metric depth estimation)을 위한 새로운 크로스모달 벤치마크이다. WildCross는 반밀집(semi-dense) 깊이 및 표면 법선(surface normal) 주석이 포함된 47만 6천 개 이상의 순차 RGB 프레임으로 구성되며, 각 프레임은 정확한 6DoF 포즈와 동기화된 밀집(dense) LiDAR 서브맵과 정렬되어 있다. 본 연구에서는 최근 WildCross 벤치마크의 벤치마크 결과에 대한 확장 분석을 제공하며, 특히 메트릭 깊이 추정 실험의 확장에 중점을 둔다. 본 연구의 코드 저장소 및 데이터셋은 https://csiro-robotics.github.io/WildCross 에서 확인할 수 있다.