비전-언어 모델(VLM)의 최근 발전에도 불구하고, 범용 및 CCTV 기반 영상 감시 시스템 모두를 위한 혼합 도메인 이미지-캡션 데이터셋은 여전히 제한적이다. 이러한 공백을 메우기 위해, 우리는 141,364개의 이미지, 981,947개의 이미지 수준 캡션, 1,742,264개의 영역 수준 캡션, 1,391,779개의 경계 상자 주석으로 구성된 대규모 멀티모달 데이터셋을 제안한다. 각 이미지는 전체 장면의 서로 다른 측면을 설명하는 평균 7개의 이미지 수준 캡션과, 주석이 달린 각 경계 상자에 대한 7개의 영역 수준 캡션과 연관된다. 이러한 상호 보완적인 캡션 유형은 객체 범주, 추정 크기, 색상, 행동, 상태, 주변 환경 맥락을 포함한 세밀한 시각적 속성을 VLM이 학습하도록 돕도록 설계되었다. 우리는 이미지 캡셔닝과 객체 검출이라는 두 가지 중요한 다운스트림 태스크에서 데이터셋의 효과를 입증한다. 실험 결과, SmolVLM-256M-Instruct, BLIP, BLIP2, Qwen2.5-VL 3B-Instruct를 포함한 경량 VLM이 우리 데이터셋을 사용하여 효과적으로 파인튜닝될 수 있음을 보여준다. 우리의 데이터셋과 코드는 https://zenodo.org/records/20418601 에서 공개적으로 이용할 수 있다.
최근 실내 점유 예측 방법들은 계산 효율성을 위해 Gaussian primitive를 희소 3D 표현으로 채택한다. 그러나 이들의 학습은 voxel 분류에 의존하며, 이는 국소적 제약만을 부과하고 primitive 분포에 대한 전역적 supervision을 결여한다. 따라서 이들은 불가피하게 빈 영역에서 가짜 primitive를 예측하여, 표현 효율성과 계산 효율성 모두를 저해한다. 이를 해결하기 위해, 우리는 점유 예측을 voxel 분포 추정으로 재정식화하는 새로운 프레임워크인 전방향 가능도 최대화(Feed-forward Likelihood Maximization, FLM)를 제안한다. FLM에서는 네트워크가 전방향(feed-forward) 방식으로 ground-truth 점유 voxel에 대한 가능도를 최대화하는 혼합 모델(mixture model)을 예측하도록 학습된다. 네트워크와 표준 혼합 모델의 voxel화를 위한 end-to-end 학습을 가능하게 하기 위해, 혼합 가중치를 정규화된 primitive 부피로 정의하여 simplex 제약을 암묵적으로 강제하고, 새로운 voxel화 공식을 유도한다. FLM을 기반으로 한 FLM-Occ는 무작위로 초기화된 primitive를 장거리로 재배치하여 장면을 모델링할 수 있는 새로운 방법이다. Occ-ScanNet에서 FLM-Occ는 superquadric 32개만으로, 선행 SOTA의 2.7%에 해당하는 수준으로 더 높은 정확도를 달성하면서 3.7배 빠르게 동작한다.
우리는 SCOPE(Scale-Consistent One-Pass Estimation of 3D Geometry)를 제안한다. 이는 확장된 단안(monocular) 영상 시퀀스로부터 3D 기하를 추정하는 새로운 접근법으로, 기존 방법들이 수백 프레임에 걸쳐 기하학적 정확도와 시간적 일관성을 모두 유지하는 데 어려움을 겪는 문제를 다룬다. 우리 접근법은 시퀀스 전체에 공유 파라미터를 갖는 아핀 불변(affine-invariant) 3D 포인트 맵을 생성하여, 일관된 스케일 불변(scale-invariant) 표현을 가능하게 한다. 우리는 세 가지 핵심 혁신을 도입한다: 다중 시점 포인트를 통합된 참조 프레임에 정렬하는 시점 불변(viewpoint-invariant) 기하; 지수적 시간 스케일에 걸친 일관성을 강제하는 외관 불변(appearance-invariant) 학습; 그리고 학습 길이를 훨씬 초과하는 시퀀스로의 외삽(extrapolation)을 가능하게 하는 주파수 변조(frequency-modulated) 위치 지정(positioning). 다양한 데이터셋에 걸친 실험은 유의미한 개선을 보여주며, ScanNet에서 최신(state-of-the-art) 방법 대비 상대적 포인트 맵 오류를 24.2%, 시간적 정렬 오류를 34.9% 감소시킨다. 우리 접근법은 복잡한 카메라 궤적과 조명 변화가 있는 어려운 시나리오를 다루면서, 확장된 시퀀스를 단일 패스로 효율적으로 처리한다. 프로젝트 페이지: https://scope3d.github.io/.
자율주행 및 해상 감시와 같은 신뢰할 수 있는 공간 의사결정 자동화는 견고한 시각 인식에 결정적으로 의존한다. 그러나 실세계 시공간 데이터는 심각한 이질성을 보이며, 종종 안전에 중요한 시나리오에서 극단적인 롱테일 분포로 나타난다. 이러한 데이터 부족은 데이터셋 시프트를 유발하여 탐지 성능을 저하시키고 안전 위험을 초래한다. 합성 데이터 생성이 잠재적 해결책을 제공하지만, 확산 모델 및 생성적 적대 신경망(GAN)과 같은 기존 생성 접근법은 명시적 공간 그라운딩과 구조적 제약이 부족하여, 생성된 장면에서 공간적·물리적 불일치를 야기하는 경우가 많다. 이러한 과제를 해결하기 위해, 본 연구는 롱테일 공간 데이터 생성을 위한 에이전트형 텍스트 기반 월드 모델 프레임워크인 WMGen-v1을 제안한다. WMGen-v1은 대규모 비전-언어 모델(LVLM)을 사용하여 단일 참조 이미지로부터 구조화된 장면 표현을 구성하고, 대규모 언어 모델(LLM)은 물리적 타당성과 상식 제약 하에서 가이던스 기반 장면 확장을 수행한다. 이후, 이러한 추론 과정에서 생성된 구조화된 의미론적 표현을 조건으로 하여, 확산 모델이 다양하고 물리적으로 그라운딩된 롱테일 학습 데이터를 생성한다. 내부 산업 데이터셋, ROADWork, LaRS 벤치마크에서의 실험은 WMGen-v1이 기준선 접근법을 능가함을 보여준다. 특히 WMGen-v1 합성 데이터만으로 학습된 탐지기는 집계 데이터셋 수준 지표에서 실제 데이터만 사용한 성능에 근접하며, 이는 하류 공간 인식에서 롱테일 데이터 부족을 완화할 잠재력을 부각한다.
정확하고 최신의 도로 구조 표현은 자율주행 차량의 안전한 운행에 매우 중요하다. 기존 시스템은 비용이 많이 들고 유지보수 부담이 큰 고해상도(HD) 맵에 의존하여 정보가 낙후될 때 안전성이 저하되거나, 순수 센서 기반 온라인 맵핑에 의존하여 장거리 신뢰성과 가림(occlusion) 문제에 어려움을 겪는다. 온라인 맵핑에 맵 프라이어 정보를 통합하는 시스템은 두 접근법을 일정한 방식으로 결합하여 각각의 단점을 극복하고자 한다. 우리는 'Driveline To HD Map'(D2HDMap)을 제안한다. 이는 차선 구분선, 도로 경계, 횡단보도 등 가시적인 도로 구조의 추정을 유도하기 위해 경량의 비가시 드라이브라인 프라이어를 주입하는 온라인 맵핑 시스템이다. 이 프라이어는 다른 접근법에서 사용되는 전체 HD 맵 프라이어에 비해 생성 및 갱신에 필요한 노력이 적다. 또한 이러한 프라이어로 학습하면 프라이어가 없을 때 추론 시 일반화가 개선될 수 있음을 보여준다. nuScenes 및 Argoverse 2 데이터셋에서 수행한 절제 실험(ablation study)은 드라이브라인 프라이어로 학습한 모델이 프라이어가 없을 때도 대부분의 성능을 유지함을 보여준다. 지리적으로 분리된 분할에서 D2HDMap은 44.8 mAP를 달성하여 최근 state-of-the-art를 능가한다. 또한 노이즈 인식 학습은 현실적인 위치 추정 오차에 대한 강건성을 크게 향상시킨다.
3D 장면의 공간적 및 시간적 통합 이해는 일상적인 가정 환경에 배치된 로봇에게 필수적인 요구 사항입니다. 이러한 에이전트는 공간 레이아웃을 이해하고 내비게이션을 수행해야 할 뿐만 아니라, 이러한 공간이 시간이 지남에 따라 어떻게 변화하는지에 대해 추론할 수 있어야 합니다. 특히, 인간은 매일 객체와 상호작용하여 환경 전체에서 객체의 위치를 변경시키며, 이로 인해 로봇이 현재 관측을 이전에 본 객체와 신뢰할 수 있게 연관 짓는 것이 어렵습니다. 그러나 이러한 상호작용은 무작위가 아닙니다. 인간의 습관과 루틴은 객체 위치에 시공간적으로 일관된 패턴을 유발하며, 로봇 에이전트는 이를 학습하여 내비게이션과 같은 다운스트림 태스크에 활용할 수 있습니다. 이를 위해 우리는 연속적인 3D 공간에서 동적 객체의 미래 위치에 대한 멀티모달 분포를 추정하는 잠재 플로우 매칭 모델인 FlowMaps를 소개합니다. 객체 간의 암묵적 의존성과 시간적 진화를 학습함으로써, FlowMaps는 과거 인간 상호작용에 조건화된 객체 위치의 가능한 변화를 예측하며, 유사한 객체 루틴을 공유하는 이전에 본 적 없는 환경에 대한 일반화를 지원합니다. 이 방법의 유용성을 입증하기 위해, 우리는 시뮬레이션 및 실제 환경 모두에서 다운스트림 동적 객체 내비게이션 태스크에 FlowMaps를 배포했습니다. 600개 이상의 에피소드에 걸쳐 FlowMaps는 최첨단 접근법보다 우수한 성능을 보여주었으며, 이는 연속적이고 멀티모달한 시공간 분포를 통한 객체 역학 모델링이 변화하는 가정 환경에서 로봇 탐색 및 내비게이션을 향상시킴을 보여줍니다. 코드 및 추가 자료는 https://fra-tsuna.github.io/flowmaps/ 에서 확인할 수 있습니다.
AI 비전 모델은 산업 및 가정용 응용 분야에서 인지형 로봇공학의 잠재적 사용 사례 시나리오를 위한 핵심 동인입니다. 의미론적 환경 분석부터 6D 및 파지 자세 추정에 이르기까지 최신 AI 성과를 기반으로 한 다양한 방법들이 제안되었습니다. 그러나 이러한 발전은 도메인 격차를 넘어선 현재의 과제, 정밀도 한계, 그리고 확장성을 해결하기 위해 학습 데이터와 AI 아키텍처 측면에서 더욱 강력하고 효율적인 방법을 필요로 합니다. 본 논문에서는 이러한 한계들에 도전하는 관련 최신 기술의 동향과 현재의 한계점들을 논의합니다. 또한, 학습 데이터 생성 과정에서 시뮬레이션과 실제 응용을 연결하여 도메인 격차를 해소하려는 현재 진행 중인 연구에 대해 논의합니다.
최근 비전-언어 모델(VLMs)은 3D 장면 이해 분야에서 상당한 진전을 이루었으며, 임베디드 지능(embodied intelligence) 및 로봇 비전과 같은 응용 분야의 발전을 이끌고 있습니다. 그러나 기존 접근 방식은 일반적으로 명시적인 3D 입력(예: 포인트 클라우드 또는 RGB-D 시퀀스)에 직접 의존하거나, 2D 이미지에서 3D 인식 시각 토큰을 도출하기 위해 추가적인 3D 기하학 인코더를 도입합니다. 이러한 설계는 비전-언어 사전학습을 통해 학습된 풍부한 2D 의미(semantic)에서 3D 기하학적 지각을 구조적으로 분리시키며, 이는 통합된 3D 비전-언어 표현의 발전을 저해합니다. 본 연구에서는 포즈 정보가 포함된 RGB 이미지에서만 작동하며 단일 2D 비전 인코더를 사용하는 3D 장면 이해를 위한 새로운 프레임워크인 Occ-VLM을 제안합니다. 구체적으로, Occ-VLM은 3D 장면 점유(occupancy)를 보조 기하학적 사전(prior)으로 재구성하며, 이를 활용하여 전경(foreground) 2D 토큰을 3D 공간과 공간적으로 연결합니다. 이러한 토큰은 통합된 장면 이해를 위해 대규모 언어 모델(LLM)에 의해 디코딩됩니다. 광범위한 실험을 통해 Occ-VLM이 정확한 기하학적 지각과 강건한 비전-언어 추론(reasoning)을 모두 달성함을 입증합니다. 다중 뷰(multi-view) 점유 예측에서 최첨단(SOTA) 성능을 달성하는 동시에, 3D 시각 질의 응답(VQA) 및 3D 밀집 캡셔닝(dense captioning) 벤치마크에서는 3D 입력 VLMs과 대등한 성능을 보입니다.
3D 장면 그래프(3DSGs)는 환경의 기하학적 그라운딩과 의미론적 및 관계형 추상화를 결합하여 공간 AI(spatial AI)를 위한 강력한 표현으로 등장했습니다. 이들의 표현력 덕분에 조작, 내비게이션, 작업 계획, 장면 이해 등 로봇공학 및 컴퓨터 비전의 광범위한 문제에 적용될 수 있게 되었습니다. 그러나 해당 분야는 여전히 파편화되어 있습니다. 서로 다른 커뮤니티가 상이한 정형화, 구축 파이프라인, 평가 프로토콜을 채택하고 있어, 방법 간 비교, 공통 가정 식별, 그리고 강건한 실제 환경 배치를 위한 남은 과제 파악이 어렵습니다. 본 조사는 3DSGs에 대한 통합적이고 비판적인 검토를 제공하며, 특히 남은 과제와 향후 방향에 중점을 둡니다. 먼저 공통 정의에 따라 3DSGs를 형식화하고, 노드 및 엣지 속성, 계층 구조, 동적 장면 표현, 어포던스 인식 확장 등 기존 정형화의 특징을 나타내는 주요 모델링 선택지를 분석합니다. 이어서 3DSGs가 원시 감각 데이터로부터 구축되는 방식을 검토하며, 가장 일반적인 용어, 규약, 기법에 대해 논의합니다. 마지막으로, 내재적 그래프 품질부터 작업 수준 성능에 이르기까지 다운스트림 응용 및 평가 전략을 살펴봅니다. 또한 커뮤니티를 지원하기 위해 조사된 내용을 정리하고 확장한 전용 웹사이트(https://3dscenegraphs.com/)를 제공합니다.
행동 조건 월드 모델(action-conditioned world model)은 로봇 학습을 위한 유망한 패러다임으로 등장했으며, 행동과 일관된 비디오 롤아웃(video rollout)을 생성하여 비용이 많이 드는 실제 실험에 대한 확장 가능한 대안을 제공합니다. 그러나 매니퓰레이션(manipulation)에서 지속적 월드 모델링은 여전히 어려운 과제입니다. 빈번한 엔드 이펙터(end-effector) 폐색과 빠른 손목 카메라(wrist-camera) 움직임으로 인해 현재 관찰만으로는 미래 뷰를 예측하기에 불충분하며, 이로 인해 모델이 이전 프레임에서 본 장면의 세부 사항을 잊어버리거나 환각(hallucination)을 일으키는 문제가 발생합니다. 기존 메모리 검색 전략은 동적인 매니퓰레이션 시나리오에서 유익한 과거 정보를 식별하는 데 종종 실패합니다. 이러한 한계를 해결하기 위해 본 연구에서는 메모리 증강 멀티 뷰(multi-view) 행동 조건 월드 모델인 Mem-World를 제안합니다. 그 핵심으로, 과거 관찰을 시간에 따라 변화하는 표면 요소에 고정(anchor)하는 4D 손목 뷰(wrist-view) 중심의 서펄(surfel) 인덱싱 메모리인 W-VMem을 제시합니다. 장면 요소가 언제 그리고 어디서 관찰되었는지 명시적으로 모델링함으로써, W-VMem은 미래 행동에 조건화된 관련 과거 프레임의 기하학적 인식(geometry-aware) 검색을 가능하게 합니다. 생성 과정에서 서펄 기반 렌더링과 점수 매기기(scoring)를 통해 관련 과거 프레임이 선택되며, 이는 예측을 위해 유익하고 중복되지 않는 컨텍스트(context)를 제공합니다. 광범위한 실험 결과, Mem-World는 복잡한 매니퓰레이션 시나리오에서 지속적인 롤아웃을 생성할 수 있으며, Ctrl-World보다 더 신뢰할 수 있는 정책(policy) 평가를 가능하게 하여 실제 성능과의 피어슨 상관계수를 14.5% 개선했습니다. 또한, 합성 데이터 생성을 통한 효과적인 정책 개선을 지원하여 장기(long-horizon) 작업에서 성공률을 58%에서 72%로 향상시켰습니다.
에이전트 내비게이션 시스템은 추론 시 관찰 전략을 외부에서 재구성할 수 있는 기본 내비게이션 모델을 필요로 합니다. 명령 수행, 객체 탐색, 대상 추적, 자율 주행은 동일한 지각-계획 백본을 공유하지만 시각적 스트림을 소비하는 데 있어 근본적으로 다른 전략을 요구하기 때문입니다. 우리는 이를 해결하기 위해 두 가지 상호 보완적인 차원을 가진 매개변수화된 인터페이스를 갖춘 확장 가능한 내비게이션 모델인 Qwen-RobotNav를 제시합니다: 내비게이션 동작을 선택하는 다중 작업 모드와 시각적 히스토리가 인코딩되는 방식을 제어하는 제어 가능한 관찰 매개변수(예: 토큰 예산, 카메라별 가중치)입니다. 모든 매개변수에 대한 학습 시 무작위화를 통해 Qwen-RobotNav는 Qwen-RobotNav 백본에 대한 아키텍처 수정 없이도 모든 추론 시 구성에 대해 견고합니다. 우리는 1560만 개의 샘플로 Qwen-RobotNav를 학습시켰습니다. 비전-언어 데이터와의 공동 학습은 궤적(trajectory) 전용 학습에서 관찰된 반응형 행동 시퀀스 매퍼로의 붕괴를 방지합니다. 매개변수화된 인터페이스는 Qwen-RobotNav를 에이전트 시스템을 위한 자연스러운 구성 요소로 만듭니다. 장기 지평 시나리오의 경우 상위 수준 계획기가 목표를 하위 작업으로 분해하고 에피소드 중간에 Qwen-RobotNav의 작업 모드와 컨텍스트 전략을 동적으로 전환하여, 동일한 모델에 대한 반복적인 호출로부터 복잡한 동작을 구성합니다. 광범위한 실험을 통해 Qwen-RobotNav가 주요 내비게이션 벤치마크에서 새로운 최첨단(SOTA) 결과를 기록함을 보여줍니다. 이 모델은 20억에서 80억 매개변수로의 유리한 스케일링을 보여주며, 공동 다중 작업 학습은 작업 계열 간에 전이되는 공유된 공간 계획 기반을 개발하고, 다양한 환경의 실제 로봇에 대한 강력한 제로샷 일반화를 입증합니다.
비전-언어 모델은 장면 내 객체를 신뢰할 수 있게 명명하지만, 해당 객체가 위치한 3D 레이아웃을 표현하는가? 우리는 공간적 이해의 세 가지 구성 요소를 타겟팅하는 3,034개의 인간이 큐레이션한 벤치마크를 소개한다: 깊이 순서 가려짐(occlusion, 세 가지 독립적인 반사실적 조작화를 통해 탐색됨), 가시적 반사에 대한 광학-기하학적 추론, 그리고 체적 재배치 계획이다. LLM-as-judge 없이 훈련된 주석자가 18,204개의 응답에 대해 점수를 매긴 6개의 최신 및 오픈 가중치 VLM은 뚜렷한 괴리를 보여준다: 가시적 레이아웃에 대한 재배치를 53~97%의 정확도로 계획하고 충돌 제약 조건을 거의 위반하지 않는 모델들은 가려짐에서는 6~45%로 떨어지고 반사에서는 7% 미만으로 떨어진다. 구현 기반 추론(embodied-reasoning) 모델 또한 동일한 프로필을 재현한다. Qwen3-VL-8B-Thinking에 대한 화이트박스 분석은 실패가 비전 토큰 병합(merger)에 국한됨을 보여준다: 비전 인코더 전반에서 복구 가능한 공간 정보는 토큰 압축 후 접근 불가능해지며, 병합 후 깨끗한 활성화(activations)가 언어 디코더에 패치(patch)될 때만 다시 안정화된다.
분포 외(OOD) 탐지는 심층 학습 모델의 신뢰성을 보장하는 데 중요합니다. 기존 방법들은 주로 분포 내(ID) 데이터와 OOD 데이터를 구별하기 위해 일반적인 얽힌 표현에 집중하며, 이미지 내의 풍부한 문맥 정보를 간과합니다. 이 문제는 근접 OOD를 탐지할 때 특히 어렵습니다. 단순성 바이어스가 있는 모델은 분리된 표현에서 식별 가능한 특징을 학습하는 데 어려움을 겪기 때문입니다. 인간 시각 시스템은 자연 환경에서 객체의 동시 출현을 활용하여 장면 이해를 돕습니다. 이에 영감을 받아, 우리는 이미지 내의 객체 동시 출현(OCO) 패턴을 포착하도록 학습하는 객체 중심 OOD 탐지 프레임워크를 제안합니다. 제안된 방법은 테스트 샘플에 대해 분리된 표현을 예측하여 이미지 내의 객체 동시 출현을 이해하고, ID 학습 데이터에서 관찰된 객체 동시 출현 패턴을 기반으로 패턴을 세 가지 시나리오로 적응적으로 나눈 다음, 분할 정복 방식으로 OOD 탐지를 수행하는 새로운 OOD 탐지 패러다임을 도입합니다. 이를 통해 OCO는 이미지에 존재하는 의미적 문맥 관계를 고려하여 근접 OOD를 구별할 수 있으며, 단순하고 학습하기 쉬운 영역에만 집중하는 경향을 피할 수 있습니다. 우리는 도전적이고 전체 스펙트럼의 OOD 설정에 걸친 실험을 통해 OCO를 평가했으며, 경쟁력 있는 결과를 보여주고 의미적 시프트와 공변량 시프트를 모두 해결할 수 있는 능력을 확인했습니다. 코드는 https://github.com/Michael-McQueen/OCO에서 공개됩니다.
클라우드 호스팅 대규모 멀티모달 모델(LMM)은 차량과 모든 것의 연결(V2X) 시스템에 강력한 오픈 어휘 인식을 제공할 수 있지만, 엣지에서 클라우드로 전체 해상도 프레임을 단순히 전송하면 심각한 통신 오버헤드와 높은 클라우드 측 프리필 지연 시간이 발생합니다. 본 논문에서는 엣지-클라우드 인식을 위한 클라우드 지원 대역폭 효율적 LMM 기반 인코딩 프레임워크인 CABLE를 제안합니다. CABLE는 에고 모션 보상을 사용하여 엣지에서 이전 클라우드 세그멘테이션 마스크를 전파하고, 잔차 운동 단서로 이를 정제하며, 코리더 엔벨로프를 통해 연결되지 않은 영역을 통합하여 강건한 관심 영역(ROI)을 형성합니다. ROI 마스크가 적용된 이미지만 업로드되며, 클라우드 세그멘테이션 출력은 다음 프레임에 대한 사전 정보(prior)로 피드백되어 마스크-ROI-LMM 피드백 루프를 형성합니다. 5개 데이터셋(nuScenes, WOD-ZB, Waymo, KITTI, CADC)에 대한 실험 결과, 인식 능력을 대부분 유지하면서 일관된 통신 절감 효과를 보여주었습니다. 전체 프레임 추론에 비해 검출 품질의 약간의 트레이드오프를 통해 $73$--$87\%$의 ROI 픽셀 커버리지 감소와 $5$--$8\times$의 추정 LMM 프리필 속도 향상을 달성했습니다.
비전-언어 모델(VLM)에서 3D 장면 이해를 위한 기존 접근법은 공간 추론을 위해 복잡하고 모델 특화 기하 인코더에 의존하거나, 대규모 학습 예산을 필요로 한다. 대신 OneCanvas는 모든 뷰의 패치 특징을 단일 등거리 원통 투영(equirectangular) 파노라믹 캔버스에 집약한다. 구체적으로, 각 패치는 깊이와 카메라 포즈를 이용해 3D 세계 좌표로 역투영한 뒤, 캔버스 원점에서 본 해당 점의 연속적인 경도·위도 위치에 배치되며, 겹치는 뷰 간 래스터화(rasterization)나 집약은 수행하지 않는다. 패치의 측정 좌표(metric coordinates)에 대한 3D 위치 임베딩을 특징에 더해, 세계 위치를 각도 기반 캔버스 좌표로 축소할 때 소실된 깊이를 복원한다. 이로써 모든 프레임의 패치는 백본의 융합이나 주요 아키텍처 수정 없이 하나의 공간 좌표계를 공유한다. 사전학습된 VLM은 이 표현을 일반 이미지처럼 입력으로 사용한다. 캔버스를 관심 있는 임의의 포즈를 중심으로 둘 수 있으므로, 동일한 표현은 로봇공학과 체화 AI(embodied AI)에서 흔히 요구되는 특정 시점에서의 상황적 추론을 직접 지원한다. 이 표현 덕분에 공간 사전학습 커리큘럼도 도입할 수 있다. 실제 이미지에서 추출한 객체의 패치 특징을 절차적으로 선택한 3D 세계 위치에, 그 외에는 비어 있는 캔버스 위에 배치함으로써, 광범위한 공간 추론 과제를 아우르는 즉석 감독을 생성하고, 답 분포를 제어하여 공간 추론 지름길을 줄인다. OneCanvas는 SQA3D와 VSI-Bench에서 최신(state-of-the-art) 수준의 정확도를 달성하고 SPBench의 분포 외(out-of-distribution) 데이터에 일반화하며, 가장 강력한 경쟁 방법보다 한 자릿수 적은 학습 연산량으로 이를 달성한다.
단일 광자 어벌란치 다이오드(SPAD) 감지에 기반한 단일 광자 라이다(SPL)는 극도의 민감도로 시간 분해 광자 측정을 가능하게 하여, 광자 부족 환경에서 능동적 3D 인식에 대한 독특한 잠재력을 제공합니다. 그러나 실제 환경의 단일 광자 인식은 독특한 측정 노이즈와 복잡한 다중 반사 과도 현상으로 인해 여전히 근본적인 어려움이 있으며, 이는 기하학적 재구성과 의미론적 장면 이해를 복합적으로 어렵게 만듭니다. SPAD 기반 감지에 대한 관심이 증가하고 있음에도 불구하고, 기존 연구는 대부분 시뮬레이션 데이터나 소규모 통제된 촬영으로 제한되어 있습니다. 그 결과, 깊이 추정, 다중 뷰 재구성 및 3D 의미론적 이해에 걸친 실제 환경 단일 광자 인식의 체계적인 평가는 여전히 충분히 탐구되지 않았습니다. 이러한 격차를 해소하기 위해, 우리는 단일 광자 인식을 위한 실제 촬영된 멀티태스크 벤치마크인 SP-TransientBench (STB)를 소개합니다. SP-TransientBench는 $256\times192$ 해상도의 고체 상태 단일 광자 라이다를 사용하여 촬영된 10개의 다양한 장면과 10,297개의 뷰로 구성됩니다. 각 뷰는 다중 반사 동작, 표준화된 메타데이터 및 다중 뷰 평가를 위한 보정된 카메라 포즈가 포함된 전체 비행 시간 히스토그램을 제공합니다. 또한 선택된 장면에 대해 13개 클래스의 3D 의미론적 주석을 제공합니다. 각 작업에 대해 전용 데이터 분할과 평가 프로토콜을 제공함으로써, STB는 여러 3D 비전 문제에 걸쳐 실제 환경 단일 광자 인식의 일관되고 재현 가능한 벤치마킹을 가능하게 합니다. 데이터셋과 코드는 논문 수락 시 공개될 예정입니다.
공-지 협업 인지는 실세계 동적 환경에서 강인한 시각 이해에 필수적입니다. 그러나 기존 연구는 일반적으로 협업을 단일 태스크 시점 간(cross-view) 융합으로 공식화하여, 위치 추정(localization), 타겟 연관(target association), 세밀한 파싱(fine-grained parsing) 간의 기능적 의존성을 간과합니다. 또한, 공중 및 지상 시점의 이질적 특성으로 인해 상당한 기하학적, 스케일, 및 폐색(occlusion) 차이가 발생하며, 이는 균일한 특징(feature) 공유가 부정적 전이(negative transfer)에 취약하게 만듭니다. 이러한 문제를 해결하기 위해, 우리는 공-지 인지를 점진적 태스크 간 협업 태스크로 모델링하고 745,000개 이상의 원본 비디오 프레임으로 구성된 시공간 정렬 벤치마크인 공-지 점진적 협업(AGPC) 벤치마크를 구축했습니다. 이 벤치마크를 기반으로, 우리는 공중 전역 위치 추정에서 지상 타겟 연관 및 아이덴티티 인식 파싱까지 협업을 점진적으로 구성하는 Coarse-to-fine 프레임워크인 사회화 공동 인지(SCP)를 제안합니다. 핵심 모듈인 이중 층 라우터(DLR)는 입력 측 멀티 스케일 전문가 선택과 출력 측 태스크 조건화 변조를 분리하여, 유해한 간섭을 억제하면서 선택적 시점 간 및 태스크 간 상호작용을 가능하게 합니다. 광범위한 실험을 통해 SCP의 효과성이 입증되었습니다. 이는 3.73%의 공진화 이득과 평균 다운스트림 성능에서 7.86%의 향상을 달성했습니다. 이러한 결과는 이질적인 공-지 인지에서 태스크 조건화 협업이 균일한 융합보다 더 효과적임을 보여줍니다. 코드는 https://github.com/g1136639260-spec/AGSCP에서 확인할 수 있습니다.
지능형 산사태 위해 해석은 재난 예방에 중요하지만, 현재의 패러다임은 시각적 특징과 고수준 지구과학적 의미를 동시에 추출하는 데 어려움을 겪으며, 범용 비전-언어 모델(VLMs)은 복잡한 지질학적 상황에서 지각적 한계와 도메인 환각 문제를 겪습니다. 이러한 문제를 해결하기 위해, 우리는 세 가지 구성 요소로 구성된 인스트럭션 기반 에이전트 프레임워크를 제안합니다. 첫째, 7가지 하위 유형 레이블, 고해상도 이미지, 픽셀 수준 마스크, 고품질 텍스트 설명을 포함하는 멀티모달 세분화 데이터셋인 LandslideBench가 다중 VLM 교차 검증과 대화형 주석을 통해 구축되었습니다. 그 다음, 산사태 지향 VLM인 LandslideVLM은 지질학적 의미 이해를 향상시키기 위해 LandslideBench에서 LoRA를 통해 파인튜닝되었습니다. 마지막으로, LandslideVLM을 인지 백본으로 채택하는 도메인 규칙 강화 에이전트인 LandslideAgent는 구조화된 보고서 메타데이터 제약 조건과 교차 검증 식별 제약 조건을 통합한 이중 규칙 컨트롤러를 사용하여 자동화된 도구 호출을 규제합니다. 실험 결과, LandslideBench는 세분화 분류 및 시맨틱 세그멘테이션에서 5개 주요 모델에 걸쳐 효과적인 베이스라인을 제공함을 보여줍니다. LandslideVLM은 산사태 식별, 세분화 분류, 의미론적 설명 품질에서 각각 10.96%, 32.87%, 15.91%의 정확도 향상을 달성했습니다. LandslideAgent는 나아가 자율적인 다중 출처 공간 데이터 추론을 가능하게 하여, 산사태 식별 및 분석의 전 과정 지능화를 실현합니다.
동적 4D 가우시안 스플래팅(Dynamic 4D Gaussian Splatting)은 변형하는 장면을 고충실도로 재구성하며, 동적 3D 장면의 표현으로 점차 채택되고 있습니다. 편집, 조작 또는 동작 분석과 같이 이러한 장면을 활용하려면 먼저 분할(segmentation)이 필요합니다. 즉, 가우시안 프리미티브를 응집된 객체로 그룹화하는 것입니다. 현재 파이프라인은 SAM과 같은 파운데이션 모델(foundation model)에서 2D 마스크를 가져와서 가우시안 표현으로 리프팅하거나 증류하여 이 그룹화를 수행합니다. 동적 장면에서는 이러한 마스크를 많은 프레임과 시점에 걸쳐 생성해야 하므로 비용이 많이 들며, 결과적인 분할은 외부 마스크의 품질과 일관성에 강하게 의존할 수 있습니다. 우리는 가우시안 자체에서 객체 수준의 구조를 얼마나 복원할 수 있는지 질문하고, Intrinsic-GS를 제안합니다. Intrinsic-GS는 학습(training)이나 마스크가 필요 없는 방법으로, 외관, 방향, 크기, 변형 궤적 및 학습되지 않은 렌더링 경계 단서로부터 가우시안 프리미티브에 대한 희소 유사도 그래프를 구축합니다. 이 그래프는 Leiden 커뮤니티 탐지를 통해 분할되며, 파운데이션 모델이나 학습된 특징(feature) 필드가 필요하지 않습니다. 표준 4D 가우시안 분할 벤치마크인 Neu3D 및 HyperNeRF에서 Intrinsic-GS는 마스크 감독 없이 상당한 객체 구조를 복원하여 Neu3D에서 0.746 mIoU, HyperNeRF에서 0.575를 달성했습니다. Neu3D에서는 기하학 전용 변형이 0.902 mIoU에 도달하여 SAM 지도 TRASE와 대등합니다. HyperNeRF에서 Intrinsic-GS는 마스크 지도 파이프라인에서 사용되는 마스크 생성 및 특징(feature) 렌더링 단계보다 12.5배 더 빠르게 실행됩니다. 이러한 결과는 분할 신호의 상당 부분이 이미 가우시안 자체에 인코딩되어 있음을 시사하며, 외부 마스크가 신뢰할 수 없거나 비용이 많이 드는 환경에서 더 일반화 가능하고 견고한 분할을 향한 방향을 시사할 수 있는 3D 및 4D 가우시안 분할을 위한 빠르고 마스크 없는 방향을 제공합니다.
Technical Report for ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation Challenge: Leveraging DINOv3 for Robust Outdoor Scene Understanding in Field Robotics
ICRA 2026 필드 로봇 공학 워크샵의 GOOSE 2D 세밀한 의미론적 분할 챌린지는 64개 클래스의 세밀한 분류 체계와 11개의 평가 대상 비공백 거친 범주에 대해 오프로드 이미지의 밀집 의미론적 분할을 평가합니다. 우리는 이 챌린지의 1등 솔루션을 제시합니다. 우리의 솔루션은 두 가지 상호 보완적인 개선 사항으로 구성됩니다: (a) 자기 지도 DINOv3 ViT-L/16 백본(backbone), ViT-Adapter, Mask2Former 마스크 분류(mask-classification) 디코더를 결합하고 전역 [CLS] 토큰에 거친 범주 보조 손실(auxiliary loss)을 적용한 네트워크 수준 설계; (b) 멀티 스케일 및 수평 뒤집기 테스트 타임 증강(test-time augmentation)과 Codabench 점수를 사용하여 선택된 상위 3개 체크포인트의 앙상블(ensemble)을 기반으로 하는 추론(inference) 시간 집계 전략입니다. 우리의 방법은 69.32%의 세밀한 클래스 mIoU와 83.81%의 범주 수준 mIoU로 구성된 공식 종합 점수 76.57%를 달성했으며, 최종 단계 리더보드에서 1위를 차지했습니다: www.codabench.org/competitions/14257/#/results-tab.