실내 RGB-D 스캔에서 CAD 모델을 해당 객체에 정확하게 정렬하는 것은 3D 시맨틱 재구성의 핵심 과제입니다. 이 작업은 3개 축에 대한 위치, 회전, 스케일을 포함하는 9자유도(DoF) 포즈를 추정해야 하지만, 노이즈가 많고 불완전한 스캔과 기하학적 왜곡을 일으키는 세그멘테이션 오류로 인해 제약이 있습니다. 우리는 의미론적 및 문맥 인식 포인트 클라우드 완성 모듈과 대칭 인식 상대 포즈 추정 알고리즘을 통합하여 스캔된 객체에 CAD 모델을 정밀하게 정렬할 수 있게 하는 완성 보조 객체-CAD 정렬(CAOA) 방법을 제안합니다. 기존 완성 방법들은 일반적으로 합성 데이터셋에서 학습 및 평가되며, 이는 실제 스캔으로의 일반화에 종종 실패합니다. 이 격차를 해소하기 위해 우리는 실내 장면에 맞춰진 합성 데이터 생성 전략을 도입하여, 널리 사용되는 완성 데이터셋과의 정량적 비교를 통해 검증된 바와 같이 합성-실제(synthetic-to-real) 도메인 격차를 크게 줄입니다. 또한, 우리는 실제 실내 단일 객체 완성을 위해 제작되었으며 이 작업의 새로운 벤치마크로 의도된 Scan2CAD의 8,500개 이상의 객체-CAD 쌍으로 구성된 전문가 주석 데이터셋인 S2C-Completion을 공개합니다. 객체-CAD 정렬을 위해 우리는 대칭 인식 손실을 통해 대칭 정보를 통합하여 대칭 모호성에 대한 견고성을 향상시킵니다. Scan2CAD 벤치마크에서 CAOA는 최신 방법들 대비 17%의 정확도 향상을 달성했습니다.
범용 구현형 에이전트(embodied agent)는 객체 인식 그 이상이 필요합니다. 이들은 상황화된 시각적 관찰로부터 공간 관계, 행동, 절차, 인간 의도, 환경적 제약, 그리고 상식적 결과에 대해 추론해야 합니다. 그러나 기존의 시각 및 구현형 질의응답 벤치마크는 테스트되는 추론 의존성에 대한 제어가 제한적인 경우가 많아, 그라운딩된(grounded) 구현형 추론과 지름길(shortcut) 기반의 시각적 또는 언어적 패턴 매칭을 구별하기 어렵습니다. 본 논문에서는 구현형 AI(Embodied AI)에서의 추론을 위한 진단용 벤치마크인 ERQA-Plus를 소개합니다. ERQA-Plus는 711개의 로봇 중심 이미지에 기반한 1,766개의 질문-답변 인스턴스를 포함하며, 지각적, 행동 중심, 사회적 상호작용, 네비게이션-환경, 그리고 맥락적 상식 추론에 걸친 구조화된 분류 체계에 따라 구성되었습니다. 이 데이터셋은 시각적 그라운딩(grounding), 답변 타당성, 그리고 추론 품질을 향상시키기 위해 분류 체계 기반 질문 생성, 자동 품질 판단, 반복적 수정, 그리고 인간 평가를 결합한 다단계 생성 및 검증 파이프라인을 사용하여 구축되었습니다. 우리는 LLaVA-NeXT-8B, Prismatic-7B, MiniCPM-V-4.5-8B, Qwen3-VL, RoboRefer-8B, RoboBrain2.5-8B를 포함한 대표적인 범용 비전-언어 모델(vision-language model)과 구현형 모델을 벤치마킹했습니다. 가장 강력한 모델인 Qwen3-VL-32B가 83.4%의 전체 정확도와 61.4의 SBERT 점수를 달성했지만, 카테고리 수준의 결과는 공간 추론, 절차적 추론, 사건 예측, 그리고 의도 추론에서 지속적인 약점을 보여줍니다. 따라서 ERQA-Plus는 구현형 에이전트가 올바르게 답변하는지 여부뿐만 아니라, 어떤 형태의 구현형 추론을 신뢰할 수 있게 수행할 수 있는지와 없는지를 측정하기 위한 세분화된 평가 프레임워크를 제공합니다. 데이터셋은 https://huggingface.co/datasets/huggingdas/erqa-plus 에서, 프로젝트 페이지는 https://github.com/LUNAProject22/erqa-plus 에서 확인할 수 있습니다.
우리는 구현형 지능(embodied intelligence)을 위한 언어 조건부 비디오 월드 모델인 Qwen-RobotWorld를 소개합니다. 자연어를 통합된 행동 인터페이스로 활용하여, 로봇 조작, 자율 주행, 실내 내비게이션, 인간-로봇 전이(human-to-robot transfer) 영역에 걸쳐 현재 관찰로부터 물리적 기반의 미래 시각적 궤적을 예측합니다. 이러한 통합된 접근 방식은 정책 학습 증강을 위한 합성 데이터 생성, 정책 평가를 위한 확장 가능한 가상 환경, 하위 단계 로봇 제어를 위한 언어 기반 계획 신호라는 세 가지 유망한 응용 방향을 제공합니다. 이는 세 가지 설계 요소를 통해 달성됩니다: a) MLLM 행동 인코딩을 갖춘 이중 스트림 MMDiT(Double-Stream MMDiT)로, 60층 이중 스트림 디퓨전 트랜스포머가 층별 결합 어텐션을 통해 고정된 Qwen2.5-VL 의미론과 비디오-VAE 잠재를 결합합니다; b) 구현형 월드 지식(EWK), 20개 이상의 구현체와 500개 이상의 행동 카테고리에 걸친 행동-언어 매핑을 포함하는 860만 개의 비디오-텍스트 말뭉치(2억 프레임 이상); c) General+Expert 점진적 커리큘럼, 공유된 언어 인터페이스 하에서 먼저 일반적인 시각적 사전 지식을 학습한 후 구현형 특화를 주입하는 2단계 학습 전략입니다. 광범위한 실험 결과는 강력한 경쟁력을 보여줍니다: EWMBench와 DreamGen Bench에서 종합 1위를 차지했으며, WorldModelBench와 PBench에서는 모든 오픈 소스 모델을 능가했습니다. RoboTwin-IF 벤치마크에 대한 추가적인 제로샷 분석은 견고한 일반화와 다중 뷰 일관성을 추가로 뒷받침합니다.
포인트 클라우드는 단순성과 기하학적 충실도 덕분에 3D 형상과 장면을 표현하는 가장 널리 채택된 형식입니다. 그러나 센서 노이즈와 오클루전(occlusion)으로 인해 심화된 본질적인 비순서(unordered) 및 불규칙한 특성은 머신러닝 기반 방법론에 독특한 도전 과제를 제시합니다. 이러한 문제를 해결하기 위해 순서성을 갖는 형식으로 변환하거나, 국소 기하학을 추출하고, 순열 불변(permutation-invariant) 또는 셀프 어텐션(self-attention) 기반 처리를 포함하는 다양한 전략이 개발되었습니다. 본 논문에서는 3D 비전의 세 가지 기본 과제인 포인트 클라우드 분류, 부분 분할(part segmentation), 시맨틱 분할(semantic segmentation)을 위한 심층 학습 모델에 초점을 맞춥니다. 우리는 포인트 클라우드 데이터를 형식적으로 정의하는 것으로 시작하여, 그 구조적 특성에 대해 심도 있게 논의합니다. 그런 다음 백본(backbone) 구조를 기준으로 주요 연구를 분류하고, 널리 사용되는 벤치마크에서의 성능을 평가합니다. 단순한 실증적 비교를 넘어, 아키텍처의 혁신과 한계점에 대한 통찰을 제공합니다. 또한 3D 포인트 클라우드 이해를 위한 남아있는 과제와 유망한 미래 방향을 제시합니다.
비지도 객체 중심 학습(OCL)은 시각적 장면을 개별적인 개체로 분해합니다. 슬롯 어텐션은 개별 객체를 슬롯이라 불리는 잠재 벡터로 표현하는 인기 있는 접근법입니다. 현재 방법들은 사전학습된 비전 트랜스포머(ViT)의 마지막 층에서만 이러한 슬롯 표현을 얻으며, 다른 층에 걸쳐 인코딩된 가치 있고 의미론적으로 풍부한 정보를 무시합니다. 이러한 잠재 의미 정보를 더 잘 활용하기 위해, 우리는 비지도 객체 분할을 위한 슬롯 어텐션 기반 접근법에 적용할 수 있는 가벼운 플러그 앤 플레이 프레임워크인 MUFASA를 소개합니다. 우리 모델은 ViT 인코더의 여러 특징 층에 걸쳐 슬롯 어텐션을 계산하여, 그 의미론적 풍부함을 완전히 활용합니다. 우리는 여러 층에서 얻은 슬롯을 통합된 객체 중심 표현으로 집계하는 융합 전략을 제안합니다. 기존 OCL 방법에 MUFASA를 통합하면 여러 데이터셋에서 분할 결과가 개선되어 새로운 최신 성능을 기록하며, 동시에 미미한 추론 오버헤드만으로 학습 수렴을 개선합니다.
NAVI-Orbital은 저궤도(LEO) 우주선 YAM-9에 Gemma 3 비전-언어 모델과 LangGraph 기반 탐지·대화 에이전트를 탑재해, 평이한 영어 프롬프트로 장면 분류·설명 생성·운영자 대화를 제로샷으로 궤도 내에서 수행한 최초 실증을 2026년 4월 16일 달성했다. AID 벤치마크 88.16% 정확도와 플랫샷·실시간 궤도 캡처 검증을 통해, 비행 장비 미세조정 없이도 위성급 엣지 GPU에서 파운데이션 모델로 관측 영상을 의미적으로 압축해 다운링크 대역폭 부담을 줄일 수 있음을 보였다.
이벤트 카메라는 마이크로초 수준의 지연 시간과 고동적 범위를 통해 비동기 밝기 변화로 세상을 감지하며, 프레임 기반 센서를 훨씬 뛰어넘는 모션 충실도를 제공하고 기존 노출 방식이 놓치는 시간적 구조를 포착합니다. 이러한 특성은 이벤트를 자율 주행에서 RGB의 강력한 보완 수단으로 만들어주며, 특히 프레임 기반 인지가 신뢰할 수 없게 되는 흐림, 눈부심, 급격한 움직임 상황에서 유용합니다. 그러나 기존의 이벤트 인식 비전-언어 모델은 일반적인 인지에 국한되어 있어, 이벤트 감지가 전체 주행 루프에 걸친 추론 및 의사결정에 어떻게 기여하는지 보여주지 못합니다. 우리는 이벤트 스트림, RGB 프레임, 언어 감독을 인지, 이해, 예측, 계획이라는 4가지 핵심 차원에 걸쳐 통합하고, 캡션, 구조화된 질의응답(QA), 그라운딩, 동작 상태 인식, 궤적 예측, 계획 작업을 포괄하는 대규모 벤치마크 및 모델 스위트인 EventDrive를 제시합니다. 이 기반을 바탕으로, EventDrive-VLM은 다중 시간 수평 이벤트 피라미드와 시간 수평 전문가 혼합(MoE) 모듈을 도입하여 비동기 및 프레임 기반 정보를 다운스트림 추론을 위해 적응적으로 인코딩하고 융합합니다. 다양한 작업에 걸친 포괄적인 평가 결과, 이벤트 스트림은 시간적 정밀도, 모션 인식, 강건성에서 상당한 이득을 제공하며, 이벤트 감지를 주행 지능의 중심으로 가져옴을 보여줍니다.
Open Forest Observatory(OFO)는 대학 및 기타 파트너 간의 협력으로, 생태학자, 토지 관리자 및 일반 대중이 저비용 산림 지도 작성에 접근할 수 있도록 하는 것을 목표로 합니다. OFO는 지리 공간적 산림 데이터 데이터베이스뿐만 아니라 무인 항공기(UAV)를 이용한 산림 지도 작성을 위한 오픈 소스 방법과 도구를 구축하고 있습니다. 이러한 데이터는 조림 노력의 우선순위 선정, 산불 위험 감소 정보 제공, 탄소 격리 모니터링을 포함한 다양한 기후 응용 분야에 유용합니다. OFO 산림 지도 데이터베이스의 현재 반복(iteration)에서는 3D 나무 지도가 고전적인 Structure-from-Motion(SfM) 기법을 사용하여 생성됩니다. 이 접근 방식은 인공물(artifact)이 발생하기 쉽고 디테일이 부족하며, 입력 데이터(수직 촬영 이미지)의 가시성이 제한적인 지표(forest floor)에서 특히 어려움을 겪습니다. 이러한 재구성 오류는 잠재적으로 다운스트림(downstream) 과학적 작업(예: 산불 시뮬레이션)으로 전파될 수 있습니다. Neural Radiance Fields(NeRF)와 같은 방법을 포함한 3D 재구성의 발전은 희소한 뷰(sparse view)에 더 강건하고 데이터 기반 사전(prior)을 지원하는 더 고품질의 결과를 생성합니다. 우리는 OFO 데이터셋에 NeRF를 통합하는 방법을 탐색하고, 최첨단(SOTA) 3D 비전 모델을 더 많이 지원하기 위한 향후 작업을 개요하며, 임업 응용 분야에서 고품질 3D 재구성의 중요성을 설명합니다.
Mamba 기반 상태 공간 모델은 고해상도 밀집 예측을 위한 선형 시간 장거리 모델링을 제공하지만, 순차적 상태 공간 전파는 다중 클래스 의미론적 분할에서 중요한 경계 민감 및 세부 사항 민감 반응을 약화시킬 수 있습니다. 우리는 이러한 전파 유발 반응 희석을 세 가지 분할 특화 설계를 통해 해결하는 의미론적 분할 프레임워크인 Reload-Mamba를 제안합니다: (i) 반응 복원이 필요한 영역을 식별하기 위해 정답 경계 마스크로 명시적으로 학습된 경계 감독 지역 세부 사항 사전(prior); (ii) Reload 이전 보조 헤드의 픽셀별 클래스 엔트로피를 추가 게이팅 신호로 통합하는 클래스 불확실성 인식 Reload 게이트(이는 다중 클래스 밀집 예측에서만 유의미한 형식화임); 그리고 (iii) 세 개의 디코더 레벨에서 희석 방지 정제를 적용하고 복원된 표현을 하향식(top-down)으로 융합하는 계층적 다중 레벨 Reload 메커니즘입니다. 멀티 스케일 디코더 및 픽셀별 방향성 어텐션(attention)을 갖춘 4방향 Mamba 스캐닝을 포함하는 ConvNeXt-Tiny 인코더를 기반으로 구축된 Reload-Mamba는 ADE20K에서 47.9% 단일 스케일 (48.9% 멀티 스케일) mIoU를, Cityscapes에서 83.2% 단일 스케일 mIoU를 달성했습니다. 표준 DeepLab 스타일 프로토콜 하에서 ResNet-101과 COCO 사전학습(pre-training)을 사용할 때, Reload-Mamba는 PASCAL VOC 2012 검증 세트에서 87.8% mIoU에 도달했습니다. 제어된 소거 연구(ablations)에 따르면, 세 가지 분할 특화 설계 각각은 이진화(binarization)를 위해 제안된 기존 희석 방지 아키텍처의 직접 이식보다 더 많이 기여하며, ADE20K에서 직접 이식 기준선(baseline) 대비 누적적으로 +2.2 mIoU를 개선했습니다.
대화형 월드 모델(interactive world model)은 실시간 사용자 행동(액션)에 따른 환경 동역학을 시뮬레이션하는 것을 목표로 합니다. 그러나 이들의 액션 어휘(action vocabulary)는 대부분 내비게이션(navigation)으로 제한됩니다. 대부분의 행동은 이동(예: 걷기, 회전, 둘러보기)에 해당하지만, 장면 내 객체와의 상호작용(예: 접시 집기, 문 열기, 물리적 반응 유발)은 없거나 게임 도메인에만 국한되거나 프롬프트-투-풀-비디오(prompt-to-full-video) 시나리오로만 처리됩니다. 결과적으로 생성된 월드는 시각적으로는 탐색이 가능하지만, 실제로는 행동이 불가능합니다. 본 연구에서는 청크 자동회귀(chunk-autoregressive) 프레임워크 내에서 롤아웃(rollout) 중간 단계의 객체 상호작용을 지원하도록 기존의 내비게이션 중심 생성기를 확장한 대화형 월드 모델인 ActWorld를 제시합니다. 우리는 내비게이션과 상호작용 간의 격차가 두 가지 병목 현상에서 기인한다고 주장합니다. 첫째, 데이터 병목(data bottleneck)으로, 정확하고 조밀한 레이블이 포함된 인간-객체 상호작용 데이터가 부족하다는 점입니다. 둘째, 메모리 병목(memory bottleneck)으로, 기존 월드 모델의 최근성 편향된 이력 압축이 후속 객체 상태를 인과적으로 결정하는 이벤트 전이 프레임(event-transition frames)을 폐기하여, 액션 망각(action-forgetting) 병리 현상을 초래한다는 점입니다. 데이터 측면에서는 사고의 연쇄(Chain-of-Thought) 추론을 통해 청크별 캡션(per-chunk captions)이 주석된 10만 개의 상호작용 비디오 데이터셋을 구축했습니다. 모델 측면에서는 상호작용 중요도에 따라 이력 압축을 분배하는 계층적 액션 인지 메모리(action-aware memory) 설계를 도입했으며, 긴 롤아웃(rollout) 동안 이벤트 업데이트 및 객체 정체성 토큰(object-identity tokens)을 유지하는 지속적 메모리 뱅크(persistent memory bank)를 이를 보완했습니다. 실험 결과 ActWorld는 단일 모델 내에서 유연한 내비게이션과 풍부한 객체 상호작용을 모두 지원하며, 시점 제어(viewpoint control)를 희생하지 않으면서도 내비게이션 전용 기준 모델(baselines) 대비 상호작용 충실도(interaction fidelity)를 획기적으로 향상시키는 것으로 나타났습니다. 프로젝트 페이지는 https://interactwm.github.io/ActWorld 에서 확인할 수 있습니다.
Heterogeneous SAR-optical fusion for near-real-time land use and land cover mapping under cloud contamination: A novel framework and global benchmark dataset
광학 원격 탐사 영상은 구름 및 구름 그림자 오염으로 인해 빈번히 열화되며, 이는 준실시간 토지 이용 및 피복(LULC) 매핑에 대한 신뢰성을 제한합니다. 합성 개구 레이더(SAR)는 구름을 투과하는 구조적 정보를 제공할 수 있지만, 기존 SAR-광학 융합 방법들은 종종 신뢰할 수 있는 광학 관측을 가정하며, 구름 오염으로 인해 도입된 의미적 불확실성을 충분히 해결하지 못합니다. 이 문제를 해결하기 위해, 우리는 CloudLULC-Net을 제안합니다. 이는 구름으로 오염된 Sentinel-2 영상과 시간적으로 인접한 Sentinel-1 SAR 관측으로부터 LULC 맵을 직접 예측하는 엔드-투-엔드 이종 SAR-광학 융합 프레임워크입니다. 제안된 네트워크는 신뢰할 수 없는 광학 응답을 억제하기 위한 광학 신뢰도 변조, 광학 및 SAR 표현 간의 고차원 공간-채널 상호작용을 모델링하기 위한 이종 정보 적응형 집계, 그리고 LULC 지향 잠재 공간에서 융합된 특징을 정리하기 위한 통합 의미 매핑 트랜스포머(transformer)를 통합합니다. 또한 중간 의미 표현의 일관성을 향상시키기 위해 의미적 앵커 기반 최적화 전략을 도입했습니다. 이 작업을 지원하기 위해, 우리는 CloudLULC-Set을 구축했습니다. 이는 다양한 지리적 지역 및 구름 조건에 걸쳐 픽셀 수준 LULC 주석이 포함된 40,223개의 선별된 SAR-광학-레이블 트리플렛을 포함하는 대규모 벤치마크 데이터셋(dataset)입니다. 실험 결과, CloudLULC-Net은 OA 86.60%, F1-score 83.29%, mIoU 73.51%를 달성하여 대표적인 이종 재구조화 우선 및 엔드-투-엔드 SAR-광학 매핑 방법보다 우수한 성능을 보였습니다. 기존 글로벌 LULC 제품과의 비교 및 다양한 구름 피복 수준 하에서의 분석은 구름이 빈번한 지역에서의 목표 날짜 LULC 매핑을 위한 CloudLULC-Net의 견고성과 실용적 가치를 추가로 입증합니다. 이 프로젝트는 https://github.com/RSIIPAC/CloudLULC 에서 공개적으로 제공됩니다.
공간 비전-언어 모델(Spatial VLM)은 기하학적 지각에서 상당한 진전을 이루었으나, 깊이, 거리 및 장면 관계에 걸친 다단계 추론을 요구하는 복잡한 공간 추론은 여전히 어려운 과제로 남아 있습니다. 더욱이, 서로 다른 공간 질의는 근본적으로 상이한 전략을 요구합니다. 일부는 순수하게 언어적인 단계별 연역을 통해 가장 잘 해결되는 반면, 다른 일부는 정량적 추론 이전에 명시적인 3D 그라운딩(grounding)이 필요합니다. 본 논문에서는 공간 비전-언어 모델을 위한 강화학습 기반 이중 경로 공간 추론(SR-REAL)을 제시합니다. 이는 공간 비전-언어 모델에 두 가지 상호 보완적인 추론 경로를 갖추게 하는 통합 프레임워크로, 단계별 언어적 연역을 수행하는 언어 전용 추론(Language-Only Reasoning, LOR)과 명시적인 기하학적 추론 이전에 영역 토큰(region tokens)을 통해 3D 기하학적 단서(예: 중심점 또는 경계 상자)를 탐지하는 탐지 후 추론(Detect-Then-Reason, DTR)으로 구성됩니다. SR-REAL은 LOR 및 DTR의 사고의 연쇄(chain-of-thought) 지도 신호를 구성하고 영역-3D 인터페이스를 제공하는 콜드 스타트(cold-start) 지도 미세조정 단계로 시작하며, 이어 정확도와 형식 보상을 통해 정책 모델을 최적화하는 강화학습(RL) 단계가 뒤따릅니다. DTR의 경우, 이산적인 중심 기반 탐지 보상이 기하학적 정렬을 더욱 정교하게 다듬습니다. 다양한 공간 벤치마크(benchmarks)에서 SR-REAL은 기존 공간 비전-언어 모델 베이스라인을 크게 초과하는 성능을 보였습니다: (i) 단일 강화학습 학습 모델이 두 가지 추론 경로를 모두 지원하며, DTR은 정밀한 3D 지역화(localization)를 통해 영역 인식 작업에서 탁월한 성과를 보이고 LOR은 일반적인 공간 추론을 향상시킵니다; (ii) 두 경로의 공동 학습은 상호 강화 효과를 촉진합니다; (iii) 고품질의 혼합 콜드 스타트 데이터는 안정적인 강화학습 최적화에 결정적입니다; (iv) 해당 모델은 작업별 튜닝 없이도 데이터셋과 도메인 전반에 걸쳐 일반화되며, LOR과 DTR 간의 긍정적 전이(positive transfer)를 입증합니다.
자율 주행을 위한 생성형 월드 모델은 자유 형식 언어, HD 맵, 궤적, 카메라 포즈가 호환되지 않는 표현 공간에 존재하는 '이종 제어 주입(heterogeneous control injection)'과 카메라별 잠재 표현이 전역 3D 기하학을 인코딩하지 못하는 '사후 크로스 뷰 융합(post-hoc cross-view fusion)'이라는 두 가지 해결되지 않은 긴장 관계에 직면해 있습니다. 우리는 이 두 문제가 잠재 토큰 수준에서 언어, 기하학, 픽셀을 정렬하는 공유된 기호 중간 언어(symbolic interlingua)의 부재라는 단일 근본 원인에서 비롯됨을 추적했습니다. 우리는 제어 가능한 다중 뷰 비디오 생성을 잠재 안무(latent choreography)로 재정의하는 LLM 연출 다중 에이전트 월드 모델인 DRIVE-CHOREO를 제시합니다. 사용자 의도를 구조화된 WorldScript로 파싱하는 Director, 이를 공간적으로 고정된 레이아웃 토큰으로 그라운딩(grounding)하는 Cartographer, 그리고 크로스 뷰 비평을 보조 감독으로 피드백하는 Auditor 등 세 개의 Qwen2.5-VL 에이전트가 협력하여 단일 위치 인식 토큰 시퀀스를 작성합니다. 이 시퀀스는 3D VAE의 합성곱 수용장(convolutional receptive field) 내에서 카메라 간 기하학을 강제하는 뷰-시간 순열(view-time permutation)을 통해 다중 뷰 비디오와 공동 압축됩니다. nuScenes 데이터셋에서 DRIVE-CHOREO는 경쟁력 있는 FVD(45.7)를 유지하며 새로운 최첨단 다중 뷰 일관성과 BEV mAP(21.6)을 달성했습니다. 또한, 우리의 합성 데이터로만 학습된 탐지기(dector)가 실제 검증(validation) 세트에서 +2.4 NDS를 향상시켜 다운스트림 유용성을 입증했습니다.
현실 세계에서 구현형 에이전트를 학습(training)시키는 데는 숙련된 운영자와 비싼 하드웨어가 필요합니다. 시뮬레이션 환경은 대규모의 비용 효율적인 데이터 증강(data augmentation)을 가능하게 하여 매력적인 대안을 제공합니다. 결과적으로, 시뮬레이션-현실(sim-to-real) 간의 격차를 최소화하면서 고품질의 시뮬레이션 장면을 신속하게 구축하는 것이 로봇 학습의 중요한 목표가 되었습니다. 재구성 기반 방법은 우수한 시각적 품질을 제공하지만, 현재 워크플로우는 비효율적인 데이터 수집과 미흡한 전경 객체 추출로 인해 제약이 있습니다. 따라서 우리는 시뮬레이션 장면 구축을 위한 고도로 자동화된 시스템인 GASE를 제안합니다. GASE는 파노라마 카메라 배열에서의 다중 뷰 비디오 스트림을 활용하여 빠른 환경 스캔을 가능하게 합니다. 고품질 자산 생성을 보장하기 위해, 우리의 파이프라인은 2D 도메인에서 프레임 간 객체를 견고하게 추출하는 카메라 포즈 기반 전략을 도입하고, 이어 고품질 장면 인페인팅(inpainting)을 수행합니다. 전경 객체와 정적 배경은 그 후 독립적으로 재구성되어 정책 학습을 위해 물리 시뮬레이터에 매끄럽게 가져와집니다. 광범위한 실험을 통해 GASE는 최첨단 인페인팅 품질을 달성하면서 기존 3D 가우시안 기반 방법보다 분할 정확도에서 10% 이상 우수함을 입증했습니다. 또한, 조작(manipulation) 및 내비게이션(navigation) 작업에 걸친 실제 로봇 배포 결과, 순수하게 현실 세계 데이터로 학습된 정책과 비교하여 10% 미만의 성능 격차를 유지했습니다. 이러한 결과는 GASE가 시뮬레이션-현실(sim-to-real) 격차를 해소하기 위한 효율적이고 매우 효과적인 솔루션을 제공함을 확인시켜 줍니다. 코드는 공개될 예정입니다.
범용 비전-언어-행동 시스템은 신뢰할 수 있는 로봇 궤적을 계획하기 위해 객체 중심의 3D 증거와 재사용 가능한 조작 경험이 필요합니다. GeneralVLA는 언어와 RGB-D 관찰을 3D 엔드 이펙터 경로로 변환하는 계층형 인터페이스를 제공하지만, 두 가지 병목 현상이 남아 있습니다. 첫째, 단안 SAM3D 스타일의 객체 재구성은 자세와 보이지 않는 기하학에 대해 환각을 일으킬 수 있으며, 반면 조작은 보정된 다중 뷰 관찰이 가능할 때 안정적인 객체 형상의 이점을 누립니다. 둘째, 원래의 KnowledgeBank는 주로 의미적으로 유사한 스니펫을 검색하여 새로운 지식을 추가하는 방식이므로, 메모리 품질, 충돌, 신뢰도 및 기하학적 관련성을 제어하기 어렵습니다. 첫 번째 과제를 해결하기 위해, 우리는 입력 뷰 마스크로 외부 기하학적 단서를 검증하고, 소프트 비주얼 헐 지원을 적용하며, 축별 정제를 수행하고, 외관을 보존하면서 기하학만 융합하는 기하학적 사전(prior) 안내 MV-SAM3D 재구성 분기인 GeoFuse-MV3D를 도입합니다. 두 번째 과제를 해결하기 위해, 우리는 KnowledgeBank를 명시적인 품질, 신뢰도, 수명 주기, 검증기 및 충돌 메타데이터와 함께 정밀도 지향 검색을 갖춘 통제된 장기 메모리 시스템으로 업그레이드합니다. 마지막으로, 우리는 GSO-30에서 재구성 분기를 평가하고 Terminal-Bench 2.0 및 SWE-Bench Verified에서 메모리 모듈을 평가했습니다. GeoFuse-MV3D는 CD와 LPIPS를 각각 2.20%와 2.02% 감소시키고 PSNR과 SSIM을 각각 2.36%와 1.03% 증가시켜 MV-SAM3D 기준선보다 개선되었으며, KnowledgeBank는 Terminal-Bench SR에서 4.53%, SWE-Bench 해결률에서 3.73% 향상되어 ReasoningBank보다 개선되었고, 각각 AS를 4.95%와 5.65% 감소시켰습니다. Code: https://github.com/AIGeeksGroup/GeneralVLA-2. Website: https://aigeeksgroup.github.io/GeneralVLA-2.
시뮬레이션은 확장 가능한 로봇 데이터 수집을 가능하게 하지만, 원본 3D 자산은 기하학적 정보만 제공하며 로봇이 어디서 어떻게 행동해야 하는지를 지정하는 데 필요한 의미론적, 상호작용, 물리적 지식이 부족합니다. 이 연구에서 우리는 AnnotateAnything을 소개합니다. 이는 수동적인 3D 자산을 구조화되고 다양하며 실행 가능한 조작 라벨을 갖춘 조작 가능한 자산으로 변환하는 범용 자동 주석 프레임워크입니다. AnnotateAnything은 두 가지 상호 보완적인 파이프라인을 중심으로 구축되었습니다. 첫째, 비전-언어 추론을 사용하여 객체 의미, 상호작용 제약 조건, 3D 기반 단서를 추론하는 통합 비전-언어 주석 파이프라인으로, 의미 있는 상호작용 영역을 식별하기 위한 인간 선행 지식 가이드를 제공합니다. 둘째, 완전 자동이고 대규모 병렬인 물리 주석 파이프라인은 후보 생성, 기하학 최적화 및 궤적 생성을 통해 각 자산의 기하학 및 물리적 제약 조건에 이러한 선행 지식을 반영하여 구체화합니다. 이 파이프라인은 그립 자세, 민첩한 접촉, 관절 웨이포인트, 삽입 방향, 걸이 어포던스, 내비게이션 목표를 포함한 다양하고 실행 가능한 행동 주석을 생성합니다. 생성된 주석을 사용하여, 우리는 다양한 객체, 작업 및 로봇 구현체에 걸친 비동기 병렬 시뮬레이션 데이터 수집 시스템을 추가로 구축했습니다. 실험 결과 AnnotateAnything은 기존 주석 및 데이터 생성 파이프라인 대비 우수한 주석 효율성, 데이터 수집 효율성 및 작업 성공률을 달성하며, 어포던스 감지, 로봇 VQA, 비주얼 인스트럭션 파인튜닝과 같은 다운스트림 작업도 지원함을 보여줍니다. 우리는 프로젝트 페이지에 프로젝트 자료를 제공하며, 향후 연구를 촉진하기 위해 전체 코드, 주석 및 벤치마크를 공개할 계획입니다. 비디오, 코드, 데모 자산 및 주석은 보충 자료에 제공됩니다. 프로젝트 페이지: https://tourmaline-caramel-169490.netlify.app.
본 논문에서는 ICRA 2026 GOOSE 2D 세분화 시맨틱 분할(FGSS) 챌린지를 위해 Mask2Former를 작업 특화적으로 적용한 GOOSE-M2F를 제안합니다. GOOSE 벤치마크는 구조화되지 않은 야외 지형에 걸쳐 64개의 세분화 클래스를 포함하며, 희소 클래스가 이미지당 50픽셀 미만을 차지하는 심각한 롱테일 분포를 특징으로 합니다. 우리는 Swin-Large Mask2Former 기준선(baseline)을 다음의 세 가지 기여를 통해 확장했습니다: (1) 표현 포화(representational saturation)를 방지하기 위한 200개의 객체 쿼리(object queries), (2) ASPP-lite와 CBAM 듀얼 어텐션(dual-attention)을 결합한 특징(feature) 정제 모듈(FRM), (3) 희소 클래스에 대해 직접적인 픽셀당 그라디언트를 전달하는 보조 감독 헤드(Auxiliary Supervision Head). 다단계 학습(training) 전략은 분포 균형 손실(Distribution-Balanced loss), 희소 클래스 복사-붙여넣기(Rare-Class Copy-Paste) 증강, 동적 IoU 인식 재가중화(dynamic IoU-aware re-weighting), EMA를 결합합니다. 추론(inference) 시에는 2D 가우시안 커널(kernel) 블렌딩과 4스케일 TTA를 적용한 밀집 슬라이딩 윈도우 엔진을 사용하여 성능을 10.57% 향상시켰습니다. GOOSE-M2F는 공식 복합 mIoU 70.08%(세분화 63.55%, 일반 76.61%)를 달성하여 GOOSE 2D FGSS 리더보드에서 3위를 차지했습니다. 코드와 학습된 모델은 GitHub: https://github.com/Aditya-Lingam-9000/GOOSE-M2F 및 Hugging Face: https://huggingface.co/XYZ9843/GOOSE-M2F에서 공개적으로 제공됩니다.
단일 이미지에서 완전한 3D 장면을 생성하려면 본질적으로 모호한 시각적 정보로부터 전역적으로 일관된 기하학, 객체 관계 및 환경적 맥락을 추론해야 합니다. 레이아웃 및 메시 공동 생성의 최근 발전에도 불구하고, 기존 방법들은 종종 여러 요소를 동시에 결합하고 광범위한 장면 수준의 감독을 요구하는 전체적이거나 약하게 분해된 파이프라인에 의존하며, 이는 복잡한 실제 환경으로의 일반화를 제한합니다. 우리는 단일 이미지 3D 장면 생성을 장면 초기화, 환경 구축 및 다중 에이전트 정제의 세 가지 구조화된 단계로 분해하는 다중 에이전트 오케스트레이션 프레임워크를 제안합니다. 초기화 단계는 이미지 기반 객체 마스크를 추출하고, 객체 수준의 3D 표현을 구축하며, 대략적인 3D 장면을 형성하기 위해 초기 공간 레이아웃을 예측합니다. 환경 구축 단계는 이 초기화와 포인트 맵 기하학을 활용하여 지지 표면, 방 경계, 재질 및 조명으로 구성된 환경적 스캐폴드를 구축합니다. 마지막으로, 정제 단계에서 플래너 에이전트는 구조적 및 시각적 불일치를 식별하고 간단한 수정을 직접 적용하며, 전역 장면으로 재통합되는 복잡한 국소적 수정을 위해 전문가 에이전트를 파견합니다. 장면 수준 주석에 대한 의존도를 낮추면서 신뢰할 수 있는 구조적 초기화를 제공하기 위해, 우리는 포인트 맵에서 도출된 희소 기하학적 사전에 의해 감독되는 기하학 인식 레이아웃 예측기를 추가로 도입합니다. 완전히 감독된 레이아웃 생성기와 달리, 해당 예측기는 분할 수준 데이터로부터 학습될 수 있으며 다양한 실제 장면에 강건하게 일반화됩니다. 벤치마크 데이터셋에 대한 광범위한 실험 결과, 우리의 방법은 기하학적 정확도, 공간적 일관성 및 지각적 사실성 측면에서 기존 접근 방식을 일관되게 능가함을 보여줍니다.
비전-언어 모델(VLMs)이 각 카메라 이동이 뷰를 어떻게 변화시키는지 예측하고, 이러한 이동들을 미리 계획할 수 있는가? 우리는 이 능력을 뷰 계획(view planning)이라고 부르며, 이는 (1) 단일 행동이 뷰를 변환하는 방식을 이해하고, (2) 목표 뷰를 식별하기 위해 다중 턴(multi-turn) 계획에 걸쳐 이러한 변환들을 합성(composing)하는 것을 요구한다. 우리는 제안하는 ViewSuite, 즉 실제 ScanNet 장면에 기반한 3D 포인트 클라우드 환경에서 두 가지 능력을 모두 조사한다. 13개의 최첨단(frontier) VLMs에 걸쳐 중요한 계획 격차(gap)가 드러났다: 이들은 기본적인 뷰-행동(view-action) 지식을 갖추고 있지만 다중 턴 계획에 걸쳐 이를 합성하는 데 실패하며, 시점 거리가 멀어질수록 격차가 더욱 벌어진다. 이 격차를 해소하기 위해, 우리는 자가 탐험(self-exploration)과 뷰 그래프 증류(distillation)를 번갈아 수행하는 반복적 프레임워크를 제안한다. 핵심 통찰은 결과에 상관없이 모든 탐험 궤적(trajectories)이 장면 전체에서 시점들이 연결되는 방식을 간결하게 포착하는 뷰 그래프를 형성한다는 것이다. 이 그래프를 다양한 지도 학습(supervised) 작업으로 증류하면 정책(policy) 분포를 재구성하고, 순수 강화학습(RL)을 정체시키는 희소 보상(sparse rewards) 문제를 극복할 수 있다. 이를 통해 Qwen2.5-VL-7B는 대화형 뷰 계획(interactive view planning)에서 2.5%에서 47.8%로 향상되었으며, GPT-5.4 Pro (18.5%)와 Gemini 3.1 Pro (21.4%)를 능가했다. 자가 탐험은 3D 공간에서 능동적으로 추론하고 계획할 수 있는 VLMs로 나아가는 유망한 경로로 부상하고 있다. 코드와 데이터는 https://viewsuite.github.io에서 확인할 수 있다.
자율 주행(AD)에서의 시공간 지능은 에이전트가 다중 뷰 관찰을 일관된 장면 표현으로 통합하고, 관점과 시간에 걸쳐 객체 연속성을 유지하며, 공간 관계, 상호작용 및 미래 역학에 대해 추론할 것을 요구합니다. 그러나 기존 AD 비전-언어 벤치마크는 대부분 단일 뷰, 정적, 자기 중심적(ego-centric), 또는 단일 소스 질의응답에 초점을 맞추고 있어, 현재 비전-언어 모델(VLM)이 동적인 주행 장면을 진정으로 구성하고 추론할 수 있는지 여부가 불분명합니다. 우리는 5개의 대규모 AD 데이터셋에서 20개 작업에 걸친 1만 5600개의 인간 검증 질의응답 쌍으로 구성된 벤치마크인 DriveSpatial을 소개합니다. DriveSpatial은 인지적 장면 구성, 다중 뷰 관계 이해, 시간적 추론, 일반화의 4가지 능력을 평가합니다. 이전 벤치마크와 달리, DriveSpatial은 객체 상태, 공간 관계, 상호작용, 카메라 가시성 및 시간적 대응을 인코딩하는 동적 다중 관계 장면 그래프에서 생성되어, 진정한 뷰 간 및 시공간 추론을 요구하는 질의응답 쌍을 가능하게 합니다. 15개의 대표적인 VLM을 평가한 결과 상당한 인간-모델 격차가 드러났습니다: 가장 강력한 모델도 인간보다 28.4점 뒤처지며, 인지적 장면 구성이 주요 병목 현상으로 나타났습니다. 추가적인 진단 결과, 언어 전용 프롬프팅은 불충분하며, 명시적인 BEV 그라운딩이 성능을 일관되게 향상시키는 것으로 나타났습니다. 이러한 결과는 현재 VLM이 신뢰할 수 있는 시공간 주행 지능에 필요한 장면 구성 능력이 부족함을 시사합니다. DriveSpatial과 그 구성 파이프라인은 향후 연구를 지원하기 위해 공개될 예정입니다.