생체음향학(bioacoustics)과 행동학(ethology)은 광범위한 오디오 이해 과제를 포괄하며, 이들 중 다수는 대규모 오디오-언어 모델의 최근 발전으로부터 혜택을 받을 수 있습니다. 그러나 지금까지 이 분야의 발전은 종 및 울음소리 유형 분류와 같이 라벨 중심의 생물학적 범주 인식에 주로 초점을 맞춘 좁은 범위의 과제에서만 평가되어 왔습니다. 본 연구에서는 음향 인지, 생물학적 범주 인식, 장면 이해, 문맥 내 학습(ICL)에 걸친 생체음향학 과제 분류 체계에 기반한 벤치마크인 BEANS-Next를 소개합니다. BEANS-Next를 통해 기존 모델들이 기존 평가에서 강조된 과제군을 벗어나면 제한적인 성능을 보이며, 이로 인해 더 폭넓은 생체음향학 응용 분야에서의 유용성이 제약된다는 점을 보여줍니다. 이러한 더 넓은 과제 영역에서의 발전을 지원하기 위해, 확장 큐레이션된 실제 데이터와 이전에 충분히 활용되지 않았던 행동 및 음향 메타데이터를 기반으로 구축되고, 라벨링이 불충분한 경우 오디오 파생 정보 및 확장 가능한 합성 생성으로 보완된 대규모 학습(training) 자원인 ROOTS를 함께 소개합니다. 이 데이터셋(dataset)으로 학습하면 BEANS-Next의 모든 과제 그룹에 걸쳐 상당한 진전이 이루어져, 오디오-언어 모델이 생체음향학 및 행동학을 위한 범용 보조 도구로서의 잠재력에 한층 더 다가설 수 있음을 입증합니다. 해당 분야의 발전을 가속화하기 위해 벤치마크, 데이터셋, 데이터 파이프라인을 오픈 소스로 공개합니다.
공간 시청각 이해(Spatial audio-visual understanding)는 모델이 무엇이 존재하는지뿐만 아니라 이벤트가 어디에서 발생하고 양상(modality) 간에 어떻게 연관되는지 인식할 것을 요구합니다. 기존 벤치마크는 시뮬레이션된 장면에 의존하거나 고립된 공간 기술만을 평가하며, 실패 모드에 대한 제한적인 진단적 통찰만을 제공하는 경우가 많습니다. 본 논문에서는 3가지 능력 수준과 7가지 평가 과제에 걸쳐 공간 시청각 이해를 체계적으로 평가하는 실제 환경 벤치마크인 SAVU-Bench를 소개합니다. 나아가 추론 질문을 필수 선행 과제인 그라운딩(grounding) 및 정렬(alignment) 하위 과제로 분해하는 장면 연계 진단 세트인 SAVU-Diag를 제시합니다. SAVU-Bench에서 12개의 대표 모델을 평가한 결과, 시각적 공간 그라운딩은 비교적 성숙한 반면 오디오와 관련된 공간 지각은 여전히 주요 병목 현상으로 남아 있음을 확인했습니다. SAVU-Diag는 대부분의 추론 오류가 이러한 선행 과제의 실패와 함께 발생하지만, 선행 과제가 올바르게 해결되더라도 추론 격차가 여전히 지속됨을 추가로 보여줍니다. 이러한 발견에 착안하여, 공간적 단서를 더욱 명시적으로 만들어 주는 학습(training) 없는 증거 증강 기준선(baseline)인 SAVU-EA를 소개합니다. SAVU-EA는 공간 그라운딩과 결합 매칭을 크게 향상시키지만, 고차원적 공간 추론은 여전히 어려운 과제로 남아 있습니다. 본 연구의 결과는 강건한 공간 오디오 지각과 교차 양상 공간 관계의 더 깊은 통합이 시급함을 강조합니다.
비전-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작 능력을 향상시키기 위해 중간 추론(intermediate reasoning)을 점진적으로 통합하고 있으나, 기존 접근법들은 미래 장면의 변화를 명시적으로 예측하지 않고 주로 관찰된 상태만을 바탕으로 추론합니다. 그러나 이러한 추론을 모든 추론(inference) 단계에서 명시적인 미래 롤아웃(rollout)으로 확장하는 것은 상당한 연산 오버헤드를 유발합니다. 본 논문에서는 모델이 미래를 상상하고 핵심(gist)을 내면화할 수 있도록 하는 VLA 추론 프레임워크인 IG-VLA를 제안합니다. 제안하는 잠재 시공간 추론(Latent Spatiotemporal Reasoning)은 시각적 표현 공간에서 직접 작업과 관련된 미래 장면 변화를 상상하도록 학습하여, 비용이 많이 드는 픽셀 수준의 비디오 생성 없이도 행동 예측을 유도합니다. 추론 오버헤드를 더욱 줄이기 위해, 추론을 통해 도출된 장면-행동 연관성을 컴팩트한 장면 요약 토큰(Scene Gist Token)으로 내면화하는 장면 요약 메모리(Scene Gist Memory)를 도입하여, 추론 시 명시적인 미래 상상을 거치지 않으면서도 미래 추론의 이점을 유지하도록 합니다. LIBERO, LIBERO-Plus 및 VLABench에 대한 광범위한 실험은 IG-VLA의 효과성과 효율성을 입증합니다. LIBERO-Plus Language 제품군에서 추론 정책과 요약 정책 모두 성공률 면에서 가장 강력한 기준선(baseline) 대비 약 6% 높은 성능을 보였습니다. 또한 요약 정책은 기준선 대비 최대 6.38배의 속도 향상을 달성하여, 단일 NVIDIA A6000 GPU에서 액션 청크당 추론 지연 시간을 1081ms에서 169.5ms로 단축했습니다. 이러한 결과는 효율적인 VLA 배포를 위해 미래 시공간 추론이 효과적으로 내면화될 수 있음을 보여줍니다.
비전-언어(vision-language) 모델(VLM)은 눈부신 발전을 이루었으나, 공간 추론 능력은 여전히 취약합니다. 원래의 입력에는 정답을 맞히는 모델도 예측 가능한 정답 매핑을 지닌 유효한 변환이 가해지면 실패할 수 있으며, 이는 인스턴스 수준의 정확성과 강건한 공간 추론 간의 격차를 드러냅니다. 이를 해결하기 위해 기하학적 및 언어적 쌍대성(duality) 연산을 통해 강건한 공간 추론을 향상하는 자기 진화 프레임워크인 SAGE(Spatial Alignment via Geometric Evolution)를 제안합니다. SAGE는 GRPO 학습(training)에 쌍대성 일관성을 통합하여, 모델이 원래 입력과 변환된 입력 전반에서 일관된 답변을 생성하도록 유도합니다. SAGE는 쌍대성 생성과 해결을 함께 진화시킴으로써 모델이 스스로의 추론 약점을 지속적으로 노출하고 해결할 수 있도록 합니다. 또한 동적 연산 풀(dynamic operation pool)은 도전적인 연산을 식별하고 숙달된 연산은 제외하여, 유익한 쌍대성 신호에 집중하여 학습을 유지합니다. SAGE는 모델에 구애받지 않고(model-agnostic), 기존 사후 학습(post-training) 방식 대비 데이터 효율적이며, 기존의 모든 VLM에 경량화된 적응 단계로 적용될 수 있습니다. 비디오 및 공간 추론 벤치마크(benchmark)에 대한 실험은 강력한 베이스라인 대비 일관된 개선과 보지 못한 데이터(unseen data)에 대한 향상된 일반화 성능을 입증합니다.
이미지로부터 객체의 자세(pose)를 추정하는 것은 3D 장면 이해(3D scene understanding)의 핵심적인 작업이며, 최근의 접근법들은 매우 큰 벤치마크(benchmark)에서 유망한 결과를 보여주었다. 그러나 이러한 방법들은 미확인 객체(unseen object)를 다룰 때 성능이 크게 저하된다. 이 문제를 해결하기 위해, 우리는 미확인 객체를 모델링할 상당한 잠재력을 지닌 디퓨전 모델(diffusion model)(예: Stable Diffusion)의 특징(feature)에 대해 심도 있는 분석을 수행하였다. 이 분석을 바탕으로, 우리는 객체 자세 추정을 위해 이러한 디퓨전 특징을 혁신적으로 도입하였다. 객체 자세 추정에 대한 디퓨전 특징의 효능을 검증하기 위해, 디퓨전 특징을 포착하고 집계하는 세 가지의 서로 다른 아키텍처(vanilla, nonlinear, context-aware 가중치 집계)를 제안하여 비교 분석을 수행하였다. 효율적인 특징 집계를 달성하기 위해, 모든 특징을 사용하는 대신 판별력 있는 특징을 자동으로 선택하는 신뢰도 적응형 집계 네트워크(confidence adaptive aggregation network)를 제안하여, 더 나은 속도-정확도 트레이드오프(trade-off)를 달성하였다. 특히, 우리의 신뢰도 적응형 집계 네트워크는 미확인 객체에서 기존 최고 성능(previous best arts)보다 더 높은 정확도를 달성하였다: Unseen LM에서 97.7% 대 93.5%, Unseen O-LM에서 85.5% 대 76.3%로, 우리 방법의 강력한 일반화 능력(generalizability)을 보여준다. 대규모 BOP 벤치마크에서도 우리의 방법은 측정 가능한 향상을 제공하여, 평균 재현율(recall)이 기존의 57.9에서 58.3으로 증가하였다. 또한, CAA는 CWA 변형(variant)에 비해 비교 가능한 정확도를 유지하면서 계산 비용을 1.3~1.5배 절감한다. 더욱이, CAA는 68 FPS 이상을 달성하며 실시간(real-time) 성능에 도달하여, 정확도-효율성 트레이드오프를 상당히 개선하였다.
동적이고 인간 중심적인 환경에서의 로봇 내비게이션은 강건한 장면 이해에 기반한(grounded) 사회적 규범을 준수하는(socially-compliant) 결정을 필요로 합니다. 최근 비전-언어 모델(VLM)은 객체 인식, 상식 추론, 문맥 이해와 같이 사회적 로봇 내비게이션의 미묘한 요구사항에 부합하는 유망한 능력을 보여주고 있습니다. 그러나 VLM이 안전하고 사회적으로 순응하는 로봇 내비게이션에 필수적인 복잡한 사회적 내비게이션 장면을 정확히 이해할 수 있는지(예: 에이전트 간의 시공간적 관계 및 인간의 의도 추론)는 여전히 불분명합니다. 일부 최근 연구에서 사회적 로봇 내비게이션에 VLM을 활용하는 방안을 모색했으나, 이러한 필수 조건을 충족하는 능력을 체계적으로 평가한 연구는 전무합니다. 본 논문에서는 실제 사회적 로봇 내비게이션 시나리오에서 장면 이해를 위한 VLM을 평가하도록 설계된 시각적 질의응답(VQA) 데이터셋이자 벤치마크인 SocialNav-SUB(Social Navigation Scene Understanding Benchmark)를 소개합니다. SocialNav-SUB는 사회적 로봇 내비게이션에서 공간적, 시공간적, 사회적 추론을 요구하는 VQA 태스크 전반에 걸쳐 인간 및 규칙 기반 베이스라인과 VLM을 비교 평가하기 위한 통합 프레임워크를 제공합니다. 최첨단 VLM을 활용한 실험을 통해, 최고 성능을 보이는 VLM이 인간의 답변과 일치할 고무적인 확률을 달성하지만, 여전히 더 단순한 규칙 기반 접근법과 인간 합의 베이스라인보다 성능이 떨어짐을 확인하였으며, 이는 현재 VLM의 사회적 장면 이해에 중대한 격차가 있음을 시사합니다. 우리의 벤치마크는 사회적 로봇 내비게이션을 위한 파운데이션 모델에 대한 추가 연구의 발판을 마련하며, 실제 사회적 로봇 내비게이션 요구사항을 충족하도록 VLM을 맞춤 조정하는 방법을 탐구할 수 있는 프레임워크를 제공합니다. 본 논문의 개요와 코드 및 데이터는 https://larg.github.io/stars 에서 확인할 수 있습니다.
다양한 언어 지시문과 물체에 걸쳐 제로샷(zero-shot)으로 일반화되는 로봇 정책을 설계하거나 학습하는 것은 로보틱스 분야의 핵심 과제입니다. 비전-언어-행동 모델(VLA)은 기존 비전-언어 모델(VLM)의 용도를 변경하여 이러한 정책을 엔드투엔드로 학습하지만, 새로운 지시문과 물체로의 일반화는 여전히 어려운 과제로 남아 있습니다. 대안으로는 명시적인 VLM 기반 3D 장면 표현과 모션 플래닝을 활용하여 모듈형 정책을 구현하는 방식이 있습니다. 모듈형 정책은 강력한 제로샷 잠재력을 보여주지만, 일반적으로 명시적인 공간 추론 없이 의미론(semantics)을 기반으로 물체를 검색하므로 전반적인 그라운딩(grounding) 능력이 심각하게 제한됩니다. 또한 기본적인 파지(grasping) 및 내비게이션 기술만을 사용하여 물체와 상호작용합니다. 본 연구에서는 장면-에이전트 도구 인터페이스를 통해 단일 에이전트 행동 공간 내에서 그라운딩 능력과 로봇 기술을 통합함으로써 이러한 한계를 해결합니다. 파트 수준 어포던스(affordance)를 활용하여 우리의 기술은 다양한 물체에 걸쳐 일반화되며 충전기 분리, 서랍 열기와 같은 제로샷 상호작용을 가능하게 합니다. 우리는 이 프레임워크를 Agentic Scene Policies(ASP)로 명명했습니다. 광범위한 실제 환경 실험을 통해 ASP가 제로샷 설정에서 선도적인 VLA보다 일관되게 우수한 성능을 발휘함을 보입니다. 또한 방 수준의 질의를 해결하기 위한 ASP의 모바일 버전을 도입하여 프레임워크의 확장성을 입증합니다. 더 많은 결과는 프로젝트 페이지(https://montrealrobotics.ca/agentic-scene-policies.github.io/)에서 확인할 수 있습니다.
장면 변화 탐지(SCD)는 사전에 정의된 쿼리-참조(즉, 현재-과거) 이미지 쌍을 사용하여 변화를 평가합니다. 그러나 이러한 정형화는 사전에 대응하는 쿼리-참조 쌍이 준비되어 있다고 가정한다는 치명적인 의존성을 간과합니다. 이동 로봇과 같은 실제 응용 분야에서는 미래의 쿼리 시점을 미리 알 수 없으므로 대응하는 참조 이미지를 사전에 정의할 수 없습니다. 이러한 의존성을 제거하고 변화 탐지를 보다 실용적인 응용으로 확장하기 위해, 본 논문에서는 환경 변화 탐지(ECD)를 소개합니다. ECD의 핵심은 비현실적으로 사전에 정의되고 정렬된 쿼리-참조 쌍을 피하고, 정제되지 않은 참조 장면 이미지 데이터베이스에서 환경적 단서를 검색하는 것입니다. 이 새로운 도전적 과제를 해결하기 위해, 미지이자 불완전한 쿼리-참조 조건에서도 변화 탐지를 가능하게 하는 초기 해결책을 추가로 제시합니다. 제안하는 방법의 핵심 아이디어는 다수의 참조 후보를 검색하고 변화 탐지를 위해 의미적으로 풍부한 표현을 집약하는 것입니다. 나아가 세 가지 표준 변화 탐지 데이터셋을 재구성하여 ECD 벤치마크 셋을 구축합니다. 광범위한 실험 결과는 ECD와 SCD 모두에서 제안하는 해결책의 효과를 입증합니다.
구성적 3D 장면 복원(compositional 3D scene reconstruction)은 최근 두 가지 방향에서 연구되어 왔습니다. 공간적 관계에 대한 의미론적 이해를 제공하지만 입력 이미지와의 정밀한 정렬이 부족한 에이전트 추론(agentic reasoning)과, 입력 이미지로부터 조밀한 포인트 맵을 예측하지만 복원 품질이 제한적인 시각 기하 파운데이션 모델(visual geometry foundation models)입니다. 따라서 단일 단안 이미지로부터 정확한 객체 간 관계와 고충실도 복원 품질을 갖춘 완전한 3D 장면을 복원하는 것은 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 에이전트 추론과 시각 기하 파운데이션을 모두 활용하는 계층적 사고의 연쇄(Chain-of-Thought) 프레임워크인 HARMONY를 제안합니다. 실내 장면 이미지가 주어지면, 빈 3D 평면도에서 시작하여 HARMONY는 먼저 참조 이미지에 대해 카메라를 캘리브레이션하여 의미론적으로 그라운딩된 공간 프레임을 설정한 다음, 에이전트 VLM 추론을 사용하여 3D 방 레이아웃과 초기 배치 순서를 복원합니다. 이후 벽면 부착 요소부터 독립형 가구, 가구 위의 종속적인 장식품에 이르기까지 계층적 순서로 객체를 배치합니다. 또한 가구 배치 시에는 각 배치가 이전에 결정된 구조를 조건으로 하도록 깊이 우선 탐색(depth-first traversal)을 사용하고, 오차 누적을 방지하기 위해 반추적 피드백 루프(reflective feedback loop)를 적용합니다. VLM에 의한 각 객체 배치 후에는 포인트 클라우드 추정치를 사용하여 기하학 기반 개선을 수행함으로써 렌더링된 이미지가 입력과 더 잘 정렬되도록 합니다. HARMONY는 참조 이미지와 의미론적으로 일관되고 지각적으로 정렬된 3D 장면을 생성할 수 있어, 단일 이미지 구성적 복원을 복잡한 실내 장면 이미지로 확장합니다. 합성 및 실제 이미지에 대한 실험을 통해 HARMONY가 평가된 복원 베이스라인 모델들을 능가함을 입증하였으며, GPT-6 Astra와의 정성적 비교를 통해 더 충실한 객체 배치와 더 우수한 장면 세부 정보 보존 성능을 보여줍니다.
실내 3D 장면 그래프(3DSG)는 관측된 기하학적 프리미티브(예: 평면)를 더 높은 수준의 미터법-의미론적(metric-semantic) 개념(예: 방, 층, 건물)과 연결하는 다층 계층 구조로 환경을 표현하여 로봇 인지 및 SLAM을 위한 점진적 공간 추론을 가능하게 합니다. 그러나 기존의 고수준 개념 생성 방식은 특정 개념 클래스에 대한 수작업 규칙에 의존하며, 학습 기반 방법은 그래프 구조와 공간 노드 특징(예: 중심점)에 대해 별도의 모델을 요구하므로 새로운 클래스 및 더 복잡한 계층 구조로의 확장성이 제한됩니다. 본 논문에서는 구조와 특징을 함께 학습하고 관측된 수직 평면으로부터 임의의 계층 깊이에 걸쳐 완전한 3DSG를 상향식(bottom-up)으로 구축하는 통합 자기회귀 확산 기반 그래프 생성 모델을 제안합니다. 제안하는 방법은 합성 장면, 실제 건축 평면도, 로봇 센서 데이터를 아우르고 레이아웃 복잡도와 계층 깊이가 다양한 3DSG 데이터셋 전반에서 모든 학습 기반 및 무작위 베이스라인을 일관되게 능가하며, 가장 큰 계층 구조 및 실제 단층 데이터에서 목표 그래프 크기에 대한 오라클 접근 권한을 가진 원샷(one-shot) 모델을 능가합니다. 마지막으로, 생성된 3DSG를 정답(ground truth)과 비교하여 원칙적인 그래프 수준 평가를 수행하기 위한 Fused Gromov--Wasserstein 거리의 적응 방식을 제안합니다.
공간 추론 벤치마크는 일반적으로 비전-언어 모델(VLM)이 시각적 관측으로부터 정답을 도출할 수 있는지를 평가합니다. 그러나 실제 3D 환경에서는 관측 자체가 신뢰할 수 없을 수 있습니다. 가림(occlusion)은 태스크 관련 증거를 없앨 수 있으며, 원근법적 시점(perspective)은 보이는 기하학적 구조를 오도할 수 있습니다. 따라서 신뢰할 수 있는 공간 추론을 위해서는 질문에 올바르게 답하는 것 이상이 요구됩니다. 모델은 또한 현재의 관측이 해당 답변에 대해 충분하고 신뢰할 수 있는 증거를 제공하는지 평가해야 합니다. 본 연구에서는 시점에 따른 관측 불확실성을 연구하기 위한 통제된 평가 프레임워크인 SPATIALUNCERTAIN을 소개합니다. 우리는 상호 보완적인 두 가지 실패 모드, 즉 가림으로 인해 발생하는 증거 누락과 시점으로 인해 발생하는 오도적 증거를 연구합니다. 나아가 모델이 현재의 시점이 신뢰할 수 없는 시점임을 인식하고 더 많은 정보를 제공하는 관측을 식별할 수 있는지 평가합니다. 8개의 오픈소스 및 상용 비전-언어 모델에 걸쳐 분석한 결과, 모델의 동작이 시각적 증거의 신뢰성을 따르지 않음을 발견했습니다. 모델은 증거가 사라짐에 따라 안정적으로 더 신중해지지 않으며, 시점 충돌 상황에서 모델의 판단은 변하지 않는 물리적 3D 관계 대신 투영된 외형을 점차 더 따르게 됩니다. 내부 분석은 이에 상응하는 표현 비대칭성을 시사합니다. 즉, 투영된 2D 관계는 쉽게 활용 가능한 반면 기저의 물리적 3D 관계는 거의 디코딩되지 않습니다. 더욱이 명시적으로 요청받았을 때 유익한 시점을 식별할 수 있는 모델조차도 언제 그러한 추가 시점이 필요한지 인식하는 데는 자주 실패합니다. 이러한 실패는 프롬프트나 미세조정으로 완전히 해결되지 않으며, 동일한 오도적 관측에 깊이 정보를 추가하는 것보다 더 나은 시점을 제공하는 것이 실질적으로 훨씬 더 효과적입니다. 우리의 결과는 시각적 관측의 신뢰성을 평가하는 것이 현재 공간 추론 평가에서 뚜렷이 구별되는 누락된 구성 요소임을 보여줍니다.
최근의 3D 장면 이해 연구들은 시각 파운데이션 모델(VFM)의 2D 마스크를 활용하여 래디언스 필드(radiance field)를 지도함으로써 인스턴스 수준의 3D 분할을 가능하게 합니다. 그러나 파운데이션 모델의 지도 신호는 근본적으로 객체 중심적이지 않으며, 시점 간 마스크 식별자(identity) 충돌을 해결하기 위해 마스크 전/후처리나 특화된 학습(training) 및 손실(loss) 설계가 추가로 필요한 경우가 많습니다. 또한 학습된 3D 장면의 식별자는 장면에 종속적이어서 여러 장면 간의 일반화 가능성을 제한합니다. 따라서 본 논문에서는 3D 가우시안 스플래팅(3DGS)에서 객체 표현을 학습하기 위한 데이터셋(dataset) 수준의 객체 중심 지도 방식을 제안합니다. 사전학습된 슬롯 어텐션(slot attention) 기반의 GOCL(Global Object Centric Learning) 모듈을 바탕으로, 시점과 장면에 걸쳐 일관되고 식별자에 고정된 표현을 제공하는 장면 무관(scene-agnostic) 객체 코드북을 학습합니다. 이 코드북을 모듈의 비지도 객체 마스크와 결합함으로써, 추가적인 마스크 전/후처리나 명시적인 다중 시점 정렬 없이도 3D 가우시안의 식별자 특징을 직접 지도할 수 있습니다. 학습된 장면 무관 코드북은 장면별 미세조정(fine-tuning)이나 재학습 없이도 객체 지도 및 식별을 가능하게 합니다. 이를 통해 본 연구는 비지도 객체 중심 학습(OCL)을 3DGS에 도입하여, 로봇 상호작용, 장면 이해, 다중 장면 일반화와 같은 다운스트림 태스크에서 더욱 구조화된 표현과 뛰어난 일반화 성능을 달성합니다.
이미지 캡셔닝 및 시각적 질의응답(VQA)과 같은 많은 멀티모달 태스크에서는 비전-언어 모델(VLM)이 객체를 해당 속성 및 공간적 관계와 바인딩(결합)해야 합니다. 그러나 이러한 연관성이 VLM 내에서 어디서 어떻게 계산되는지는 여전히 불분명합니다. 본 연구에서는 VLM이 공간 변수 바인딩(spatial variable binding)을 표현하기 위해 두 가지 병행 메커니즘에 의존함을 보입니다. 언어 모델(language model) 백본에서는 중간 레이어가 객체에 해당하는 시각적 토큰 위에 내용 독립적인 공간 관계를 표현합니다. 하지만 이 메커니즘은 모델(model) 예측을 형성하는 데 부차적인 역할만 수행합니다. 반면, 주된 공간 정보의 원천은 비전 인코더에서 발생하며, 비전 인코더의 표현은 객체의 배치를 인코딩하고 언어 모델 백본에 의해 직접 활용됩니다. 특히, 이러한 공간 신호는 시각적 토큰 전반에 걸쳐 전역적으로 분산되어 있으며, 객체 영역을 넘어 주변 배경 영역까지 확장됩니다. 우리는 COCO 데이터셋(dataset)의 복잡한 자연 이미지에 대해 이러한 발견의 일반화 가능성을 검증하였으며, 모든 이미지 토큰에 걸쳐 비전 유래 공간 표현을 전역적으로 증폭시키는 것이 다양한 크기의 모델 전반에서 공간 변수 바인딩 오류를 교정함을 확인했습니다. 종합적으로, 본 연구 결과는 VLM 내에서 공간 변수 바인딩이 어떻게 계산되는지 명확히 밝히고 이를 가능하게 하는 비전 인코더의 중심적 역할을 강조합니다.
본 논문은 기하학적 표현 학습(geometric representation learning)에서 신규 시점 합성(Novel View Synthesis, NVS)의 역할을 살펴봅니다. 원론적으로 NVS는 3차원 장면 구조를 추론해야 하므로 전이 가능한 다중 시점 기하학적 표현을 가능하게 해야 합니다. 그러나 기존 인코더 기반 NVS 방법들은 저조한 표현 성능을 보입니다. 이는 지도 신호(supervisory signal)가 부족해서가 아니라 눈에 띄지 않는 구조적 선택 때문입니다. 즉, 장면 인코더의 표현 능력을 희석하는 공간적 표현력이 과도한 디코더(spatially expressive decoders)와 특징(feature) 학습을 저해하는 저수준 픽셀 공간 목표(low-level pixel-space targets) 때문입니다. 우리는 자세 조건부 로컬 디코더와 잠재 공간 재구성 목표를 통해 이 두 가지 문제를 모두 해결하는 자기지도(self-supervised) 인코더-디코더 트랜스포머(transformer)인 SNAP을 제시합니다. SNAP은 과제에 구애받지 않으며(task-agnostic), 특정 목적의 기하학 지도 학습 방법들과 대등한 성능을 보임을 증명합니다. 또한 SNAP은 시각적 위치 추정(visual localization), 자세 추정(pose estimation), 점 대응(point correspondence), 깊이 추정(depth estimation), 로봇 조작(robot manipulation)의 5가지 과제에서 자기지도 표현들과 경쟁력 있는 성능을 달성합니다. 특히 SNAP의 패치 특징은 더 적은 계산량과 데이터 예산에도 불구하고 대규모로 지도 학습된 모델에 근접하는 창발적(emergent) 시점 불변성을 나타냅니다. 표준 2D 표현이 무너지는 카메라 이동 상황에서도 SNAP은 훨씬 완만하게 성능이 저하되며, 이는 디코더의 표현력을 제한하는 것이 전이 가능한 기하학적 구조의 억제를 적극적으로 방지함을 드러냅니다. https://snap-nvs.github.io
산림 포인트 클라우드 분할(forest point cloud segmentation)은 세밀한 3D 산림 장면 이해에 필수적이지만, 불규칙한 수목 구조, 심각한 가림 현상, 밀도 변화, 모호한 인스턴스 경계로 인해 여전히 어려운 과제로 남아 있습니다. 최근 쿼리 기반 산림 분할 방법들은 의미론적 분할(semantic segmentation) 및 인스턴스 예측의 통합에 유망한 가능성을 보여주었으나, 산림 고유의 공간 구조를 충분히 활용하지 못하고 경계 불확실성을 제대로 고려하지 못합니다. 본 논문에서는 통합 산림 포인트 클라우드 분할을 위한 경계 인식 및 공간 앵커 기반 쿼리 학습 프레임워크인 ForestQuery를 제안합니다. ForestQuery는 상호 보완적인 두 가지 설계를 통해 인스턴스 및 의미론적 쿼리 학습을 강화합니다. 구체적으로, 경계 불확실성을 명시적으로 모델링하여 신뢰할 수 있는 인스턴스 쿼리 구성을 유도하고 적응형 손실(loss) 재가중치를 통해 쿼리 최적화를 조절합니다. 한편, 공간 앵커 기반 의미론적 쿼리 강화(SA-SQE)는 산림의 수직 층화 사전 지식을 인코딩하는 학습 가능한 3D 앵커를 도입하여 명시적인 공간 참조로 의미론적 쿼리를 풍부하게 만듭니다. 우리는 여러 공개 산림 포인트 클라우드 벤치마크와 자체 수집 및 주석을 추가한 실제 데이터셋에서 ForestQuery를 평가합니다. 광범위한 실험을 통해 다양한 산림 장면에 걸쳐 개별 수목 분할과 의미론적 분할 모두에서 일관된 성능 향상을 입증합니다. 코드와 데이터는 https://zhan994.github.io/ForestQuery 에서 공개적으로 이용 가능합니다.
공유된 공간에서의 의사소통은 언어적 신호와 비언어적 신호가 얽혀 있으며, 지시 제스처(pointing gesture)는 언어를 환경(environment)에 고정합니다. 예를 들어 지시 대상(referent)을 지정하는 제스처가 없다면 "컵을 저기 위에 놓아줘"라는 말은 해석할 수 없습니다. 그러나 생성된 제스처가 의도한 지시 대상을 가리키는지 평가하기 위한 공통 프레임워크는 존재하지 않으며, 분포 기반 지표(distributional metrics)는 잘못된 물체를 향한 제스처라 할지라도 자연스러워 보이기만 하면 보상(reward)을 부여합니다. 본 논문에서는 참값(ground-truth) 3D 지시 대상을 포함하는 자연스러운 VR 대화에서 수집된 약 2,000개의 지시 주석 클립, 대화 음성 내에서 언제, 어떻게, 어디를 가리켜야 할지 시스템이 결정해야 하는 태스크, 그리고 시간적 정렬(temporal alignment), 공간적 그라운딩(spatial grounding), 인지된 자연스러움을 분리하는 프로토콜로 구성된 공간적으로 그라운딩된 제스처 생성 벤치마크를 소개합니다. 또한 플로우 매칭(flow-matching) 기준선(baseline)인 MM-Conv-Flow를 제공합니다. 이를 독립적인 검색 기반 시스템 및 캡처된 사람의 움직임과 함께 평가한 결과, 기하학적 그라운딩은 인지된 자연스러움의 향상 없이도 사람의 지시를 능가할 수 있음을 발견했으며, 이는 참조적 제스처 품질이 분리된 차원을 따라 측정되어야 함을 보여줍니다.
사람과 장면 간의 가림(occlusion)으로 인해 정적 기하학적 구조가 훼손되고 사람의 점유(occupancy) 예측이 불완전하거나 공간적으로 잘못 배치되는 실제 혼잡한 실내 환경에서, 4족 보행 로봇을 위한 단안 시맨틱 장면 완성(Semantic Scene Completion, SSC)은 여전히 충분히 연구되지 않았습니다. 본 논문에서는 이러한 환경을 위해 RGB-D 데이터셋이자 단안 SSC 프레임워크인 CrowdOcc를 제시합니다. CrowdOcc는 11개의 실내 장면에서 얻은 25.1K 프레임으로 구성되며, 정적·동적 분리를 통해 구축된 시맨틱 점유 주석을 포함합니다. 본 프레임워크는 (i) 가림에 강건한 기하학적 구조를 위해 깊이 인식 리프팅을 표면 법선(surface-normal) 단서로 보완하는 법선 유도 장면 기하학 융합(Normal Guided Scene Geometry Fusion, NGSGF), 그리고 (ii) 3D 공간에서 사람 간 및 국소적 사람-장면 간 관계를 선택적으로 모델링하는 사람 중심 희소 상호작용(Human-Centric Sparse Interaction, HCSI)을 결합합니다. 본 연구의 방법론은 장면이 분리된 CrowdOcc 테스트 세트에서 15.80 IoU, 11.40 mIoU, 46.23 Human IoU를 기록하며 최첨단 SSC 성능을 달성하여, 이전에 보지 못한 실내 장면에 대한 일반화 성능을 입증합니다.
정확한 3D 검출은 이동형 체화 에이전트(embodied agent)에게 필수적이며, 비전 파운데이션 모델(VFM)은 전이 가능한 시각적 및 기하학적 사전 지식(prior)을 제공합니다. 그러나 기존의 VFM 기반 3D 검출기는 좁은 시야의 단안 영상이나 불연속적인 원근 뷰에 의존하므로 일관된 전방위 인식이 제한됩니다. 반면 정거원통도법(ERP)은 단일 이미지에 연속적인 360도 장면을 인코딩합니다. 하지만 ERP는 기하학 및 시각 정보를 다르게 구성하여 객체 관련 단서를 모델링, 위치 파악 및 보존하기 어렵게 만들기 때문에 직접적인 전이는 여전히 어렵습니다. 본 논문에서는 전이 가능한 VFM 사전 지식을 보존하면서 원근 뷰로 학습된 VFM 검출기를 ERP에 적응시키는 프레임워크인 OmniAct3D를 제안합니다. 기하학적 불일치를 해결하기 위해 ERP-Ray 기하 어댑터(ERGA-Ray)는 구면 시선(viewing ray)과 주기적 공간 구조를 모델링합니다. 전체 장면 맥락에서 증거를 국소화하기 위해 시각-행동 추론 체인(VARC)은 각 가설을 관련 파노라마 증거에 그라운딩(grounding)하고 이를 구조화된 기하학적 행동으로 변환합니다. 고정된 토큰(token) 예산 하에서 손실된 국소 단서를 복구하기 위해 외형 유도 방위 전문가(AGHE)는 방위각 추정을 위해 객체 영역을 더 높은 해상도로 재인코딩합니다. 실험 결과, OmniAct3D는 Spheriverse에서 이전 최고 3D 검출기 대비 2.96 NDS 포인트, PanoMMOcc에서 적응되지 않은 VFM 기준선(baseline) 대비 24.87 mAP 포인트 향상된 성능을 보였습니다. 타깃별 기하 적응을 통해 VARC는 동일 구성 mAP의 95~98%를 유지하여 센싱 구성 전반에서 재사용 가능한 객체 수준 3D 추론 능력을 보여줍니다. 소스 코드는 https://github.com/FeiT-FeiTeng/OmniAct3D 에서 공개될 예정입니다.
공간적 사실을 올바르게 보고하는 멀티모달 대규모 언어 모델(MLLM)이 후속 추론에서 해당 사실을 반드시 사용하는 것은 아닙니다. 이러한 차이를 연구하기 위해, 공간 상태의 구축 및 활용을 평가하는 23,196개의 입력으로 구성된 벤치마크인 \textsc{SpaceConflict}를 소개합니다. 통합된 지지/모순/알 수 없음(Supported/Contradictory/Unknown) 판별 인터페이스 하에서, 이는 국소적 사실 결합(L1), 관계적 합성(L2), 교차 관측 일관성(L3), 변환 하에서의 상태 판별(L4)을 다룹니다. 동일한 세계에 대해 직접 상태 질의, 전체 변환 질의, 명시적 초기 상태 질의를 제시함으로써 가용성-활용 격차(availability-utilization gap)를 밝혀냈습니다. 모델은 시각적 증거로부터 초기 상태를 복원하지만, 해당 상태가 변환을 이끌어야 할 때는 실패합니다. Qwen3.5-9B의 경우, 초기 상태를 올바르게 복원한 100개 시퀀스 중 50개가 전체 변환에 실패하며, 상태를 명시적으로 제공하면 이 50개 모두가 해결됩니다. 이러한 격차는 스케일이 커짐에 따라 좁혀지지만 완전히 사라지지는 않습니다. 따라서 우리는 과업 관련 공간 상태와 그 변환 궤적을 감독하고 문맥 전반에 걸쳐 공유된 사실을 정렬하는 운영 상태 지도(Operational State Supervision, OSS)를 제안합니다. OSS는 상태를 체계화하고 사용하는 데 의존하는 수준인 L3 및 L4의 일치 판별에 대한 쌍별 정확도(paired accuracy)를 가장 크게 향상시킵니다. 따라서 멀티모달 공간 추론을 평가하려면 모델이 공간적 사실을 보고 진술할 수 있는지뿐만 아니라, 그 사실이 후속 계산에서 사용 가능한 상태가 되는지까지 물어야 합니다.
최근 비전-언어 내비게이션(VLN) 시스템은 1인칭 시점 RGB 관측값과 지시문을 저수준 행동으로 직접 매핑하는 스트리밍 Video-LLM 정책을 점점 더 많이 채택하고 있습니다. 그러나 이러한 정책들은 2D 사전학습(pre-training)으로부터 취약한 3D 기하학적 사전 지식(prior)을 물려받습니다. 기존의 기하학 인지형 확장 기법들은 깊이(depth) 센서, 3D 인코더, 스텝별 인식 도구 호출 등 지속적인 추론(inference) 시간 비용을 초래합니다. 본 논문에서는 기하학적 정보를 정책 자체에 내재화함으로써 이러한 비용을 학습(training) 시점에 단 한 번만 치르는 기하학적 지도 프레임워크인 GeoScaffold를 제안합니다. GeoScaffold는 먼저 학습 궤적의 깊이 맵에서 컴팩트한 깊이 토크나이저를 학습한 뒤 이를 동결합니다. 그런 다음 소수의 학습 가능한 기하학 쿼리 토큰으로 정책을 파인튜닝(fine-tuning)하며, 해당 은닉 상태가 깊이, 연결성, 주행 가능성(traversability)과 같이 내비게이션에 중요한 기하학적 정보를 재구성하도록 학습시킵니다. 이러한 지도 학습은 쿼리 상태를 행동 디코딩을 위한 컴팩트한 기하학적 잠재 표현으로 변환하며, 공유 가중치를 통해 백본 자체의 표현에도 기하학적 정보를 내재화합니다. 비계(scaffold)처럼 토크나이저, 타깃 생성기, 재구성 헤드는 학습 후 폐기되어 백본과 행동 인터페이스를 그대로 유지합니다. 광범위한 실험을 통해 GeoScaffold가 연속적인 VLN 벤치마크(benchmark)에서 주요 비전 전용 내비게이터들을 지속적으로 능가함을 보였으며, 공간을 인지하는 임바디드(embodied) 내비게이션 모델의 경량 엣지 배포(edge deployment)를 위한 실용적인 패러다임을 제공합니다.