arXiv:2606.20209v1 cs.RO

FlowMaps: 플로우 매칭을 이용한 장기 멀티모달 객체 역학 모델링

FlowMaps: Modeling Long-Term Multimodal Object Dynamics with Flow Matching

Francesco Argenziano, Miguel Saavedra-Ruiz, Sacha Morin, Charlie Gauthier, Daniele Nardi, Liam Paull

제출 2026-06-18

한국어 초록

3D 장면의 공간적 및 시간적 통합 이해는 일상적인 가정 환경에 배치된 로봇에게 필수적인 요구 사항입니다. 이러한 에이전트는 공간 레이아웃을 이해하고 내비게이션을 수행해야 할 뿐만 아니라, 이러한 공간이 시간이 지남에 따라 어떻게 변화하는지에 대해 추론할 수 있어야 합니다. 특히, 인간은 매일 객체와 상호작용하여 환경 전체에서 객체의 위치를 변경시키며, 이로 인해 로봇이 현재 관측을 이전에 본 객체와 신뢰할 수 있게 연관 짓는 것이 어렵습니다. 그러나 이러한 상호작용은 무작위가 아닙니다. 인간의 습관과 루틴은 객체 위치에 시공간적으로 일관된 패턴을 유발하며, 로봇 에이전트는 이를 학습하여 내비게이션과 같은 다운스트림 태스크에 활용할 수 있습니다. 이를 위해 우리는 연속적인 3D 공간에서 동적 객체의 미래 위치에 대한 멀티모달 분포를 추정하는 잠재 플로우 매칭 모델인 FlowMaps를 소개합니다. 객체 간의 암묵적 의존성과 시간적 진화를 학습함으로써, FlowMaps는 과거 인간 상호작용에 조건화된 객체 위치의 가능한 변화를 예측하며, 유사한 객체 루틴을 공유하는 이전에 본 적 없는 환경에 대한 일반화를 지원합니다. 이 방법의 유용성을 입증하기 위해, 우리는 시뮬레이션 및 실제 환경 모두에서 다운스트림 동적 객체 내비게이션 태스크에 FlowMaps를 배포했습니다. 600개 이상의 에피소드에 걸쳐 FlowMaps는 최첨단 접근법보다 우수한 성능을 보여주었으며, 이는 연속적이고 멀티모달한 시공간 분포를 통한 객체 역학 모델링이 변화하는 가정 환경에서 로봇 탐색 및 내비게이션을 향상시킴을 보여줍니다. 코드 및 추가 자료는 https://fra-tsuna.github.io/flowmaps/ 에서 확인할 수 있습니다.

원문 초록

Joint spatial and temporal understanding of 3D scenes is a crucial requirement for robots deployed in everyday household environments. Such agents must not only comprehend and navigate spatial layouts, but also reason about how these spaces evolve over time. In particular, humans interact with objects daily, causing them to change position throughout the environment and making it difficult for robots to reliably associate current observations with previously seen objects. However, these interactions are not random: human habits and routines induce spatio-temporally consistent patterns in object locations, which robotic agents can potentially learn and then exploit for downstream tasks such as navigation. To this end, we introduce FlowMaps, a latent flow matching model for estimating multimodal distributions over the future locations of dynamic objects in a continuous 3D space. By learning the implicit dependencies among objects and their temporal evolution, FlowMaps predicts likely changes in object locations conditioned on past human interactions, while supporting generalization across previously unseen environments that share similar object routines. To demonstrate the utility of this method, we deploy FlowMaps in a downstream dynamic Object Navigation task in both simulated and real-world environments. Across more than 600 episodes, FlowMaps outperforms state-of-the-art approaches, showing that modeling object dynamics through continuous, multimodal spatio-temporal distributions improves robotic search and navigation in changing household environments. Code and additional material is available at https://fra-tsuna.github.io/flowmaps/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20209v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03105v1cs.CV공통 태그 Scene Understanding, flow matching

공간적으로 그라운딩된 제스처 생성을 위한 벤치마크

A Benchmark for Spatially Grounded Gesture Generation

공유된 공간에서의 의사소통은 언어적 신호와 비언어적 신호가 얽혀 있으며, 지시 제스처(pointing gesture)는 언어를 환경(environment)에 고정합니다. 예를 들어 지시 대상(referent)을 지정하는 제스처가 없다면 "컵을 저기 위에 놓아줘"라는 말은 해석할 수 없습니다. 그러나 생성된 제스처가 의도한 지시 대상을 가리키는지 평가하기 위한 공통 프레임워크는 존재하지 않으며, 분포 기반 지표(distributional metrics)는 잘못된 물체를 향한 제스처라 할지라도 자연스러워 보이기만 하면 보상(reward)을 부여합니다. 본 논문에서는 참값(ground-truth) 3D 지시 대상을 포함하는 자연스러운 VR 대화에서 수집된 약 2,000개의 지시 주석 클립, 대화 음성 내에서 언제, 어떻게, 어디를 가리켜야 할지 시스템이 결정해야 하는 태스크, 그리고 시간적 정렬(temporal alignment), 공간적 그라운딩(spatial grounding), 인지된 자연스러움을 분리하는 프로토콜로 구성된 공간적으로 그라운딩된 제스처 생성 벤치마크를 소개합니다. 또한 플로우 매칭(flow-matching) 기준선(baseline)인 MM-Conv-Flow를 제공합니다. 이를 독립적인 검색 기반 시스템 및 캡처된 사람의 움직임과 함께 평가한 결과, 기하학적 그라운딩은 인지된 자연스러움의 향상 없이도 사람의 지시를 능가할 수 있음을 발견했으며, 이는 참조적 제스처 품질이 분리된 차원을 따라 측정되어야 함을 보여줍니다.

arXiv:2609.27656v1cs.RO공통 태그 Scene Understanding, flow matching

InternW0: 효율적인 실세계 상호작용을 위한 기반 물리 세계 모델

InternW0: A Foundational Physical World Model for Efficient Real-World Interactions

물리 지능(physical intelligence)은 세계가 어떻게 변화할 수 있는지를 예측하는 것 이상을 요구한다. 세계가 계속 변하는 동안에도 예측은 실행 가능(actionable)한 상태로 남아 있어야 한다. 우리는 Shanghai AI Laboratory의 InternW 물리 세계 모델 시리즈의 첫 번째 구현인 InternW0을 소개한다. InternW0은 옴니모달(omnimodal) 인터페이스, 비동기 다중 주파수 처리, 부분 관측 및 외부 영향 하에서의 국소 물리 모델링을 중심으로 구축되었다. InternW0은 flow matching을 갖춘 비대칭 video–action 아키텍처를 통해 미래 시각 역학과 연속 로봇 제어를 공동 학습한다. 고용량 video expert는 더 긴 수평의 예측적 컨텍스트를 제공하고, 경량 action expert는 더 빠른 시간 척도에서 동작한다. 모든 action 업데이트마다 미래를 재생성하는 대신 InternW0은 계층별 K/V를 재사용하고, 관측 조건 컨텍스트 라우팅(observation-conditioned context routing)을 통해 새로 관측된 상태에 맞게 이를 적응시킨다. 도메인별 인터페이스와 soft prompt는 이질적인 embodiment를 지원하며, 접촉 인지(contact-aware) 사후 학습은 접촉이 풍부한 조작을 위해 힘과 촉각 신호를 통합한다. InternW0은 EgoLab(275시간 규모의 실험실 egocentric 데이터셋)을 포함하여 약 7,200시간의 이질적인 로봇 및 egocentric 데이터로 학습한다. 평가는 시뮬레이션 벤치마크와 실세계 과학 과제에 걸쳐 이루어지며, 15단계 metal–organic framework 합성 워크플로와 범용 정량 피펫팅(quantitative pipetting)을 위한 5단계 접촉·힘 인지 dexterous manipulation이 포함된다. 이러한 결과는 보편적이고 효율적인 실세계 상호작용을 위한 확장 가능하고 비동기적이며 science-native 물리 세계 모델을 발전시킨다.

arXiv:2607.14514v2cs.CV공통 태그 Scene Understanding, object navigation

VTM-Nav: 계층적 시각-위상 메모리를 통한 객체 목표 내비게이션에서의 에피소드 간 경험 활용

VTM-Nav: Harnessing Cross-Episode Experience for Object-Goal Navigation with Hierarchical Visual-Topological Memory

학습 없는(training-free) ObjectNav 에이전트는 점점 더 비전-언어 모델(VLM)을 사용하지만, 일반적으로 각 요청 후 획득한 장면 지식을 버립니다. 우리는 에피소드 간 ObjectNav를 연구하며, 여기서 각 요청은 독립적으로 초기화된 단일 목표 에피소드이고 에피소드 간에 유지되는 것은 자체적으로 획득한 장면 범위 메모리뿐입니다. 고정된 모델 파라미터와 내비게이션 구성 요소를 가진 에이전트가 재학습이나 오라클 정보 없이 이러한 경험을 재사용할 수 있는지 묻습니다. 우리는 지속적인 계층적 시각-위상 메모리(Hierarchical Visual-Topological Memory, VTM)를 갖춘 학습 없는 프레임워크인 VTM-Nav를 제안합니다. VTM은 거친 방 위상 구조를 사용하여 방별 시각 메모리를 색인하고, 방 내부와 원격 가시 증거를 구분하며, 성공적인 접근 단서를 유지합니다. 각 요청에 대해 VTM-Nav는 누적된 장면 구조에서 에이전트를 재위치시키고, 그럴듯한 방에서 목표 관련 기록을 검색하며, 현재 관측에서 도출된 후보에 메모리 안내를 그라운딩(grounding)합니다. 보수적인 실행 가드(execution guard)는 추가로 국소적 실패를 처리합니다. 일치하는 40스텝 비교에서 VTM-Nav는 HM3D v0.1, HM3D v0.2, MP3D에서 각각 메모리 리셋 WMNav 대조군보다 SR 4.6, 2.0, 0.8 포인트 높으며, SPL은 유사하거나 더 높습니다. HM3D에서는 텍스트 메모리를 활용한 WMNav보다 SR 3.1 및 5.5 포인트 높기도 합니다. 이 결과는 계층적 시각-위상 메모리를 통한 에피소드 간 장면 경험의 효과적인 재사용을 보여줍니다.

arXiv:2607.20175v1cs.CV공통 태그 Scene Understanding, flow matching

PerceptDrive: 엔드투엔드 자율주행을 위한 적응형 전문가 라우팅 기반 인지 사전 세계-행동 모델링

PerceptDrive: Perception Prior World-Action Modeling with Adaptive Expert Routing for End-to-End Autonomous Driving

고정(frozen)된 인지(perception) 기반 모델(foundation model)은 풍부한 기하학적, 의미적, 동적 지식을 인코딩한다. 그러나 좁은 조건화(conditioning) 인터페이스는 과업 관련 단서를 약화시킬 수 있으며, 정적 융합(static fusion)은 장면별로 전문가(expert) 기여를 조정할 수 없다. 우리는 이 과제를 사전(prior)-to-plan 전이(transfer) 문제로 규정하고, 적응형 전문가 라우팅을 갖춘 인지 사전 세계-행동 모델링 프레임워크인 PerceptDrive를 제안한다. PerceptDrive는 고정된 운전(driving) 적응 제공자(provider)로부터 교사 증류(teacher-distilled) 사전과, 고정된 자기지도(self-supervised) 비디오 인코더로부터의 밀집 관측 잠재(dense observation latents)를 학습 가능한 전문가 라우팅 세계-행동 모델에 입력한다. 전문가별 쿼리 분기(query branch)가 이 신호들을 처리하며, 사전 유지(prior-retention) 목적 함수(objective)가 각 분기를 해당 사전에 고정(anchor)한다. 라우터(router)는 공유 장면 표현(scene representation)으로부터 소프트 게이트(soft gate)를 예측하고, 궤적(trajectory) 생성 전에 전문가 조건을 결합한다. 학습(training) 중, 분기별 궤적 초안(trajectory draft)에 대한 특권(privileged) 규칙 기반 하위 지표(sub-metric) 추정치가 소프트 게이트 증류(distillation) 타깃을 제공한다. 예측된 행동 없는(action-free) 미래 잠재(latent)가 flow-matching 액터(actor)를 조건화(condition)한다. 추론(inference) 시에는 특권 구성 요소가 없으며, 전방 카메라 하나로 PerceptDrive는 테스트 시점(test-time) 채점(scoring), 재순위화(reranking), 또는 탐색(search) 없이 계획(planning) 단계마다 하나의 궤적을 생성한다. 실험 결과 PerceptDrive는 NAVSIM v1에서 90.4 PDMS, NAVSIM v2에서 90.2 EPDMS의 최신(state-of-the-art) 성능을 달성하여 기존 방법들을 능가한다. Ablation은 사전 유지와 장면 조건 라우팅(scene-conditioned routing)으로부터의 상보적 이득, 그리고 세 가지 사전에 대한 차별적 의존을 확인한다. 이 결과는 인지 사전을 보존하고 적응적으로 라우팅하는 것이 테스트 시점 후보 선택(candidate selection) 없이 직접 계획(direct planning)을 개선함을 보여준다.

arXiv:2610.03391v2cs.CV공통 태그 flow matching

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

arXiv:2609.14743v3cs.CL공통 태그 flow matching

음성-텍스트 언어 모델에서 생성 모달리티 간극 정량화

Quantifying the Generation Modality Gap in Speech-Text Language Models

순수 음성 언어 모델(speech language model)은 일관성 있는 콘텐츠를 생성하는 데 있어 텍스트 및 음성-텍스트 언어 모델에 비해 뒤처지는 경우가 많지만, 음성과 텍스트 시스템이 일반적으로 서로 다른 지표로 평가되고 서로 다른 데이터로 학습(training)되기 때문에 이러한 간극을 정량화하기는 어렵습니다. 본 연구에서는 연속적인 음향 특징(feature) 생성을 위한 플로우 매칭(flow matching)을 기반으로 하는 일련의 음성 언어 모델 계열에서 음성-텍스트 모달리티 간극(modality gap)을 연구합니다. 일치된 데이터 분포에서 학습되고 일치된 생성 환경에서 평가되는 음성 전용, 텍스트 전용, 음성-텍스트 언어 모델을 비교하는 통합 생성 기반 평가 스위트를 구축합니다. 생성된 음성을 전사하고 참조 언어 모델로 점수를 매겨 측정한 의미론적 일관성(semantic coherence), 음소 n-그램 분포 통계로 측정한 국소적 음소 구조, 화자 일관성 및 음향 품질, 감정 기반 분포 지표 등 여러 차원에 걸쳐 생성된 연속 발화를 평가합니다. 데이터셋 전반에 걸쳐 음성-텍스트 결합 모델링이 의미론적 일관성을 크게 향상시킨다는 점을 확인했습니다. 그러나 이러한 개선이 모든 지표에서 균일하지는 않습니다. 음소 수준 지표는 미미하게만 변화하고, 음성-텍스트 연속 생성물에서 화자 유사도와 예측 품질은 더 낮은 반면 감정 기반 분포 지표는 향상됩니다. 더 큰 규모의 음성 전용 모델과 비교할 때, 제안하는 음성-텍스트 모델은 전사 기반 의미론적 일관성에서 스케일링(scaling) 격차의 상당 부분을 좁히며, 이는 텍스트가 음성 언어 모델링에 효율적인 의미론적 학습 신호를 제공함을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.