Stochastic Scene-Aware Motion Prediction
원문 초록
A long-standing goal in computer vision is to capture, model, and realistically synthesize human behavior. Specifically, by learning from data, our goal is to enable virtual humans to navigate within cluttered indoor scenes and naturally interact with objects. Such embodied behavior has applications in virtual reality, computer games, and robotics, while synthesized behavior can be used as a source of training data. This is challenging because real human motion is diverse and adapts to the scene. For example, a person can sit or lie on a sofa in many places and with varying styles. It is necessary to model this diversity when synthesizing virtual humans that realistically perform human-scene interactions. We present a novel data-driven, stochastic motion synthesis method that models different styles of performing a given action with a target object. Our method, called SAMP, for Scene-Aware Motion Prediction, generalizes to target objects of various geometries while enabling the character to navigate in cluttered scenes. To train our method, we collected MoCap data covering various sitting, lying down, walking, and running styles. We demonstrate our method on complex indoor scenes and achieve superior performance compared to existing solutions. Our code and data are available for research at https://samp.is.tue.mpg.de.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원
Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model
동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.
충돌 인식 분리 매개변수 학습을 통한 통합 예측 및 계획
Unified Prediction and Planning via Conflict-Aware Disjoint Parameter Training
주변 에이전트(agent)의 정확한 동작 예측과 안전한 동작 계획은 혼잡한 환경에서의 사회적 로봇 내비게이션(social robot navigation)을 위한 밀접하게 결합된 두 가지 핵심 과제이다. 이러한 시스템을 자원이 제한된 엣지(edge) 디바이스에 배포하려면 두 과제를 동시에 수행할 수 있는 컴팩트한 통합 모델이 필요하다. 그러나 이러한 컴팩트한 공유 인코더(shared encoder) 내에서, 최근의 통합 모델들은 이웃 행동 예측과 자차 중심(ego-centric) 안전 계획이라는 상이한 목표에서 발생하는 심각한 표현 충돌(representational conflict)을 종종 간과한다. 이 문제를 해결하기 위해, 우리는 먼저 Skill Conflict(스킬 충돌)—겹치는 매개변수 할당이 서로 다른 과제가 동일한 가중치를 두고 경쟁하게 하여 모델이 개별 스킬에 완전히 특화되지 못하게 하는 현상—을 규명한다. 이를 해결하기 위해, 우리는 새로운 모델 병합(model-merging) 기반 프레임워크인 Disjoint Parameter Training(DPT)을 제안한다. DPT는 병합 전 각 과제의 핵심 역량을 보존하면서 핵심 매개변수 영역을 분리하는 분산 매개변수 학습(distributed parameter learning)을 통해 Skill Conflict로 인한 성능 저하를 완화한다. 또한, 모든 과제별 매개변수를 결합하는 대신 각 과제에 가장 영향력 있는 매개변수만 선택적으로 통합하는 sparse merging(희소 병합)이 인접 특징(feature) 간 간섭을 방지하고 표현 용량을 집중시켜 최적의 성능을 달성함을 관찰한다. DPT는 다양한 병합 방법과 병렬로 적용할 수 있다. 표준 군중 내비게이션 벤치마크(JRDB 및 JTA)에서 평가한 결과, 우리 프레임워크는 우수한 성능을 보여 안전하고 자원 효율적인 로봇 내비게이션을 위한 다목적성과 효과를 입증한다.
ACME: 다문화, 다중 체형 사회적 내비게이션 데이터셋
ACME: A Multi-Cultural, Multi-Embodiment Social-Navigation Dataset
공유 공간에서 로봇과 인간이 어떻게 움직이는지 이해하는 것은 효과적인 사회적 로봇 내비게이션 정책을 설계하고 인간 행동을 예측하는 데 필수적이다. 그러나 기존 데이터셋은 문화, 지리, 인간-로봇 상호작용의 차이—적절한 사회적 행동을 크게 형성하는 요인들—를 포착하는 데 필요한 다양성이 부족한 경우가 많다. 이 격차를 해소하기 위해, 우리는 ACME: 사회적 내비게이션을 위한 교차문화적, 다중 체형 데이터셋을 제안한다. 5개국 8개 현장에서 7가지 로봇 체형을 사용한 대규모 데이터 수집 노력을 통해, ACME는 사회적 내비게이션 연구를 발전시키기 위한 대규모이고 다양한 멀티모달 데이터셋으로, 29.35시간의 온보드 로봇 데이터와 43.5시간의 상공 보행자 추적 데이터를 제공한다. 이전 데이터셋과 달리, 로봇 음성을 통한 명시적인 로봇-군중 상호작용이 포함된 복잡한 사회적 시나리오에서 목표 지향적 사회적 내비게이션 행동을 포착하는 데 중점을 둔다. 내비게이션 정책 학습과 보행자 궤적 예측을 용이하게 하기 위해, ACME는 3D 및 2D 장면 특징, 오도메트리(odometry), 상호작용 정보, 사람이 주석을 단 보행자 궤적 레이블을 제공한다. 각 센서 모달리티에 대한 사람이 읽을 수 있는 데이터와 원시 바이너리 데이터를 모두 제공하여 ACME를 사용하기 쉽게 한다. 우리의 정성적 및 정량적 분석은 본 데이터셋이 이전 데이터셋보다 더 도전적인 시나리오와 더 넓은 분포의 보행자 행동을 포착함을 보여준다.
SafeStep: 노쇠 또는 치매를 앓은 고령자를 위한 AI 기반 이동 보조
SafeStep: AI-powered Travel Assistance for Elderly People with Frailty or Dementia
영국에서 100만 명 이상이 노쇠 또는 치매를 겪고 있으며, 이는 도시 환경에서의 이동 능력을 심각하게 저해한다. 본 논문은 고령 사용자의 여정을 보조하는 AI 기반 이동 시스템인 SafeStep을 제안한다. SafeStep의 핵심은 경로 계획과 예측 모델링을 통합한 새로운 이동 그래프 표현이다. 각 여정 단계마다 시스템은 (i) 대규모 언어 모델(LLM)과 Anticip8 행동 예측 엔진을 결합하여 개인화된 실패 시나리오를 생성하고, (ii) 표적 개입을 제안하며, (iii) 개입이 결과 확률에 미치는 영향을 추정한다. 이를 통해 SafeStep은 목적지에 도달할 가능도를 최대화하는 개입을 선택할 수 있다. SafeStep은 이동 그래프 생성 실험과 26건의 실제 여정을 포함한 현장 연구를 통해 평가되었다. 결과는 실패 예측에는 Anticip8을, 개입 평가에는 GPT 기반 모델을 결합할 때 가장 신뢰할 수 있는 성능을 보였음을 나타냈다. 사용자 피드백에 따르면 SafeStep은 이동 중 자신감과 체감 안전성을 향상시켰으나, 대상 인구층을 위해 인터페이스 사용성을 개선할 필요가 있다. 향후 SafeStep을 개선하고 공개할 계획이다. SafeStep을 위해 개발된 AI 시스템은 정신 건강, 진로 코칭, 중독 치료 등 다른 분야에도 적용될 수 있다.
클래스 비지정 모션 예측을 위한 합성-실제 변환
Synthetic-to-Real Translation for Class-Agnostic Motion Prediction
모션 이해는 자율주행 시스템의 안전성과 견고성을 보장하는 데 매우 중요하며, 이에 따라 모션 예측에 대한 관심이 높아지고 있다. 이 분야의 핵심 과제 중 하나는 실세계 모션 레이블 취득에 드는 높은 비용이다. 따라서 합성 데이터에서 실제 데이터로 모션 지식을 전이할 수 있다면 이상적일 것이다. 이러한 맥락에서 우리는 모션 예측을 위한 합성-실제 변환(SRMP)의 가능성을 탐구한다. 그러나 가장 많이 사용되는 단순한 모션 회귀 방법들은 합성-실제 도메인 시프트에 특히 민감하여 신뢰할 수 없는 지식 변환을 초래한다. 이를 해결하기 위해 우리는 두 가지 핵심 구성요소를 통합한 모션 지식 변환 프레임워크를 포함하는 새로운 접근법을 제안한다: (1) 객체성 인식 모션 예측(objectness-aware motion prediction)으로, 모션 패턴과 객체성 사전 정보(objectness priors)의 결합 분포를 명시적으로 모델링하여 도메인 불변 특징(feature) 학습을 향상시키고, (2) 객체성 보조 모션 향상(objectness-aided motion enhancement)은 학습된 객체성 사전 정보를 활용하여 모션 노이즈를 필터링하는 모션 레이블 정제 메커니즘이다. 또한, SRMP 연구를 위한 최초의 합성 4D LiDAR 데이터셋인 Motion4D를 생성하기 위한 물리 기반 파이프라인을 제시하며, 이를 통해 합성 모션 데이터셋의 부재를 해소한다. 실험 결과는 우리의 접근법이 도메인 격차를 효과적으로 좁히고 실제 장면에서 우수한 성능을 발휘함을 보여준다.
Cross-Conditioned Recurrent Networks for Long-Term Synthesis of Inter-Person Human Motion Interactions
토론
이 논문과 연결된 포럼 글이 아직 없습니다.