arXiv:1705.02082

Motion Prediction Under Multimodality with Conditional Stochastic Networks

Katerina Fragkiadaki, Jonathan Huang, Alex Alemi, Sudheendra Vijayanarasimhan, Susanna Ricco, Rahul Sukthankar

제출 2017-05-05

원문 초록

Given a visual history, multiple future outcomes for a video scene are equally probable, in other words, the distribution of future outcomes has multiple modes. Multimodality is notoriously hard to handle by standard regressors or classifiers: the former regress to the mean and the latter discretize a continuous high dimensional output space. In this work, we present stochastic neural network architectures that handle such multimodality through stochasticity: future trajectories of objects, body joints or frames are represented as deep, non-linear transformations of random (as opposed to deterministic) variables. Such random variables are sampled from simple Gaussian distributions whose means and variances are parametrized by the output of convolutional encoders over the visual history. We introduce novel convolutional architectures for predicting future body joint trajectories that outperform fully connected alternatives \cite{DBLP:journals/corr/WalkerDGH16}. We introduce stochastic spatial transformers through optical flow warping for predicting future frames, which outperform their deterministic equivalents \cite{DBLP:journals/corr/PatrauceanHC15}. Training stochastic networks involves an intractable marginalization over stochastic variables. We compare various training schemes that handle such marginalization through a) straightforward sampling from the prior, b) conditional variational autoencoders \cite{NIPS2015_5775,DBLP:journals/corr/WalkerDGH16}, and, c) a proposed K-best-sample loss that penalizes the best prediction under a fixed "prediction budget". We show experimental results on object trajectory prediction, human body joint trajectory prediction and video prediction under varying future uncertainty, validating quantitatively and qualitatively our architectural choices and training schemes.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01019v1cs.CV공통 태그 Optical Flow Estimation, Video Prediction

FutureWorlds: 대안적 미래로부터 로봇 월드 모델 학습하기

FutureWorlds: Learning Robotic World Models from Alternative Futures

로봇 월드 모델은 행동 조건부 미래 장면을 예측하여 행동 결과를 이해하기 위한 기반을 제공합니다. 그러나 다양한 대안적 예측을 유용한 학습(training) 신호로 전환하는 것은 여전히 어려운 과제입니다. 유사한 후보들은 유의미한 품질 비교를 제한하며, 갈라지는 궤적은 개별 히스토리를 지속해서 유지해야 합니다. 본 논문에서는 후보 생성, 히스토리 유지, 상대적 품질 기반 학습을 통합하는 프레임워크인 FutureWorlds를 소개합니다. 다중 모달 이산 자기회귀 모델(multimodal discrete autoregressive model)을 기반으로 구축된 FutureWorlds는 강화학습(reinforcement learning) 중에 다양성 빔 탐색(diverse beam search)을 사용하여 신뢰도와 다양성의 균형을 맞춘 미래 후보들을 생성합니다. 후보별 유계 메모리(bounded memory)는 장면 상태를 보존하고 생성과 정책 점수 평가가 일치하는 히스토리를 사용하도록 보장합니다. 또한 비디오 궤적 보상을 그룹 상대적 이점(group-relative advantage)으로 변환하여 월드 모델을 최적화하는 MemSPO(Memory-Conditioned Search-Guided Policy Optimization)를 제안합니다. RT-1, BridgeV2, RoboCasa에서 FutureWorlds는 각 데이터셋(dataset)의 가장 강력한 기준선(baseline) 대비 32프레임 예측에 대한 LPIPS를 각각 14.78%, 20.84%, 9.12% 감소시킵니다. 고정된 평가 구성에서 단 200회의 MemSPO 업데이트만으로 생성 품질을 더욱 향상시키고 학습 범위를 넘어선 지속적인 예측을 지원합니다. 메모리 소거 연구(ablation), 디코딩 민감도 분석 및 옵티컬 플로우(optical-flow) 평가는 이러한 성능 향상이 시각적 품질을 넘어 더욱 정확한 모션 예측과 일관된 객체 상태로 확장됨을 보여줍니다. 프로젝트 페이지 및 코드: https://github.com/Alexander-wu/FutureWorlds.

arXiv:2609.28414v1cs.CV공통 태그 Prediction, motion prediction

동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원

Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model

동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.

arXiv:2607.11939v1cs.CV공통 태그 Prediction, Trajectory Prediction

TSCA-Net: 해석 가능한 멀티모달 보행자 궤적 예측을 위한 시간-공간 클리크 어텐션

TSCA-Net: Temporal-Spatial Clique Attention for Interpretable Multimodal Pedestrian Trajectory Prediction

군중 환경에서의 정확한 보행자 궤적 예측은 인간 움직임의 멀티모달 불확실성과 서로 다른 장면 맥락에서 운동 역학의 가변적 복잡성으로 인해 여전히 어려운 과제이다. 기존 목표 조건부(goal-conditioned) 모델은 모든 과거 시간 단계에 동일한 가중치를 부여하는 정적 변위 구조, 표준 그래프 어텐션 메커니즘, 그리고 국소적 예측 복잡도에 적응할 수 없는 고정 용량 운동 디코더에 의존한다. 이러한 한계를 해결하기 위해, 세 가지 상보적 모듈을 기반으로 한 궤적 예측 프레임워크인 TSCA-Net을 제안한다. 시간-공간 클리크 어텐션(TSCA) 모듈은 클리크 기반 목표-이력 상호작용에 학습 가능한 시간 게이팅을 도입하여, 각 후보 목표에 대해 과거 관측치의 시간 인식 조절을 가능하게 한다. 교차 보행자 클리크 포텐셜(CPCP) 모듈은 시간에 따라 변하는 사회 그래프를 갖는 동적 클리크 포텐셜 프레임워크를 통해 비대칭적 쌍별 에이전트 관계를 모델링한다. 적응형 KAN 그리드 정제(AKGR) 메커니즘은 에이전트별 목표 분포 엔트로피에 따라 Kolmogorov-Arnold Network 보강 LSTM 디코더의 B-스플라인 그리드 해상도를 동적으로 조정하여, 다양한 운동 복잡도에 걸쳐 모델 표현력과 과적합 사이의 균형을 맞춘다. ETH/UCY 및 Stanford Drone Dataset 벤치마크에 대한 광범위한 실험은 TSCA-Net이 최첨단 성능을 달성함을 보여주며, ETH/UCY에서 평균 ADE/FDE는 0.13/0.20 m이고 SDD에서는 6.95/10.43 픽셀이다. 포괄적 ablation 연구는 제안된 세 모듈 모두의 상보적 기여를 확인한다.

arXiv:2607.09740v1cs.AI공통 태그 Prediction, Trajectory Prediction

다중 상호작용 차량의 장면 수준 차선 변경 의도 및 궤적 예측을 위한 동적 장면 상호작용 추론 프레임워크

A Dynamic Scene Interaction Reasoning Framework for Scene-level Lane-Change Intention and Trajectory Prediction of Multiple Interacting Vehicles

첨단 운전자 보조 시스템과 자율주행 차량의 안전한 모션 플래닝은 주변 교통 장면이 어떻게 변화할지에 대한 정확한 이해를 필요로 한다. 그러나 기존의 많은 차선 변경 예측 방법은 단일 대상 차량에 중점을 두고 있으며, 다중 에이전트 예측 접근법은 흔히 미래 위치만으로 장면 변화를 기술하고 각 차량과 관련된 조작 기동에 대한 명시적 정보를 제한적으로 제공한다. 본 연구는 국지적 교통 장면 내 모든 관련 차량의 차선 변경 의도 및 미래 궤적을 예측하는 동적 장면 그래프 어텐션 프레임워크를 제안한다. 장면은 시변(time-varying) 상호작용 그래프로 표현되며, 차량은 노드로 모델링되고 공간적·운동학적 관계는 명시적 엣지 특징을 통해 인코딩된다. 시간적 그래프 어텐션 메시지 패싱은 변화하는 차량 간 의존성과 기동 전 단서를 포착하며, 의도 기반 디코더는 예측된 각 기동을 해당 미래 모션에 연결한다. 장면 수준 일관성 목적함수는 다중 차량의 호환 가능한 미래 상태를 추가로 장려한다. NGSIM I-80, NGSIM US-101, highD 데이터셋에 대한 실험은 경쟁 기준선 대비 일관된 성능 향상을 보인다. DSiGAT는 NGSIM I-80 및 US-101에서 각각 90.12% 및 90.97%의 의도 예측 정확도를 달성하고, 가장 강력한 기준선 대비 궤적 RMSE를 최대 52.94%까지 감소시킨다. 또한 에이전트 간 충돌률 및 결합 변위 오류가 낮아 보다 일관된 장면 수준 예측을 나타낸다. 제거 연구(ablation), 민감도, 강건성 및 정성적 분석은 제안된 구성요소의 기여도와 장면 중심 공식화의 효과성을 추가로 검증한다.

arXiv:2607.09741v1cs.RO공통 태그 Prediction, Trajectory Prediction

SWIFT: 자율주행 흐름 인식 궤적 예측을 위한 소세계 상호작용 프레임워크

SWIFT: A Small-World Interaction Framework for Flow-Aware Trajectory Prediction in Autonomous Driving

자율주행에서 정확한 궤적 예측은 교통 에이전트 간의 동적이고 맥락 의존적인 상호작용을 모델링하는 데 달려 있다. 그러나 기존 접근법의 대부분은 순수하게 데이터 기반이며 구조적 사전 지식이 부재하여, 분포 변화 상황에서의 일반화 능력이 제한된다. 본 연구에서는 교통 네트워크의 구조와 역학을 통해 상호작용 모델링을 재검토하고, 소세계 네트워크와 교통 흐름 이론을 통합하는 통합 프레임워크인 SWIFT(Small-World Interaction Framework for Trajectory prediction)를 제안한다. SWIFT는 지역적 및 전역적 의존성을 모두 포착하는 소세계 상호작용 네트워크와, 장면 수준의 교통 상태에 따라 상호작용 구조를 적응시키는 흐름 체계 인코더(Flow Regime Encoder)를 통해 구조적 귀납 편향을 도입한다. 상호작용 추론은 직접적 및 고차 에이전트 관계를 명시적으로 인코딩하는 다중 관계 그래프 모듈을 통해 더욱 강화된다. nuScenes, MoCAD, NGSIM 세 가지 실세계 데이터셋에 대한 광범위한 실험 결과, SWIFT는 다양한 교통 체계에 걸쳐 예측 정확도 면에서 강력한 기준 모델들을 일관되게 능가함을 보여준다. 정확도를 넘어, SWIFT는 미관측 위치 및 체계에 대한 향상된 일반화 능력, 잡음이 포함된 관측 하에서의 강건성, 그리고 제한된 학습 데이터에서도 우수한 성능을 나타내며, 구조 인식 설계의 효과성을 뒷받침한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.