상호작용 모델링은 고도로 비선형적이며 시간에 따라 변하는 동작을 보이는 상호작용 객체 시스템, 즉 복잡한 동적 시스템(dynamical systems)을 학습하는 데 매우 중요합니다. 이러한 시스템의 상당 부분은 기하학적 그래프($\textit{geometric graphs}$), 즉 교통 상황의 차량과 같이 $\textit{임의로}$ 선택된 글로벌 좌표계 하에서 유클리드 공간에 위치한 노드(node)를 갖는 그래프로 정형화될 수 있습니다. 임의의 글로벌 좌표계에도 불구하고, 해당 동적 시스템을 지배하는 동역학은 회전 및 변위(translation)에 대해 불변이며, 이는 갈릴레이 불변성($\textit{Galilean invariance}$)으로도 알려져 있습니다. 이러한 불변성을 무시하면 일반화 성능이 저하되므로, 본 연구에서는 상호작용 동적 시스템의 기하학적 그래프에 회전-변위 불변성을 유도하기 위해 노드 객체별 로컬 좌표계(local coordinate frames)를 제안합니다. 또한, 로컬 좌표계를 통해 그래프 신경망(GNN)에서 비등방성 필터링(anisotropic filtering)을 자연스럽게 정의할 수 있습니다. 교통 상황, 3D 모션 캡처, 충돌 입자에 대한 실험을 통해 제안된 접근 방식이 최근 SOTA(state-of-the-art)를 여유 있게 능가함을 입증합니다.
본 논문에서는 카메라 네트워크 전반에 걸쳐 이동하는 객체의 궤적을 예측하는 다중 카메라 궤적 예측(MCTF, Multi-Camera Trajectory Forecasting) 문제를 소개한다. 감시 및 교통 모니터링과 같은 응용 분야에서 다중 카메라 설정이 널리 사용되고 있음에도 불구하고, 기존 궤적 예측 기법들은 일반적으로 단일 카메라 궤적 예측(SCTF)에 집중되어 있어 이러한 응용 분야에서의 활용이 제한된다. 나아가 단일 카메라를 사용하는 것은 가용한 시야각(field-of-view)을 제한하여 장기적인 궤적 예측을 불가능하게 만든다. 저자들은 여러 시점으로부터 추정된 모든 상대적 객체 위치를 동시에 활용하고 가능한 모든 시점에서 객체의 미래 위치를 예측하는 MCTF 프레임워크를 개발함으로써 SCTF의 이러한 한점들을 해결한다. 제안하는 프레임워크는 객체가 어느 카메라에 나타나는지(Which), 그리고 카메라 뷰 내에서 언제(When) 어디에(Where) 나타나는지를 예측하는 Which-When-Where 접근법을 따른다. 이를 위해 다중 카메라 뷰에 걸친 궤적과 관련 불확실성을 인코딩하는 새로운 기법인 궤적 텐서(trajectory tensor) 개념을 제안한다. 궤적 텐서를 위한 여러 인코더-디코더 MCTF 모델을 개발하고, 특히 MCTF 작업을 위해 구축된 자체 데이터베이스(15개 카메라 뷰의 600시간 비디오 데이터로 구성)에서 광범위한 실험을 제시한다. 결과는 제안하는 궤적 텐서 모델이 좌표 궤적 기반 MCTF 모델 및 MCTF에 맞게 변형된 기존 SCTF 기법들보다 우수한 성능을 보임을 나타낸다. 코드는 https://github.com/olly-styles/Trajectory-Tensors 에서 확인할 수 있다.
자율주행 궤적 예측 모델은 조건부 가우시안 혼합 모델(GMM)로 모델링되지만 winner-take-all(WTA) 손실의 강할당으로 학습되어, 모델링-학습 불일치가 모드 확률의 비정보성과 궤적 공간 과분할을 유발한다는 점을 K-means 관점에서 분석한다. 테스트 시점 사후분포 가중 병합과 1단계 기대-최대화(EM) 업데이트를 사후 처리로 적용하면 인접 모드 간 확률 질량을 공유하여, 재학습 없이 WTA로 학습된 여러 아키텍처에서 모드 사후분포 품질과 변위 지표 예측 성능을 개선한다.
기존의 시각 내비게이션 정책은 복잡한 환경에서 근시안적 의사결정과 모드 붕괴(mode collapse) 문제에 빈번히 어려움을 겪는다. 월드 모델(world model)은 유망한 대안을 제시하지만, 기존 패러다임은 일반적으로 인식, 생성, 제어를 분리하여 이들이 공유하는 시공간적 역학을 포착하는 데 실패한다. 본 논문에서는 잠재 월드 추론, 멀티모달 행동 예측, 제어 가능한 시각 생성을 원활하게 통합하는 통합 내비게이션 월드 모델인 NavWM을 제안한다. 핵심적으로, NavWM은 잠재 월드 토큰(latent world token)을 활용하여 기하학적·의미론적 사전 지식을 증류하고, 에이전트에게 강건한 구조적 이해 능력을 부여한다. 결정론적 정책의 한계를 극복하기 위해, 다양한 행동 공간을 생성하는 앵커 기반 멀티모달 궤적 예측 프레임워크를 도입한다. 이러한 내재적 다양성은 생성적 월드 모델이 강건한 폐루프(closed-loop) 플래너로 기능할 수 있도록 명시적으로 지원하며, 시각적 예지(visual foresight)를 활용하여 최적 경로를 평가하고 선택한다. 다양한 로보틱스 데이터셋에 걸친 광범위한 실험을 통해 NavWM이 최첨단 성능을 크게 향상시키며, 고충실도 미래 상태 생성과 제로샷(zero-shot) 내비게이션 성공률 모두에서 두드러진 개선을 달성함을 입증한다.