점에서 궤적으로: 물리적 사건을 위한 멀티모달 정렬의 재고
From Points to Trajectories: Rethinking Multimodal Alignment for Physical Events
한국어 초록
물리 인공지능(Physical AI)을 발전시키려면 정적인 객체 인식을 넘어, 충격, 마찰, 힘 전달과 같은 실제 세계의 역학이 시간에 따라 어떻게 전개되는지를 기반으로 삼아야 한다. 멀티모달 정렬기는 다중 센서 스트림을 매칭하여 이러한 상호작용을 포착하고자 하지만, 지배적인 아키텍처는 각 시간 시퀀스를 하나의 풀링된 임베딩으로 압축한다. 우리는 이러한 패러다임이 쌍둥이 사건, 즉 동일한 과제 조건에서 기록된 서로 다른 물리적 수행에서 실패함을 보인다. 시간 차원을 붕괴시키면 일시적인 교차 모달 동역학이 평균화되어 사라지며, 물리적 사건 정렬이 사실상 정적 장면 인식으로 환원된다. 형식적으로, 시퀀스 길이가 증가함에 따라 시간적으로 풀링된 모든 표현이 정상 상태의 기록 조건으로 수렴함을 증명한다. 결과적으로 윈도우가 커질수록, 어떠한 손실 함수나 임베딩 기하를 선택하더라도 풀링된 특징만으로는 쌍둥이 사건을 구별할 수 없다. 대신 우리는 물리적 사건이 사건 간극(event gap), 즉 풀링으로 지워지며 풀링되지 않은 궤적을 따라서만 누적되는 모달리티 간의 순간적이고 동기적인 공동 변동에 의해 고유하게 식별됨을 보인다. 이 신호를 복원하기 위해 각 모달리티의 시간 평균을 제거하여 프레임 수준의 교차 모달 일치도를 점수화하는 경량 플러그인 모듈인 CounterPoint를 도입한다. 네 가지 최신(SOTA) 멀티모달 정렬기에 통합했을 때, CounterPoint는 표현을 거친 조건 매칭에서 세밀한 물리적 사건 정렬로 전환시키며, 기존 시간 정렬 방법들을 일관되게 능가한다.
원문 초록
Advancing physical artificial intelligence (Physical AI) requires moving beyond static object recognition to ground how real-world mechanics (e.g., impact, friction, and force transfer) unfold over time. While multimodal aligners seek to capture these interactions by matching multi-sensor streams, prevailing architectures compress each temporal sequence into a single pooled embedding. We show that this paradigm fails on twin events: distinct physical executions recorded under identical task conditions. Collapsing the temporal dimension averages out transient cross-modal dynamics, effectively reducing physical event alignment to static scene recognition. Formally, we prove that as sequence length increases, any temporally pooled representation converges to the stationary recording condition. Consequently, as windows grow, no choice of loss function or embedding geometry can disambiguate twin events from pooled features alone. Instead, we show that physical events are uniquely identified by the event gap, namely the instantaneous, synchronous co-fluctuations across modalities that are erased by pooling and accumulate only along unpooled trajectories. To recover this signal, we introduce CounterPoint, a lightweight plug-in module that strips out each modality's temporal mean to score frame-level cross-modal agreement. Integrated across four state-of-the-art (SOTA) multimodal aligners, CounterPoint shifts representations from coarse condition matching to fine-grained physical event alignment, consistently outperforming existing temporal alignment methods.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24249v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.