PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10759v1cs.CV

MESSENGER: 자기회귀적 다음 프레임 예측을 통한 메모리 강화 순차 씬 플로우 추정

MESSENGER: Memory-Enhanced Sequential Scene Flow Estimation via Autoregressive Next-Frame Forecasting

씬 플로우(Scene flow)는 동적 시나리오에서 저수준 3D 모션 변위를 포착할 수 있습니다. 순간적인 두 프레임 모션에 의존하는 초기 쌍별(pairwise) 추정기는 장기적인 시간적 상관관계가 결여되어 있으며 미래 예측 시 외삽(extrapolation) 능력이 떨어지는 문제도 겪습니다. 최근 일부 연구에서 시퀀스-투-시퀀스 방식으로 다중 프레임 씬 플로우 추정을 시도하고 있으나, 일반적으로 입력 프레임이 증가함에 따라 막대한 연산 오버헤드가 발생하며 비효과적인 모션 전파로 인해 장기 예측 성능이 저하되는 한계가 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 MESSENGER라는 새로운 메모리 강화 순차 씬 플로우 파이프라인을 제안합니다. 연속적인 시퀀스 내에서 장기적인 시간적 의존성을 자연스럽게 충분히 발굴하기 위해, 과거의 플로우 추정치와 잠재 상태(latent states)를 명시적으로 저장하는 메모리 버퍼를 설계했습니다. 각 입력 프레임에 대해, 시간적으로 저장된 플로우와 상태는 다음 프레임 예측 방식으로 상관관계를 맺고 검색되어 현재의 초기화된 플로우를 예측합니다. 또한 신뢰할 수 없는 검색 결과를 필터링하고 누적 오차를 완화하기 위해 불확실성 인지 재가중치 모듈을 개발했습니다. nuScenes 및 Argoverse 2 데이터셋에 대한 광범위한 실험을 통해 MESSENGER의 SOTA(state-of-the-art) 성능을 입증하였으며, 장기 미래 외삽에서 EPE3D를 nuScenes에서 71.6%, Argoverse 2에서 67.7% 감소시켰습니다. 이러한 우수성은 네트워크가 과거 관측을 기반으로 다음 프레임 분포를 점진적으로 학습하도록 자연스럽게 유도하는 자기회귀적 예측 패러다임 설계 덕분입니다. 코드는 https://github.com/liujiuming123/Messenger 에서 공개될 예정입니다.