Combining Stereo Disparity and Optical Flow for Basic Scene Flow
원문 초록
Scene flow is a description of real world motion in 3D that contains more information than optical flow. Because of its complexity there exists no applicable variant for real-time scene flow estimation in an automotive or commercial vehicle context that is sufficiently robust and accurate. Therefore, many applications estimate the 2D optical flow instead. In this paper, we examine the combination of top-performing state-of-the-art optical flow and stereo disparity algorithms in order to achieve a basic scene flow. On the public KITTI Scene Flow Benchmark we demonstrate the reasonable accuracy of the combination approach and show its speed in computation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ScaleFlow++: Robust and Accurate Estimation of 3D Motion from Video
MESSENGER: 자기회귀적 다음 프레임 예측을 통한 메모리 강화 순차 씬 플로우 추정
MESSENGER: Memory-Enhanced Sequential Scene Flow Estimation via Autoregressive Next-Frame Forecasting
씬 플로우(Scene flow)는 동적 시나리오에서 저수준 3D 모션 변위를 포착할 수 있습니다. 순간적인 두 프레임 모션에 의존하는 초기 쌍별(pairwise) 추정기는 장기적인 시간적 상관관계가 결여되어 있으며 미래 예측 시 외삽(extrapolation) 능력이 떨어지는 문제도 겪습니다. 최근 일부 연구에서 시퀀스-투-시퀀스 방식으로 다중 프레임 씬 플로우 추정을 시도하고 있으나, 일반적으로 입력 프레임이 증가함에 따라 막대한 연산 오버헤드가 발생하며 비효과적인 모션 전파로 인해 장기 예측 성능이 저하되는 한계가 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 MESSENGER라는 새로운 메모리 강화 순차 씬 플로우 파이프라인을 제안합니다. 연속적인 시퀀스 내에서 장기적인 시간적 의존성을 자연스럽게 충분히 발굴하기 위해, 과거의 플로우 추정치와 잠재 상태(latent states)를 명시적으로 저장하는 메모리 버퍼를 설계했습니다. 각 입력 프레임에 대해, 시간적으로 저장된 플로우와 상태는 다음 프레임 예측 방식으로 상관관계를 맺고 검색되어 현재의 초기화된 플로우를 예측합니다. 또한 신뢰할 수 없는 검색 결과를 필터링하고 누적 오차를 완화하기 위해 불확실성 인지 재가중치 모듈을 개발했습니다. nuScenes 및 Argoverse 2 데이터셋에 대한 광범위한 실험을 통해 MESSENGER의 SOTA(state-of-the-art) 성능을 입증하였으며, 장기 미래 외삽에서 EPE3D를 nuScenes에서 71.6%, Argoverse 2에서 67.7% 감소시켰습니다. 이러한 우수성은 네트워크가 과거 관측을 기반으로 다음 프레임 분포를 점진적으로 학습하도록 자연스럽게 유도하는 자기회귀적 예측 패러다임 설계 덕분입니다. 코드는 https://github.com/liujiuming123/Messenger 에서 공개될 예정입니다.
BlinkVision: A Benchmark for Optical Flow, Scene Flow and Point Tracking Estimation using RGB Frames and Events
GERD: 기하학적 이벤트 응답 데이터 생성
GERD: Geometric event response data generation
이벤트 기반 비전 센서는 높은 시간적 해상도, 높은 동적 범위, 낮은 전력 소비를 제공하지만, 이벤트 기반 비전 모델은 기존 프레임 기반 비전 방법에 비해 뒤처져 있다. 우리는 이 격차가 이벤트 기반 시각 스트림을 지배하는 변환군(transformation groups)에 대한 체계적인 연구의 부족에 일부 기인한다고 주장한다. 컴퓨터 비전(CV) 발전에 기여한 기하학적 및 군론적(group-theoretic) 방법의 역할에 착안하여, 우리는 GERD를 제시한다: 정밀하게 제어된 아핀(affine), 갈릴레이(Galilean), 시간적 스케일링 변환 하에서 객체의 이벤트 기반 녹화물을 생성하는 시뮬레이터이다. 각 타임스텝에서 정답 변환(ground-truth transformations)을 제공함으로써, GERD는 실세계 데이터셋이나 현재의 이벤트 시뮬레이터로는 분리하기 어려운 기하학적 속성에 대한 가설 기반의 통제된 연구를 가능하게 한다. GERD는 실제 센서 데이터셋의 보완재로서 세 가지 노이즈 모델과 서브픽셀 모션을 지원한다. 우리는 기하학적 보장이 있는 문헌 모델들을 평가하여 학습에서의 활용 사례를 시연하고, GERD를 오픈 도구로 공개한다.
MEMFOF: High-Resolution Training for Memory-Efficient Multi-Frame Optical Flow Estimation
WAFT: Warping-Alone Field Transforms for Optical Flow
토론
이 논문과 연결된 포럼 글이 아직 없습니다.