FDNet: A Deep Learning Approach with Two Parallel Cross Encoding Pathways for Precipitation Nowcasting
원문 초록
With the goal of predicting the future rainfall intensity in a local region over a relatively short period time, precipitation nowcasting has been a long-time scientific challenge with great social and economic impact. The radar echo extrapolation approaches for precipitation nowcasting take radar echo images as input, aiming to generate future radar echo images by learning from the historical images. To effectively handle complex and high non-stationary evolution of radar echoes, we propose to decompose the movement into optical flow field motion and morphologic deformation. Following this idea, we introduce Flow-Deformation Network (FDNet), a neural network that models flow and deformation in two parallel cross pathways. The flow encoder captures the optical flow field motion between consecutive images and the deformation encoder distinguishes the change of shape from the translational motion of radar echoes. We evaluate the proposed network architecture on two real-world radar echo datasets. Our model achieves state-of-the-art prediction results compared with recent approaches. To the best of our knowledge, this is the first network architecture with flow and deformation separation to model the evolution of radar echoes for precipitation nowcasting. We believe that the general idea of this work could not only inspire much more effective approaches but also be applied to other similar spatiotemporal prediction tasks
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GERD: 기하학적 이벤트 응답 데이터 생성
GERD: Geometric event response data generation
이벤트 기반 비전 센서는 높은 시간적 해상도, 높은 동적 범위, 낮은 전력 소비를 제공하지만, 이벤트 기반 비전 모델은 기존 프레임 기반 비전 방법에 비해 뒤처져 있다. 우리는 이 격차가 이벤트 기반 시각 스트림을 지배하는 변환군(transformation groups)에 대한 체계적인 연구의 부족에 일부 기인한다고 주장한다. 컴퓨터 비전(CV) 발전에 기여한 기하학적 및 군론적(group-theoretic) 방법의 역할에 착안하여, 우리는 GERD를 제시한다: 정밀하게 제어된 아핀(affine), 갈릴레이(Galilean), 시간적 스케일링 변환 하에서 객체의 이벤트 기반 녹화물을 생성하는 시뮬레이터이다. 각 타임스텝에서 정답 변환(ground-truth transformations)을 제공함으로써, GERD는 실세계 데이터셋이나 현재의 이벤트 시뮬레이터로는 분리하기 어려운 기하학적 속성에 대한 가설 기반의 통제된 연구를 가능하게 한다. GERD는 실제 센서 데이터셋의 보완재로서 세 가지 노이즈 모델과 서브픽셀 모션을 지원한다. 우리는 기하학적 보장이 있는 문헌 모델들을 평가하여 학습에서의 활용 사례를 시연하고, GERD를 오픈 도구로 공개한다.
MEMFOF: High-Resolution Training for Memory-Efficient Multi-Frame Optical Flow Estimation
WAFT: Warping-Alone Field Transforms for Optical Flow
Multimodal Fusion SLAM with Fourier Attention
EndoMUST: Monocular Depth Estimation for Robotic Endoscopy via End-to-end Multi-step Self-supervised Training
MOL: Joint Estimation of Micro-Expression, Optical Flow, and Landmark via Transformer-Graph-Style Convolution
토론
이 논문과 연결된 포럼 글이 아직 없습니다.