PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.13802v1cs.CV

RainDancer: 빗줄기 지향 스파이킹 동역학 기반 RGB-Event 비디오 디레인

RainDancer: RGB-Event Video Deraining with Rain-Oriented Spiking Dynamics

비디오 디레인은 악천후 환경에서 신뢰할 수 있는 인식을 위해 비가 내리는 영상으로부터 깨끗한 시각적 콘텐츠를 복원하는 것을 목표로 한다. 기존 방법은 주로 RGB 시퀀스와 시간적 중복성에 의존하지만, RGB만으로 복원하는 방식은 빗줄기, 텍스처, 경계, 움직임, 가림 등이 유사한 시각적 패턴을 공유할 수 있는 동적 비 환경에서는 모호성이 남아 있다. 이벤트 카메라(event camera)는 높은 시간 해상도의 운동 민감 보조 단서를 제공하지만, 이벤트 스트림에는 센서 노이즈와 배경 유발 응답도 포함되므로 RGB-Event를 직접 융합하면 교차 모달 간섭이 발생할 수 있다. 이 문제를 해결하기 위해, 상호작용 전 분해(decompose-before-interact) 패러다임 기반의 점진적 RGB-Event 비디오 디레인 프레임워크인 RainDancer를 제안한다. 핵심 아이디어는 교차 모달 상호작용 전에 각 모달리티 내에서 빗줄기와 배경 성분을 분리하는 것이다. RGB 분기에서는 프레임 특징을 점진적으로 빗줄기와 배경 표현으로 분해한다. 이벤트 분기에서는 빗줄기 지향 스파이킹 신경망(spiking neural network) 모듈이 빗줄기 움직임과 연관된 희소하고 버스트형 이벤트 동역학을 포착한다. 그런 다음 구조 보존과 빗줄기 억제를 위해 의미적으로 정렬된 표현 간 구성요소 수준 융합을 수행한다. 또한 희소 이벤트 재구성, 구조적 일관성, 그래디언트 방향을 정규화하기 위해 이벤트 도메인 감독을 도입한다. 합성 및 실제 RGB-Event 비디오 디레인 데이터셋에 대한 실험은 우수한 정량적 성능, 시각적 품질, 하류 인식 견고성을 보여준다. 코드는 https://github.com/AE86-plus/RainDancer 에서 이용 가능하다.