CED: Color Event Camera Dataset
원문 초록
Event cameras are novel, bio-inspired visual sensors, whose pixels output asynchronous and independent timestamped spikes at local intensity changes, called 'events'. Event cameras offer advantages over conventional frame-based cameras in terms of latency, high dynamic range (HDR) and temporal resolution. Until recently, event cameras have been limited to outputting events in the intensity channel, however, recent advances have resulted in the development of color event cameras, such as the Color-DAVIS346. In this work, we present and release the first Color Event Camera Dataset (CED), containing 50 minutes of footage with both color frames and events. CED features a wide variety of indoor and outdoor scenes, which we hope will help drive forward event-based vision research. We also present an extension of the event camera simulator ESIM that enables simulation of color events. Finally, we present an evaluation of three state-of-the-art image reconstruction methods that can be used to convert the Color-DAVIS346 into a continuous-time, HDR, color video camera to visualise the event stream, and for use in downstream vision applications.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LongE2V: 비디오 확산 모델을 활용한 장기 이벤트 기반 비디오 복원, 예측 및 프레임 보간
LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models
희소 이벤트 스트림에서 고품질 비디오를 복원하는 것은 어려운 과제이다. 회귀 방법은 텍스처를 흐릿하게 만드는 경향이 있으며, 기존 생성 모델은 장기 안정성 확보에 어려움을 겪는다. 우리는 사전학습된 비디오 확산 사전 지식(prior)을 활용하여 이벤트 기반 비디오 복원, 예측, 프레임 보간을 통합적으로 처리하는 새로운 접근법인 LongE2V를 제안한다. 기반 비디오 모델을 미세조정함으로써, 우리의 접근법은 높은 데이터 효율성과 우수한 지각적 품질을 달성한다. 극도로 긴 시퀀스에서의 시간적 드리프트를 완화하기 위해 자기회귀적 언롤링(Autoregressive Unrolling)과 적응형 컨텍스트 전환(Adaptive Context Switching)을 도입한다. 또한 프레임 보간 시 정밀한 양방향 일관성을 보장하기 위해 교차 잔차 보정을 포함한 재인코딩 정렬(Reencoding Alignment with Cross Residual Correction)을 제안한다. 나아가, 이벤트 복셀 밀도 증강(Event Voxel Density Augmentation)은 다양한 센서 해상도에 걸쳐 강건성을 보장한다. 실세계 벤치마크에서의 광범위한 실험을 통해 LongE2V가 세 가지 과제 모두에서 최첨단 방법을 능가하며, 뛰어난 시간적 일관성과 제로샷 일반화 능력을 보임을 입증한다. 프로젝트 페이지: https://cdfan0627.github.io/LongE2V-page/
Deep Event Stereo Leveraged by Event-to-Image Translation
그리드는 종종 밀집 신호 압축에서 암시적 신경 표현(Implicit Neural Representations, INRs)보다 우수합니다
Grids Often Outperform Implicit Neural Representations at Compressing Dense Signals
암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 인상적인 결과를 보여주었지만, 그 기본 용량, 암시적 편향, 스케일링 동작은 여전히 잘 이해되지 않고 있습니다. 우리는 다양한 유효 대역폭을 가진 2D 및 3D 실제 및 합성 신호와 토모그래피, 초해상도, 노이즈 제거를 포함한 과적합(overfitting) 및 일반화 작업 전반에 걸쳐 다양한 INRs의 성능을 조사합니다. 모델 크기와 신호 유형 및 대역폭에 따라 성능을 계층화하여, 서로 다른 INR 및 그리드 표현이 용량을 어떻게 할당하는지를 밝혀냅니다. 밀집 신호를 다루는 많은 작업에서, 보간이 적용된 간단한 정규화된 그리드는 동일한 파라미터 수를 가진 어떤 INR보다 더 빠르게 학습되며 더 높거나 대등한 품질로 도달함을 발견했습니다. 또한, 형태 윤곽과 같은 이진 신호 적합 작업과 같이 INRs가 그리드보다 우수한 성능을 보이는 제한적인 설정도 발견했습니다. 이는 향후 INRs의 개발과 활용을 가장 유리한 응용 분야로 유도하는 데 도움이 될 것입니다.
MGVQ: Could VQ-VAE Beat VAE? A Generalizable Tokenizer with Multi-group Quantization
LangMamba: A Language-driven Mamba Framework for Low-dose CT Denoising with Vision-language Models
Cloud-Aware SAR Fusion for Enhanced Optical Sensing in Space Missions
토론
이 논문과 연결된 포럼 글이 아직 없습니다.