Event-based vision on FPGAs -- a survey
원문 초록
In recent years there has been a growing interest in event cameras, i.e. vision sensors that record changes in illumination independently for each pixel. This type of operation ensures that acquisition is possible in very adverse lighting conditions, both in low light and high dynamic range, and reduces average power consumption. In addition, the independent operation of each pixel results in low latency, which is desirable for robotic solutions. Nowadays, Field Programmable Gate Arrays (FPGAs), along with general-purpose processors (GPPs/CPUs) and programmable graphics processing units (GPUs), are popular architectures for implementing and accelerating computing tasks. In particular, their usefulness in the embedded vision domain has been repeatedly demonstrated over the past 30 years, where they have enabled fast data processing (even in real-time) and energy efficiency. Hence, the combination of event cameras and reconfigurable devices seems to be a good solution, especially in the context of energy-efficient real-time embedded systems. This paper gives an overview of the most important works, where FPGAs have been used in different contexts to process event data. It covers applications in the following areas: filtering, stereovision, optical flow, acceleration of AI-based algorithms (including spiking neural networks) for object classification, detection and tracking, and applications in robotics and inspection systems. Current trends and challenges for such systems are also discussed.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
UniDynamics: 통합 미래 4D 동적 장면 생성을 위한 이벤트-RGB 융합
UniDynamics: Event-RGB Fusion for Unified Future 4D Dynamic Scene Generation
본 논문에서는 미래 모션 필드(motion field)를 명시적으로 모델링하면서 기존 방식처럼 긴 이력이나 제어 사전 정보(prior)를 요구하지 않고, 단일 이벤트-RGB 쌍으로부터 미래 4D 동적 장면(RGB, 깊이, 광학 흐름)을 생성하는 디퓨전(diffusion) 기반 프레임워크인 UniDynamics를 제안합니다. 핵심 아이디어는 이벤트 스트림을 활용하여 단일 RGB 외삽(extrapolation)을 위한 대안적 모션 사전 정보를 제공하고, 멀티모달 모델링을 통해 생성 전반에 걸쳐 기하학적 및 모션 제약 조건을 강제하는 것입니다. 구체적으로, 이벤트 잠재 표현을 정렬하고 강화하여 디퓨전에 주입 가능한 조건화 피처로 변환하는 이벤트 잠재 강화(ELE, Event Latent Enhancement) 모듈을 설계하여 강건한 초기 모션 사전 정보와 신뢰할 수 있는 텍스처/구조 단서를 제공합니다. 나아가 멀티스케일 U-Net에 임베딩된 지각 동역학 공간(PDS, Perceptual Dynamics Space)을 도입하여 깊이와 흐름을 분리하고 적응적으로 상호작용하도록 하는 동시에 외형 피처에 제약 조건을 지속적으로 피드백함으로써 기하학적-모션 일관성을 향상시켜 물리적으로 타당하고 시공간적으로 일관된 예측을 가능하게 합니다. VKitti2 및 DSEC 데이터셋에 대한 실험은 최첨단(state-of-the-art) 성능을 입증하며, 특히 까다로운 고속 모션 블러 환경에서도 고품질의 시간적으로 일관되고 4D 일관성을 갖춘 미래 예측을 생성함을 보여줍니다.
LongE2V: 비디오 확산 모델을 활용한 장기 이벤트 기반 비디오 복원, 예측 및 프레임 보간
LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models
희소 이벤트 스트림에서 고품질 비디오를 복원하는 것은 어려운 과제이다. 회귀 방법은 텍스처를 흐릿하게 만드는 경향이 있으며, 기존 생성 모델은 장기 안정성 확보에 어려움을 겪는다. 우리는 사전학습된 비디오 확산 사전 지식(prior)을 활용하여 이벤트 기반 비디오 복원, 예측, 프레임 보간을 통합적으로 처리하는 새로운 접근법인 LongE2V를 제안한다. 기반 비디오 모델을 미세조정함으로써, 우리의 접근법은 높은 데이터 효율성과 우수한 지각적 품질을 달성한다. 극도로 긴 시퀀스에서의 시간적 드리프트를 완화하기 위해 자기회귀적 언롤링(Autoregressive Unrolling)과 적응형 컨텍스트 전환(Adaptive Context Switching)을 도입한다. 또한 프레임 보간 시 정밀한 양방향 일관성을 보장하기 위해 교차 잔차 보정을 포함한 재인코딩 정렬(Reencoding Alignment with Cross Residual Correction)을 제안한다. 나아가, 이벤트 복셀 밀도 증강(Event Voxel Density Augmentation)은 다양한 센서 해상도에 걸쳐 강건성을 보장한다. 실세계 벤치마크에서의 광범위한 실험을 통해 LongE2V가 세 가지 과제 모두에서 최첨단 방법을 능가하며, 뛰어난 시간적 일관성과 제로샷 일반화 능력을 보임을 입증한다. 프로젝트 페이지: https://cdfan0627.github.io/LongE2V-page/
영향력 있는 다원주의적 정렬 연구를 위한 로드맵
A Roadmap to Impactful Pluralistic Alignment Research
Towards Trustworthy Physical Intelligence: From Theory to Practice Across Life Cycle
하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화
Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers
선형 표현 가설에 관한 서베이
A Survey on the Linear Representation Hypothesis
"선형 표현 가설(LRH, Linear Representation Hypothesis)"이라는 용어는 인공지능, 뇌과학, 인지과학의 다양한 하위 분야 전반에 걸쳐 등장해 왔습니다. 그러나 이전 연구들은 LRH를 반증 가능한 과학적 가설로 일관되게 다루지 않았습니다. 본 연구에서는 이러한 불일치를 분석하고, 기존의 이론적·방법론적 결과들이 어떻게 해석되어야 하는지에 미치는 영향을 살펴봅니다. 이러한 분석을 바탕으로, 선형 표현에 관한 주장은 모델, 표현의 위치, 특징(feature) 정의 및 평가 데이터셋에 대한 면밀한 검토를 통해서만 명확하게 정의될 수 있다고 주장합니다. 따라서 우리는 이러한 의존성을 명시화하여 해당 가설을 반증 가능한 과학적 주장으로 평가할 수 있도록 하는, 더욱 엄밀하게 정식화된 LRH를 제안합니다. 마지막으로, 연구 커뮤니티의 추가적인 관심이 필요한 몇 가지 중요한 미해결 과제들을 제시합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.