이벤트 기반 3D 추적은 저지연 고속 인식을 가능하게 하지만, 기존 CNN 및 트랜스포머 기반 추적기는 희소하고 잡음이 많은 이벤트 스트림에서 장거리 시공간 의존성을 포착하는 데 어려움을 겪으며, 특히 실시간 및 효율성 제약 하에서 그러하다. 이러한 과제를 해결하기 위해, 우리는 이벤트 데이터에 대한 3D 특징 추적을 위한 최초의 Mamba 기반 프레임워크인 E-TraMamba를 제안한다. 이 새로운 프레임워크는 효율적인 장거리 모델링을 위해 선형 상태 공간 모델(linear state-space model)을 채택하고, 모션 블러와 가림(occlusion) 상황에서 안정적인 추적을 유지하기 위해 경량 어파인 변환 예측기(affine-transform predictor)를 통합한다. 또한 지역 시공간 패치, 상관 맵(correlation map), 위치 임베딩 등 다중 스케일 단서를 통합된 표현으로 융합하여 안정적이고 부드러운 3D 추적을 가능하게 하는 효과적인 방식을 설계한다. 우리는 단안 렌더링으로 생성된 대규모 합성 데이터셋인 EvD-PointOdyssey를 구축하며, 이는 이벤트 기반 3D 추적 모델의 학습 및 평가를 위해 동기화된 이벤트 스트림, 깊이 맵, 정확한 3D 궤적을 제공한다. 이벤트 기반 벤치마크에서의 광범위한 실험을 통해 E-TraMamba가 최첨단(state-of-the-art) 성능을 달성함을 입증하며, 엄격한 정확도 임계값(예: 0.1 m) 하에서 모든 기준선 대비 2배 이상 긴 특징 수명, 높은 추적 특징 비율, 낮은 RMSE를 제공한다. 이러한 결과는 E-TraMamba를 저지연 시각적 오도메트리(visual odometry), 실시간 SLAM, 인터랙티브 로보틱스의 유력한 후보로 만든다.
기존 RGB 카메라는 플레어(flare), 글레어(glare), 깜빡임(flicker), 과다 노출(overexposure)과 같은 조명 아티팩트로 인해 복구 불가능한 정보 손실이 발생하며, 이는 계산적 복원(computational restoration)을 필요로 한다. 그러나 기존 접근법들은 이러한 문제를 개별적으로 다루어, 복잡한 공간적으로 이산적인(spatially discrete) 이미지 퇴화로 완전히 가려진 구조적 디테일을 복원하지 못한다. 본 논문에서는 새로운 교차 모달 복원 패러다임을 제안하고, RGB 비디오에서 조명 아티팩트의 표적 감지 및 인페인팅(inpainting)을 유도하기 위해 신경형태 이벤트 스트림(neuromorphic event streams)을 구조적 사전 정보(structural prior)로 활용하는 모듈형 개념 증명(proof-of-concept) 파이프라인인 DeLux를 제시한다. 합성 벤치마크와 실제 자동차 영상에 대한 검증 결과, DeLux가 국소 아티팩트를 효과적으로 억제하고 영향을 받은 영역을 복원함을 보여준다. 제안된 접근법은 기존 RGB 전용 베이스라인 및 이벤트 유도 HDR 모델을 능가하여, 모든 아티팩트 유형에서 평균 MS-SSIM 0.99 이상을 달성하고 실제 자동차 영상에서 아티팩트 심각도를 최대 88% 감소시킴을 보였다. 합성 아티팩트 생성 도구와 엄선된 실제 세계 평가 데이터셋은 교차 모달 복원에 대한 향후 연구를 촉진하기 위해 공개된다.
이벤트 카메라와 고속 갈바노미터 미러, 초점 조절 가능 망원 렌즈를 결합한 능동 시각 시스템(GCS)을 제안하여 경기 중 무수정 공의 스핀을 실시간으로 추적·추정한다. 구면 대비 최대화(s-CMax) 오프라인 방법과 불확실성 인식 CNN 기반 온라인 방법을 통해 프로 탁구 경기에서 750Hz 처리량, 3ms 지연으로 높은 정확도의 스핀 추정을 달성한다.
픽셀별 이벤트 수명 주기를 분수 완화(fractional-relaxation) 전압 동역학으로 모델링하는 이벤트 카메라 시뮬레이터 FracEvent를 제안하며, 로그 강도 궤적을 입력받아 완화 모드 스택을 통해 전압 상태를 형성하고 연속 시간 임계값 교차로 ON/OFF 이벤트를 생성한다. 여러 데이터셋에서의 이미지 재구성 및 광학 흐름 추정 평가에서 기존 시뮬레이터 베이스라인 대비 생성 이벤트의 시간적 구조와 다운스트림 전이 성능 모두에서 우수한 결과를 달성했다.
이벤트 카메라 기반 안구 움직임으로 인지 부하(cognitive workload)를 인식하기 위해, N-back 유도 고정(fixation) 과제 하에서 20명 참가자의 6단계 부하 주석 데이터셋 EveLoad를 구축하고 시공간 이벤트 표현을 학습하는 프레임워크를 제안했다. 혼합 무작위 분할 평가에서 피험자별 평균 정확도 96.36%·96.13%를 달성해, 적응형 재활·보조 인터페이스를 위한 비침습적 부하 감지 경로로서 이벤트 기반 안구 동역학의 가능성을 보였다.
스파이킹 신경망(SNN) 학습을 가로막는 이벤트 스트림 데이터 부족을 해소하기 위해 I2E는 정적 이미지를 고품질 이벤트 스트림으로 실시간 변환하며, 병렬화된 합성곱으로 미세안구운동(microsaccadic eye movement)을 시뮬레이션해 기존 방법 대비 300배 이상 빠른 변환과 SNN 학습 시 온더플라이 데이터 증강을 가능하게 한다. I2E-ImageNet으로 학습한 SNN은 60.50%로 이벤트 기반 ImageNet 최고 정확도를 기록했고, 합성 I2E 데이터 사전학습 후 CIFAR10-DVS에서 파인튜닝한 sim-to-real 방식은 92.5% 정확도를 달성해 합성 이벤트 데이터가 실제 센서 데이터의 고충실도 대리가 될 수 있음을 보였다.
기존의 자동차 이벤트 데이터셋은 프레임 파이프라인의 외관 기반 어노테이션에 의존하기 때문에 모션 인식 이벤트 퍼셉션에는 적합하지 않다. 우리는 이벤트 스트림에서 직접 에고 모션 구조를 활용하여 탐지된 객체를 정적 또는 독립적으로 움직이는 것으로 분류하는, 기하학 기반의 어노테이션 불필요 프레임워크를 제시한다. 요(yaw) 보상이 적용된 Focus of Expansion 모델이 전역 배경 모션을 추정하며, 로컬 모션이 이 예측에서 벗어날 때—스케일 불변 잔차로 정량화하여—해당 객체를 움직이는 것으로 레이블링한다. 시간적 안정화는 연속적인 이벤트 윈도우 전반에 걸쳐 강건성을 향상시킨다. 이 방법은 학습이 필요 없고 수동 모션 레이블도 요구하지 않으며, 임의의 입력 바운딩 박스와 함께 동작한다. MVSEC 및 Prophesee 1 Megapixel Automotive Detection 데이터셋에 대한 실험은 다양한 주행 시나리오에서 일관된 성능을 보여주며, 요 보상은 회전 구간에서 결과를 개선하고 단순한 병진(translational) 로컬 모델은 유리한 정확도-효율성 트레이드오프를 제공함을 확인하였다.
고프레임률 RGB-D 비디오는 동작 분석, 동적 장면 이해, 3D 재구성 등 다양한 다운스트림 태스크에 필수적이다. 그러나 하드웨어 및 센싱의 제약으로 인해 실용적인 RGB-D 카메라는 일반적으로 낮은 프레임률로 제한되어 빠른 장면 역학을 포착하기 어렵다. 기존 비디오 보간 방법들은 RGB 데이터에서 강력한 성능을 달성했지만, RGB-D 시나리오에는 곧바로 적용하기 어려우며, 경계 흐림, 가시적 아티팩트, 기하학적 일관성 저하 등의 문제를 자주 야기한다. 더욱이 복잡한 동적 장면에서 두 경계 프레임만으로 동작을 추정하는 것은 본질적으로 제약이 부족한 문제이다. 반면 이벤트 카메라는 초고시간 해상도의 비동기 측정을 제공하여 밀도 높은 동작 단서를 제공한다. 본 논문에서는 RGB 외관, 깊이 기하, 이벤트 기반 시간적 단서를 공동으로 활용하는 RGB-D 비디오 보간을 위한 통합 멀티모달 프레임워크를 제안한다. 구체적으로, 먼저 RGB, 깊이 및 이벤트 단서를 추출하고 융합한 후, RGB에 대한 모션 기저 정제와 깊이에 대한 Z축 정제를 통해 양방향 플로우를 추정하고, 마지막으로 양방향 와핑과 소프트 블렌딩을 통해 목표 RGB-D 프레임을 합성한다. 또한, 세 가지 모달리티 학습 데이터의 부족을 해소하기 위해 새로운 RGB-D-Event 데이터셋을 구축한다. 공개 벤치마크와 제안된 데이터셋에 대한 광범위한 실험을 통해, 본 방법이 기존 접근법 대비 RGB 보간에서 우수한 측광 충실도와 깊이 보간에서 더 강력한 기하학적 정확도를 달성함을 입증한다.
현실적인 시나리오에서의 미세표정 인식(MER)은 높은 시간적 민감도와 생태학적 타당성을 요구하지만, 기존 벤치마크는 대부분 실험실 통제 환경과 경직된 하드웨어 결합 센싱에 제한되어 있다. 우리는 자발적인 감정 누출을 유발하기 위해 다단계 스트레스 유도 프레임워크(인지적 및 사회적) 하에서 수집된 기기 간 Event-RGB 데이터셋인 CDER-SME를 제안한다. 독립적이고 분리된 센서를 이용한 재현 가능한 수집을 가능하게 하기 위해, 시간적 동기화와 랜드마크 기반 공간 정합을 위한 하드웨어에 구애받지 않는 정렬 파이프라인을 제공한다. CDER-SME는 92명의 피험자와 1,963개의 전문가 주석 샘플(Action Units 및 감정)을 포함하는 3단 구조를 채택하며, 이 중 790개의 Event-RGB 쌍과 210개의 고정밀 정렬 쌍을 포함한다. 또한 재현 가능한 다중모달 기준선을 보고하며, 여기서 교차 모달 융합이 단일 모달리티 대비 성능을 향상시켜 이벤트 역학과 RGB 단서의 상호 보완성을 뒷받침한다. 동축 보정의 필요성을 제거함으로써, CDER-SME는 기기 간 정렬 및 실세계 정서 지능에서 배포 가능한 Event-RGB MER를 위한 실용적인 벤치마크를 제공한다.
이벤트 카메라는 대수 강도 변화를 비동기적으로 캡처하는 생체 모방 센서로, 고속 및 고다이나믹 레인지 시나리오에서 본질적인 이점을 제공합니다. 그러나 이벤트 스트림의 희소하고 비동기적인 특성은 현대 심층 학습 아키텍처에 근본적인 도전을 제기합니다. 표준 모델과의 호환성을 가능하게 하기 위해, 대부분의 기존 접근 방식은 누적 윈도우를 고정된 시간적 하위 빈으로 분할합니다. 공간적 처리에는 효과적이지만, 이러한 내부 이산화는 세밀한 시간 구조를 폐기하고 추론을 학습 감독에 의해 부과된 낮은 시간적 주파수로 제약합니다. 이러한 제한을 해결하기 위해, 우리는 새로운 필러 인코딩(PE)을 기반으로 구축된 통합 프레임워크인 FATE를 제안합니다. PE는 목표 주파수에 의해 결정된 이산적인 매크로 누적 윈도우에서 작동하면서 내부 시간적 하위 빈 분할을 피합니다. 이는 이벤트를 공간 필러로 구성하고 연속 시간 직교 다항식 기저로의 투영을 통해 윈도우 내 진화를 근사화합니다. 이 공식은 희소한 이벤트 조건에서 정보 손실을 완화하면서, 밀집된 의사 이미지에 풍부한 시간적 동역학을 유지하는 L2 최적 표현을 산출합니다. 이 표현을 완전히 활용하기 위해, 우리는 시간적으로 밀집된 의사 라벨을 생성하여 낮은 주파수 감독과 높은 주파수 추론 사이의 불일치를 효과적으로 해소하는 소프트 평균 교사 커리큘럼인 주파수 인식 학습(FAT)을 도입합니다. 광범위한 실험을 통해 FATE가 아키텍처 패러다임에 걸쳐 일반화되고 강력한 기준선을 일관되게 능가함을 보여줍니다. 이는 매개변수 수와 추론 지연 시간에서 최소한의 오버헤드만을 수반하면서 200 Hz에 이르는 높은 시간 해상도에서 견고한 객체 검출을 가능하게 합니다.
공항, 공공 장소, 기타 민감한 지역 주변의 무허가 무인항공기(UAV) 활동으로 인해 보호 공역 모니터링이 점점 더 중요해졌다. 실용적인 센싱 시스템은 넓은 각도 영역을 탐색하고, 장거리의 작은 표적을 찾으며, 제한 구역 경계가 침범되기 전에 방위 지원과 UAV 특이적 증거를 모두 반환해야 한다. 기존 UAV 탐지 경로는 종종 기체 크기, 실루엣, 또는 궤적 연속성과 같이 공간적으로 구성된 증거에 의존한다. 그러나 장거리에서는 표적 풋프린트가 약해지고 영상 평면 상의 지원이 줄어들면서 이러한 단서를 유지하고 검증하기가 어려워진다. EventRadar는 보완적 단서인 프로펠러 유발 시간적 주기성을 따르며, 최근 이벤트 카메라 센싱 연구에서 외관이 약해진 후에도 UAV 특이적 움직임을 드러낼 수 있음을 보였다. 우리는 이벤트 카메라 프로토타입으로 이 단서를 킬로미터 규모의 능동 센싱으로 확장한다. Scene-Anchored Geometry Evidence(SAGE)는 스캐닝 이벤트와 IMU 자세를 융합해 방위 인덱스 기반 장면 메모리를 유지하며, 일시적 후보 지원을 지속적인 배경 잡음과 분리한다. Comb-guided Harmonic-Group Learned Iterative Shrinkage and Thresholding Algorithm(CHG)는 각 후보를 약한 고속 타이밍 신호로 취급하고, 고정 연산량으로 위상 비민감 고조파 증거를 복원한다. 700-1500m UAV 이벤트 녹화에서 관련 이벤트 카메라 baseline과 비교했을 때, EventRadar는 0.990 mAP$_{.3}$ 및 0.949 F1$_{.3}$를 달성하고, FN$_{.3}$를 0.009로 줄이며, 프로토타입 프로파일링에서 실시간 실현 가능성을 보여준다.
동적 비전 센서(DVS)는 픽셀 단위 밝기 변화를 비동기적으로 보고함으로써 뛰어난 시간 분해능과 다이내믹 레인지를 제공한다. 그러나 기존 DVS는 생물학적 망막 신경절세포(RGC)가 수행하는 공간 통합을 무시하고 픽셀별 독립적 트리거 메커니즘에 의존한다. 결과적으로 대비 민감도 함수(CSF)와 중간 공간 주파수에 대한 고유한 민감도가 결여되어, 임계값 미만 신호 손실로 인해 불가피하게 정보 불완전성이 발생한다. 이 간극을 메우기 위해, 우리는 이벤트 트리거 과정 바로 앞에 학습 가능한 공간 필터를 통합하여 RGC 집적 메커니즘을 모방하는 새로운 패러다임인 FS-DVS(Frequency-Selective Dynamic Vision Sensor, 주파수 선택적 동적 비전 센서)를 제안한다. 미분 가능한 이벤트 시뮬레이션 프레임워크를 개발함으로써, 공간 필터를 다운스트림 태스크와 함께 종단 간(end-to-end)으로 최적화할 수 있다. 우리 연구는 델타 함수에서 출발할 때 학습된 공간 필터가 중간 주파수 성분을 강조하는 중심-주변(center-surround) 패턴으로 자발적으로 진화하며, 인간 CSF와 일관되게 정렬됨을 보여준다. 객체 검출과 행동 인식에서 상당한 성능 향상을 달성하는 것을 넘어, 서로 다른 태스크에서 인간과 유사한 CSF 특성으로의 일관된 수렴은 이러한 중간 주파수 선택 메커니즘의 보편성을 강조한다. 센서 감도를 단순히 높이거나 후처리(post-processing)에 의존하는 방식과 비교할 때, 우리 패러다임은 높은 노이즈 내성을 갖는 선택적 정보 강화를 달성하며, 차세대 신경모사형 센서(neuromorphic sensors)를 위한 견고하고 생물학적으로 타당한 청사진을 제공한다.