PyTorchKR Papers

최신 논문

총 32편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03439v1cs.CV

이벤트-이미지 단안 깊이 추정을 위한 깊이 가설 기반 반복 정제 기법

Depth Hypothesis Guided Iterative Refinement for Event-Image Monocular Depth Estimation

이벤트 카메라는 뛰어난 동적 특성을 지니고 있어 단안 깊이 추정(MDE) 분야에서 큰 잠재력을 보여줍니다. 그러나 기존 방법들은 주로 문맥적 특징을 최적화하여 성능을 개선하는 데 그치며, 직접적인 전체 깊이 회귀가 지닌 불량조건(ill-posed) 문제와 비선형적 특성으로 인해 여전히 어려움을 겪고 있습니다. 본 논문에서는 최초의 이벤트-이미지 단안 깊이 반복 정제 프레임워크인 HypoDepth를 제안합니다. 이산적인 깊이 가설 볼륨(DHV)을 도입하여 깊이 회귀 문제를 제약된 깊이 탐색 과제로 변환합니다. 구체적으로, DHV 특징과 문맥적 특징 사이에 3D 비용 볼륨(cost volume)을 구성하고 다중 스케일 상관관계 탐색을 수행하여 안정적인 잔차 최적화를 유도합니다. 이 경량 비용 볼륨은 다중 해상도에 걸쳐 효율적인 전역-지역(global-to-local) 정제를 가능하게 합니다. 제안하는 방법은 DSEC 및 MVSEC에서 최고 성능(SOTA)을 달성하고 강력한 제로샷(zero-shot) 일반화 능력을 보이며 기존 기법들을 능가합니다. 아울러 제안된 초소형 모델은 정확도와 효율성 사이에서 뛰어난 균형을 달성하여 자원이 제한된 기기에서도 실시간 성능을 발휘할 수 있도록 합니다.

arXiv:2610.02265v1eess.IV

이벤트 기반 뉴럴 비디오 압축

Event-guided Neural Video Compression

뉴럴 비디오 코덱은 주로 RGB 프레임에서 모션 및 시간적 문맥을 도출하므로, 상호 보완적인 시간적 관측 정보를 통한 교차 모달 유도(cross-modal guidance)의 여지가 남아 있습니다. 이벤트 스트림은 프레임 간의 밝기 변화를 기록하여 이러한 관측 정보를 제공할 수 있습니다. 본 연구에서는 인코더와 디코더가 공유하는 이벤트를 활용하여 RGB 압축 효율을 향상시키는 이벤트 기반 뉴럴 비디오 코덱(ENVC)을 제안합니다. 모션 코딩을 위해 ENVC는 이벤트 기반 모션 사전 확률(motion prior)을 형성하고 잔여 모션 잔차(motion residual)를 코딩합니다. 프레임 코딩의 경우, 이벤트 조건부 예측기(event-conditioned predictor)가 게이트 기반 시간적 문맥 개선을 위한 다중 스케일 특징을 제공합니다. 표준 비디오 데이터셋에서의 학습(training) 및 평가(evaluation)를 지원하기 위해 합성된 쌍체 RGB-이벤트 데이터를 생성하고, 실제 이벤트와의 비교를 통해 해당 데이터의 예측 유용성을 평가합니다. 6개 벤치마크에 걸쳐 ENVC는 DCMVC 대비 PSNR-RGB 기준 39.13%, LPIPS 기준 67.63%의 평균 BD-rate 절감을 달성합니다. 추가 분석을 통해 이러한 성능 향상이 모션이 큰 시퀀스에서도 지속되며, ENVC가 이벤트 정보를 효과적으로 통합하도록 학습함을 보여줍니다. 이러한 결과는 RGB 코딩 레이트를 낮추기 위한 상호 보완적 모달리티로서 이벤트의 잠재력을 입증합니다. 본 연구의 모델과 코드는 https://github.com/kjungwoo03/ENVC 에서 확인할 수 있습니다.

arXiv:2610.00350v1cs.CV

Vmem-$\varphi$: 막전위 통계 기반 스파이킹 신경망의 저연산 분포 외 탐지

Vmem-$\varphi$: Low-Compute Out-of-Distribution Detection in Spiking Neural Networks from Membrane-Potential Statistics

스파이킹 신경망(SNN, Spiking Neural Networks)은 이벤트 카메라(event-camera) 데이터를 처리하는 데 에너지 효율적인 접근법을 제공하지만, 이러한 환경에서 분포 외(out-of-distribution, OOD) 탐지는 여전히 어려운 과제로 남아 있다. 기존 OOD 탐지 방법들은 객체 검출 SNN에서는 사용할 수 없는 모델 출력이나 연산 구성 요소에 의존하거나, 저연산 배포 환경에 적합하지 않은 경우가 많다. 이를 해결하기 위해, 우리는 역치 이하(subthreshold) 막전위 \(V_{\mathrm{mem}}(t)\)가 분포 변화(distribution shift)를 탐지하는 데 유용한 내부 신호를 제공함을 보인다. 이러한 막전위 동역학으로부터 도출한 단순한 채널별 통계량을 통해 OOD 탐지가 가능하다. 이 접근법을 평가하기 위해, 우리는 Prophesee Gen1 자동차 검출 데이터셋을 기반으로 개발한 이벤트 카메라 손상(corruption) 벤치마크인 Gen1-C를 소개하며, 이는 센서 특성에 기반한 6가지 히스토그램 수준의 스트레스 테스트를 5단계의 심각도로 포함한다. 우리는 또한 막전위 통계량에 기반해 동작하는 손상에 무관한(corruption-blind) 방법인 다중 서술자 편차(Multi-Descriptor Deviation, MDD)를 제안한다. 가장 높은 손상 심각도에서, MDD는 단 64프레임의 제한된 관찰 윈도우만을 사용하여 6가지 손상 유형 중 5가지에서 0.88 이상의 AUROC를 달성한다. 특히, 나머지 하나의 손상 유형은 기본 검출기(underlying detector)에 가장 적은 영향을 미치는 손상이기도 하다. 이러한 결과는 시간적 막전위 동역학이 SNN 기반 이벤트 인식에서 OOD 탐지를 위한 효과적이고 저비용의 신호를 제공할 수 있음을 보여준다.

arXiv:2512.17323v3cs.CV

프레임 간 잔차 정렬을 통한 이벤트 기반 장면 합성

Event-based Scene Synthesis via Inter-Frame Residual Alignment

이벤트 기반 장면 합성(event-based scene synthesis)은 희소한 이미지 관측값과 비동기 이벤트 스트림으로부터 목표 RGB 프레임을 복원하는 것으로, 비디오 프레임 예측과 보간을 모두 포괄한다. 기존의 이벤트 기반 합성 방법들은 일반적으로 광학 흐름(optical flow)을 추정하여 관측된 프레임을 목표 시점으로 워핑(warp)하지만, 큰 움직임과 가림(occlusion)이 있을 때 부정확한 흐름에 취약하며 흐름 지도 학습(flow supervision)이나 사전학습된 추정기에 의존하는 경우가 많다. 본 연구에서는 프레임 간 잔차 정렬(inter-frame residual alignment)에 기반한 이벤트 기반 장면 합성 프레임워크인 EvFRA를 제안한다. 우리는 이벤트 측정값과 프레임 간 장면 변화 사이의 구조적 대응 관계를 발견하고, 이를 목표 프레임 합성에 활용한다. 우리의 학습 파이프라인은 두 단계로 구성된다: 1) 이벤트-잔차 정렬 변분 오토인코더(Event-to-Residual Alignment Variational Autoencoder, ER-VAE)는 앵커 프레임과 목표 프레임 사이에 포착된 이벤트 프레임을 해당하는 프레임 간 잔차와 정렬시키고, 2) ControlNet 조건부 디퓨전 모델을 파인튜닝하여 이벤트 데이터를 사용해 잔차 잠재 표현(residual latent)을 디노이징한다. 우리의 방법은 프레임 예측과 보간에서 각각 최대 2.61 dB와 1.85 dB의 PSNR로 최신 기법들을 능가하며, SSIM에서도 일관된 향상을 보인다. 코드는 https://github.com/jiyun-kong/EvFRA 에서 확인할 수 있다.

arXiv:2609.25803v2cs.CV

LiFR v2: 고속률 고밀도 예측을 위한 완성 보강 이벤트 전파

LiFR v2: Completion-Augmented Event Propagation for High-Rate Dense Prediction

동적 환경에서의 고속률 고밀도 인지는 프레임 사이에 급격한 장면 변화가 일어날 수 있어 RGB 카메라의 낮은 갱신률에 의해 제한된다. 이벤트 카메라는 공간적으로 밀집한 RGB 관측과 상보적인, 시간적으로는 밀집하지만 공간적으로는 희소한 측정을 제공한다. 직접 융합은 이러한 상보성을 완전히 활용할 수 없으며, 이벤트 기반 전파는 유효한 RGB 지원이 없는 새로 등장하거나 가려짐 해제(disocclusion)된 영역에서는 실패한다. 우리는 RGB 키프레임과 이벤트로부터 인과적 anytime 및 스트리밍 고밀도 예측을 위한 통합 전파-완성-메모리 프레임워크인 LiFR v2를 제안한다. LiFR v2는 전파가 지원되지 않는 곳에서 과제 관련 표현을 복구하는 Event-Guided Completion Module(EGCM)과 연속 쿼리에 걸쳐 완성된 표현을 재사용하는 History Retrieval Module(HRM)을 도입한다. 이 프레임워크는 의미 분할(semantic segmentation), 단안 깊이 추정, 다중 과제 고밀도 예측을 지원하며, 급격한 객체 출현(emergence)과 가려짐 해제를 평가하기 위해 SHF-Emerge를 추가로 도입한다. LiFR v2는 DSEC에서 74.37% mIoU, SHF-Emerge에서 56.13%를 달성하며, 후자에서 LiFR-Seg 대비 1.85 percentage point 향상을 보였고, 전파 기준선 대비 SHF-Emerge 깊이 RMSE를 1.564 m에서 1.118 m로 낮췄다. 또한 분할과 깊이 모두에서 100 FPS를 초과하여 RGB 프레임률을 넘어서는 정확하고 효율적인 고속률 인지를 보여준다.

arXiv:2609.22500v1cs.CV

프레임 간 분할을 위한 이벤트 유도 모션 기반 이벤트-프레임 융합

Event-Frame Fusion for Inter-Frame Segmentation via Event-Guided Motion

자율 주행에는 정밀하고 효율적인 시맨틱 분할(semantic segmentation)이 필요하지만, 기존의 프레임 기반 접근법은 모션 블러(motion blur), 글레어(glare), 지연(latency), 그리고 일반 카메라의 낮은 시간 해상도(20-30 FPS)로 인해 여전히 한계를 가지며, 이는 프레임 간 정보 손실로 이어진다. 이벤트 카메라(event camera)는 비동기적으로 밝기 변화를 캡처하며 높은 시간 해상도, 높은 다이내믹 레인지(dynamic range), 희소(sparse) 출력을 제공하는 대안적 센싱 방식으로 부상하였다. 그러나 대부분의 분할 방법이 조밀한(dense) 프레임 데이터를 위해 설계되어 있기 때문에, 이벤트 기반 알고리즘은 정확도 면에서 여전히 프레임 기반 알고리즘에 미치지 못한다. 이러한 한계를 극복하기 위해, 우리는 기존의 프레임 기반 카메라와 이벤트 기반 카메라를 결합한 하이브리드 비전 아키텍처를 제안한다. 이 시스템은 두 가지 상호 보완적인 구성 요소를 통합한다: (1) 모션 추정을 위한 42k 파라미터의 컴팩트한 스파이킹 신경망(Spiking Neural Network, SNN), (2) 프레임 기반 시맨틱 분할을 위한 0.84M 파라미터의 경량 이벤트 기반 SNN으로, 프레임 사이의 모션을 보간(interpolate)하여 분할 결과를 정제한다. 프레임 간(inter-frame) 분할을 예측함으로써, 본 프레임워크는 추론당 1.87 mJ 미만의 에너지 소비로 최대 500 Hz의 분할 속도를 달성하며, 동시에 최대 200 Hz 주파수에서 실시간 GPU 실행을 유지한다. 또한, 본 접근법은 블러나 과다 노출의 영향을 받은 프레임에서 발생하는 정보 손실을 보상하여, 까다로운 조건에서도 더욱 강건한 인지(perception)를 가능하게 한다.

arXiv:2511.18037v3cs.CV

Hybrid Event Frame Sensors: Modeling, Calibration, and Simulation

Hybrid event-frame sensors integrate an Event Vision Sensor (EVS) and an Active Pixel Sensor (APS) within a single chip, combining the high dynamic range and low latency of the EVS with the rich spatial intensity information from the APS. While this tight integration offers compact and temporally precise imaging, the complex circuit architecture introduces nontrivial noise patterns that remain poorly understood and unmodeled. In this work, we present the first unified statistics-based imaging noise model that jointly describes the noise behavior of APS and EVS pixels. Our formulation explicitly incorporates photon shot noise, dark current noise, fixed-pattern noise, and quantization noise, and links EVS noise to illumination level and dark current. Based on this formulation, we further develop a calibration pipeline to estimate noise parameters from real data and provide a detailed analysis of both APS and EVS noise behaviors. Finally, we propose H-ESIM, a statistically grounded simulator that generates RAW frames and events under realistic jointly calibrated noise statistics. Experiments on two hybrid sensors validate our model across multiple imaging tasks, including video frame interpolation and deblurring, demonstrating strong transfer from simulation to real data.

arXiv:2607.10082v2cs.CV

이중 단계 증류를 통한 비제약 이벤트-이미지 특징 매칭의 레이블 없는 타겟 도메인 적응

Label-Free Target-Domain Adaptation for Unconstrained Event-Image Feature Matching via Dual-Stage Distillation

이벤트 데이터와 이미지 데이터 간의 픽셀 수준 대응 관계 구축은 다중 센서 시스템의 기본적인 과제입니다. 그러나 기존의 교차 모달 매칭 방법들은 매칭 레이블이나 엄격하게 정렬된 하드웨어에 대한 의존성으로 인해 크게 제한되며, 매칭 정답 데이터와 사전 센서 관계 정보가 모두 부재한 레이블 없는 비제약 실환경 시나리오에는 적용이 어렵습니다. 이를 해결하기 위해, 우리는 새로운 2단계 학습 패러다임을 제안합니다. 첫째, 대규모 데이터를 활용하여 레이블 비의존적 증류 사전학습을 수행하며, 분포 기반 손실과 대조 손실로 최적화 목표를 개선하여 높은 일반화 능력을 갖춘 표현을 학습합니다. 둘째, 레이블 없는 비제약 다운스트림 데이터를 처리하기 위해 에피폴라 가이드 자기 증류 프레임워크를 도입합니다. 일관성 검증을 활용하여 강인한 매칭을 선별하고 외부 에피폴라 사전 정보로부터 도출된 기하학적 신뢰도를 통합함으로써, 우리의 모델은 어떠한 지도 없이도 타겟 도메인에서 직접적으로 효과적인 자기 진화가 가능합니다. 또한, 서로 다른 내부 파라미터와 해상도를 가진 물리적으로 분리된 카메라를 특징으로 하는 TUM-VIE 기반의 엄격한 교차 모달 평가 벤치마크를 소개합니다. 광범위한 실험을 통해 우리가 제안한 방법이 MVSEC과 TUM-VIE 자세 추정 태스크 모두에서 최첨단 성능을 달성함을 입증합니다. 소스 코드와 벤치마크는 https://github.com/ZhonghuaYi/nexus2-official 에서 공개될 예정입니다.

arXiv:2607.14990v1cs.CV

JADE-GS: 3D Gaussian Splatting에서 이벤트로 안내된 교대 블러 제거

JADE-GS: Joint Alternating Deblurring Guided by Events in 3D Gaussian Splatting

노출 중 카메라가 빠르게 움직이면, 블러는 선명한 장면을 복원하는 데 3D 모델이 필요로 하는 노출 내(intra-exposure) 움직임을 파괴하지만, 이벤트 카메라는 마이크로초(microsecond) 해상도로 바로 이 신호를 포착한다. 이를 신뢰할 수 있는 3D 지도(supervision)로 활용하려면 두 가지 장애물에 직면한다. 첫째, 두 가지 복원 사전(prior)이 상반된 방식으로 실패한다: 물리 기반 이벤트 적분(integration) 사전은 에지를 보존하지만 드리프트(drift)가 누적되고, 학습된 네트워크는 질감(texture)은 복구하지만 경계를 왜곡한다. 둘째, 기존 파이프라인은 한 방향으로만 동작하므로, 원시 이벤트 노이즈나 고정된 2D 의사 레이블(pseudo-label)의 편향(bias)이 보정 없이 기하(geometry)로 전달된다. JADE-GS는 두 문제를 모두 해결한다: 픽셀 적응형 라우팅 게이트(pixel-adaptive routing gate)가 상호 보완적 사전을 융합하고, 그로부터 얻은 2D 복원기(restorer)는 양방향 루프에서 3D Gaussian Splatting 학생(student) 모델과 결합된다. 여기서 분리된(detached) 다중 시점 일관 렌더링(multi-view-consistent renders)과 물리 기반 재블러(reblurring) 제약이 복원기를 정규화(regularize)하여 고정 전처리기(preprocessor)를 기하 인식(geometry-aware) 예측기로 전환한다. 합성 및 실제 벤치마크(benchmark) 전반에서 JADE-GS는 최고의 지각(perceptual) 품질을 달성하여 두 벤치마크 모두에서 LPIPS와 CLIP-IQA를 선도하고 PSNR과 SSIM은 경쟁력 있는 수준을 보이며, 단일 소비자 GPU에서 5GB 미만으로 약 1시간 만에 학습(training)되면서 실시간 렌더링을 유지한다.

arXiv:2607.14726v1cs.CV

AE-UAV: 공중-대-공중 이벤트 기반 UAV 추적 벤치마크 및 실시간 주파수 영역 트래커

AE-UAV: An Air-to-Air Event-Based UAV Tracking Benchmark and a Real-Time Frequency-Domain Tracker

공중-대-공중(A2A) 무인항공기(UAV) 추적은 저고도 공중 표적에 대한 공중 원격 탐사의 기초가 된다. 그러나 UAV에 지속적이고 실시간인 추적 시스템을 배치하는 것은 상당한 도전 과제를 제기한다. A2A 시나리오에서 전통적인 프레임 기반 카메라는 제한된 동적 범위와 고정된 시간적 샘플링으로 인해 저조도, 과노출, 고속 운동 조건에서 심각한 성능 저하를 겪는다. 이벤트 카메라는 마이크로초급 시간 해상도와 높은 동적 범위를 제공하는 유망한 대안이지만, 현재 연구는 두 가지 주요 문제에 병목이 걸려 있다: 1) 전용 A2A 이벤트 기반 데이터셋의 부재, 2) 기존 트래커들이 GPU 가속과 대규모 학습 데이터에 크게 의존하여 자원이 제한된 UAV에는 실용적이지 않다는 점. 이러한 공백을 메우기 위해 우리는 공중-대-공중 이벤트 기반 UAV 추적 벤치마크인 AE-UAV를 제안한다. 우리가 알기로는 이것은 A2A 추적을 위한 최초의 공중 촬영 이벤트 카메라 데이터셋으로, 연속 시간 3차 B-스플라인 주석이 포함된 178개의 비행 시퀀스로 구성된다. 또한 우리는 Fast-Slow Frequency-domain Tracking(FSFT) 방법을 제안한다. 이 경량의 학습 불필요 프레임워크는 주파수 영역 템플릿 매칭을 탐색 영역 예측 및 검출 기반 드리프트 보정과 원활하게 통합한다. 광범위한 실험을 통해 FSFT가 CPU 전용 하드웨어에서 초당 420프레임(FPS)이라는 초고속으로 동작함을 보여준다. GPU 의존형 최첨단 방법 대비 정확도의 93.97%를 유지하면서 5.32배의 유효 속도 향상을 달성하고 우수한 시간 해상도 일반화 능력을 보여, 공중 표적에 대한 공중 원격 탐사를 위한 매우 효율적이고 견고한 해결책을 제공한다. 데이터셋과 소스 코드는 https://github.com/MSP-xEN/AE-UAV 에서 이용할 수 있다.

arXiv:2607.13802v1cs.CV

RainDancer: 빗줄기 지향 스파이킹 동역학 기반 RGB-Event 비디오 디레인

RainDancer: RGB-Event Video Deraining with Rain-Oriented Spiking Dynamics

비디오 디레인은 악천후 환경에서 신뢰할 수 있는 인식을 위해 비가 내리는 영상으로부터 깨끗한 시각적 콘텐츠를 복원하는 것을 목표로 한다. 기존 방법은 주로 RGB 시퀀스와 시간적 중복성에 의존하지만, RGB만으로 복원하는 방식은 빗줄기, 텍스처, 경계, 움직임, 가림 등이 유사한 시각적 패턴을 공유할 수 있는 동적 비 환경에서는 모호성이 남아 있다. 이벤트 카메라(event camera)는 높은 시간 해상도의 운동 민감 보조 단서를 제공하지만, 이벤트 스트림에는 센서 노이즈와 배경 유발 응답도 포함되므로 RGB-Event를 직접 융합하면 교차 모달 간섭이 발생할 수 있다. 이 문제를 해결하기 위해, 상호작용 전 분해(decompose-before-interact) 패러다임 기반의 점진적 RGB-Event 비디오 디레인 프레임워크인 RainDancer를 제안한다. 핵심 아이디어는 교차 모달 상호작용 전에 각 모달리티 내에서 빗줄기와 배경 성분을 분리하는 것이다. RGB 분기에서는 프레임 특징을 점진적으로 빗줄기와 배경 표현으로 분해한다. 이벤트 분기에서는 빗줄기 지향 스파이킹 신경망(spiking neural network) 모듈이 빗줄기 움직임과 연관된 희소하고 버스트형 이벤트 동역학을 포착한다. 그런 다음 구조 보존과 빗줄기 억제를 위해 의미적으로 정렬된 표현 간 구성요소 수준 융합을 수행한다. 또한 희소 이벤트 재구성, 구조적 일관성, 그래디언트 방향을 정규화하기 위해 이벤트 도메인 감독을 도입한다. 합성 및 실제 RGB-Event 비디오 디레인 데이터셋에 대한 실험은 우수한 정량적 성능, 시각적 품질, 하류 인식 견고성을 보여준다. 코드는 https://github.com/AE86-plus/RainDancer 에서 이용 가능하다.

arXiv:2607.11646v1cs.CV

야간 고속도로 인식을 위한 이벤트-RGB 적응형 추적

Event-RGB Adaptive Tracking for Nighttime Highway Perception

고속도로에 배치된 지능형 교통 시스템(Intelligent Transportation Systems)은 교통 인식 및 차량 추적에 주로 일반 RGB 카메라에 의존한다. 그러나 고속도로 환경은 고유한 과제를 수반한다. 인공 조명 인프라의 부재와 높은 차량 속도가 결합되어 저조도 조건에서 인식 성능이 심각하게 저하된다. 특히, 야간 시나리오에서는 모션 블러, 노출 부족, 낮은 신호 대 잡음비로 인해 RGB 기반 감지 시스템의 신뢰성이 치명적으로 손상된다. 이러한 한계를 해결하기 위해 우리는 새로운 결합 이벤트-RGB 적응형 추적(JEAT, Joint Event-RGB Adaptive Tracking) 프레임워크를 제안한다. 고정된 하드코딩 우선순위에 제약된 기존 다중 센서 추적기와 달리, JEAT는 비동기 이벤트 스트림과 RGB 프레임을 통합된 결합 데이터 연관 최적화로 병합한다. 적응형 확장 칼만 필터(Adaptive Extended Kalman Filter)를 활용해 NIS 통계를 통해 측정 잡음을 지속적으로 추정함으로써, 프레임워크는 두 모달리티를 동적으로 가중하고 융합하며, 어둡거나 고속 이동 시에는 이벤트 스트림을, 밝거나 정적인 조건에서는 RGB 프레임을 최적으로 활용한다. 또한, 다양한 환경 조건을 갖춘 이벤트 기반 고속도로 인식용 공개 데이터셋이 없다는 점을 고려하여, CARLA 시뮬레이터를 사용해 생성한 대규모 합성 데이터셋인 SEHN을 제시한다. 본 데이터셋은 다양한 환경 조건(주간, 야간, 인공 조명 없는 야간)과 다양한 교통 밀도를 포함하며, 다중 모달 융합 연구를 촉진하기 위해 동기화된 RGB 영상과 이벤트 스트림을 제공한다. 코드와 데이터셋은 https://github.com/haidongwang96/SEHN 에서 공개될 예정이다.

arXiv:2607.11303v1cs.CV

ASUMOT: 이벤트 카메라를 활용한 모션 일관성 기반 비동기 UAV 탐지 및 추적

ASUMOT: Motion-Consistency-Based Asynchronous UAV Detection and Tracking with Event Cameras

이벤트 카메라는 마이크로초 수준의 시간 해상도와 높은 동적 범위를 제공하여 저고도 UAV 인식에 적합하다. 그러나 원거리 UAV는 희소하고 단절된 노이즈 혼재 이벤트 응답을 생성하는 경우가 많으며, 하나의 의미론적 목표가 공간적으로 분리된 여러 블롭으로 나타날 수 있다. 이에 따라 블롭 단위의 비동기 추적은 중복 궤적과 불안정한 식별자 문제를 겪는다. 우리는 원시 이벤트에서 직접 동작하는 모션 일관성 기반 비동기 UAV 탐지 및 추적 프레임워크인 ASUMOT을 제안한다. ASUMOT은 각 UAV를 모션 일관성을 공유하는 이벤트 블롭의 집합으로 모델링한다. 로컬 모션 일관성 추정기는 신뢰할 수 있는 후보를 트리거하고, 경량 멀티태스크 검증기는 UAV 신뢰도와 모션 방향 단서를 제공하며, 모션 일관성 클러스터링은 단절된 블롭들을 식별자 일관성을 갖춘 UAV 트랙으로 통합한다. 또한 우리는 밀도 높은 의미론적 어노테이션을 갖춘 고화질 이벤트 수준 UAV 벤치마크인 ES-UAV를 소개한다. 공개 UAV 추적 데이터와 ES-UAV에 대한 실험 결과, ASUMOT은 비동기 이벤트 처리를 유지하면서 정확도-효율성 트레이드오프를 개선함을 보인다. 코드와 데이터셋은 추후 공개될 예정이다.

arXiv:2607.09143v1cs.CV

빛과 시간의 융합: 밀집 RGB-이벤트 파싱을 위한 통합 조화-기하학적 표현 학습

Weaving Light and Time: Unified Harmonic-Geometric Representation Learning for Dense RGB-Event Parsing

표준 RGB 프레임과 비동기 이벤트 스트림을 융합하는 방식은 열악한 환경에서의 강건한 지각을 위한 확고한 패러다임으로 자리잡았다. 최근 멀티모달 비전 분야에서 통합 백본이 주목받고 있으나, 이를 RGB-이벤트 도메인에 적용하는 것은 근본적으로 어려운 과제로 남아 있다. 기존 아키텍처들은 연산 오버헤드를 두 배로 늘리는 분리된 이중 인코더에 의존하거나, 밀집 강도 그리드와 희소 운동학적 스파이크 간의 극단적인 표현 격차 속에서 내재된 기하학적 시차 및 교차 스펙트럼 앨리어싱을 해소하지 못하는 범용 통합 설계를 채택하는 한계를 지닌다. 이러한 병목을 극복하기 위해, 우리는 밀집 RGB-이벤트 파싱에 특화된 최초의 통합 백본인 Evita를 제안한다. 깊이 있는 모달 시너지를 달성하기 위해, Evita는 모든 인코더 층에 내재적 공동 학습 모듈 집합을 명시적으로 내장한다. 구체적으로, 적응적 공간 정렬을 위한 기하학적 시차 보정(Geometric Parallax Rectification), 복소 주파수 도메인 내 텍스처 전이를 위한 조화 스펙트럼 공명(Harmonic Spectral Resonance), 그리고 이벤트 기반 비대칭 어텐션을 위한 일시적 전역 라우팅(Transient Global Routing)을 포함한다. 공간적 오정렬에 대한 강건한 특징 추출을 보장하고 표현을 특정 이벤트 인코딩으로부터 분리하기 위해, N-ImageNetV2와 확률적 이벤트 표현 혼합 사전학습 프로토콜을 구축하였으며, 이를 통해 네트워크가 하위 태스크에서 임의의 이벤트 포맷을 원활하게 수용할 수 있도록 한다. DELIVER, DDD17, DSEC 벤치마크에 걸친 광범위한 평가를 통해 Evita가 새로운 최첨단 지표를 수립하는 동시에 실시간 멀티모달 지각에서 우수한 정확도-지연 트레이드오프를 제공함을 확인하였다. 코드는 https://github.com/chaineypung/Evita 에서 공개적으로 이용 가능하다.

arXiv:2607.09114v1cs.CV

이벤트 스트림 기반 멀티모달 비디오 이상 탐지: 벤치마크 데이터셋과 알고리즘

Event Stream based Multi-Modal Video Anomaly Detection: A Benchmark Dataset and Algorithms

비디오 이상 탐지(VAD)는 자동화된 감시에 있어 핵심적인 기술이지만, 가시광선 영상에만 의존할 경우 조명 변화, 빠른 움직임, 복잡한 배경 등 어려운 환경에서 취약하다는 한계가 있다. 이러한 한계를 극복하기 위해, 우리는 생체 영감 기반의 이벤트 카메라로 촬영된 일반 영상과 이벤트 스트림을 함께 활용하는 이벤트 강화 VAD 프레임워크인 EVAD를 제안한다. 이벤트 센서는 높은 시간 해상도로 밝기 변화를 비동기적으로 포착하여 모션 블러 및 극단적인 조명 환경에 강인하며, 영상 기반 시각 정보를 보완하는 동작 현저성 단서를 제공한다. 멀티모달 VAD 연구를 지원하기 위해, 다양한 조명 수준, 동작 패턴, 배경 복잡도 하에서 수집된 63억 개의 이벤트와 376,368개의 비디오 프레임으로 구성된 대규모 가시광-이벤트 벤치마크 데이터셋을 구축함으로써, 이벤트 기반 이상 탐지를 위한 현실적이고 확장 가능한 데이터셋의 공백을 채운다. 이 데이터셋을 기반으로, 이벤트 스트림, 가시광 영상, 텍스트 설명 간의 의미론적 임베딩을 정렬하여 판별력 있는 이벤트 표현을 학습하는 대조적 멀티모달 사전학습 프레임워크를 설계한다. 이후 적응형 융합 모듈이 이벤트 기반 시간적 단서와 영상 기반 공간적 의미론을 동적으로 통합하여 환경 교란에 대한 강인성을 향상시킨다. 벤치마크 및 제안된 TJUTCM Pha 데이터셋에 대한 실험 결과, E-VAD가 기존 방법들을 일관되게 능가함을 보여주며, 실제 환경에서의 VAD를 위한 이벤트 기반 센싱의 효과성을 검증한다.

arXiv:2607.09103v1cs.CV

이벤트 카메라를 이용한 고성능 이미지 추적을 위한 등변 필터

Equivariant Filter for High Performance Image Tracking using an Event Camera

이미지 추적은 장면의 움직이는 이미지와 원본 참조 이미지 사이의 변환을 추정하는 문제입니다. 이 문제는 이미지가 카메라나 환경의 움직임에 관한 정보를 인코딩하는 자율 주행 차량 또는 로봇 제어에서 중요하며, 순수한 컴퓨터 비전(CV) 응용에서도 중요합니다. 본 논문에서는 이벤트 카메라를 사용하여 평면 이미지 변환을 고성능으로 추적하기 위한 등변 필터(equivariant filter) 설계를 제안합니다. 이 설계는 원시 이벤트 스트림에서 특징(feature) 위치 측정값을 추출하기 위해 비동기 이벤트 블롭(Asynchronous Event Blob, AEB) 트래커(Wang et al., 2024)를 활용하고, 특수 유클리드 군(special Euclidean group) 대칭성을 이용한 등변 필터로 아핀 이미지 이동 및 회전을 계산합니다. 등변 필터는 AEB 트래커가 제공하는 (시간적 상관관계가 매우 높은) 특징 위치 측정값의 상관관계를 제거하는 등가 측정 업데이트(equivalent-measurement update) 단계를 포함합니다. 우리는 일반 운동 및 빠른 회전 운동을 포함하는 두 가지 데이터셋을 사용하여 설계를 실험적으로 평가합니다. 결과는 직접 최적화(원시 블롭 트랙에서 상대 변환을 추정하는 방식) 및 데이터 상관관계 극복을 위한 공분산 교차(covariance intersection) 접근법과 벤치마크합니다. 본 설계는 이미지 평면에서 초당 최대 7,000픽셀로 이동하는 특징에 대해 부드러운 이미지 추적을 제공합니다.

arXiv:2601.04920v2cs.AI

신속한 과학적 프로토타이핑을 위한 대화형 AI: ESA ELOPE 대회 사례 연구

Conversational AI for Rapid Scientific Prototyping: A Case Study on ESA's ELOPE Competition

ChatGPT(GPT-4.5)를 활용해 ESA의 ELOPE 대회(이벤트 카메라 기반 달 착륙선 궤적 추정)에서 신속한 프로토타이핑을 수행한 사례 연구로, 늦은 참가에도 불구하고 2위를 달성하며 인간-AI 협업의 가능성을 입증했다. ChatGPT가 코드 생성, 알고리즘 추론, 방법론 제안 등에서 기여했지만 불필요한 구조 변경, 컨텍스트 혼란, 오류 생성 등의 한계도 확인되어, LLM의 과학적 워크플로 통합을 위한 모범 사례를 제안한다.

arXiv:2607.08236v1cs.CV

TVTA: 이벤트 기반 구화 인식을 위한 궤적 인식 비시음 유도 시간적 집계

TVTA: Trajectory-Aware Viseme-Guided Temporal Aggregation for Event-Based Lip Reading

이벤트 카메라 기반 구화(lip reading) 인식에서 기존 방법의 조기 공간 압축 문제를 해결하기 위해, 공간 집계 이전에 각 위치의 시간적 궤적을 보존하는 TDA(Trajectory-Aware Differential Aggregation)와 비시음(viseme) 수준의 CTC 시퀀스 감독을 주입하는 VGA(Viseme-Guided Aggregation)를 제안한다. DVS-Lip 벤치마크 실험에서 EMA 교사-학생 학습 전략과 함께 적용한 결과, 제안 프레임워크의 효과가 검증되었다.

arXiv:2607.08098v1cs.CV

EVIS: NVIDIA Isaac Sim용 물리 기반 이벤트 카메라 플러그인

EVIS: A Physics-Grounded Event Camera Plugin for NVIDIA Isaac Sim

EVIS는 NVIDIA Isaac Sim 내에서 픽셀별 비동기 대비 이벤트 모델과 양방향 모션 벡터 워핑 기반 프레임 보간을 결합하여, 단일 GPU에서 실시간으로 완전 레이블된 이벤트 스트림을 생성하는 물리 기반 이벤트 카메라 플러그인이다. 센서 노이즈·모션 블러 모델링으로 실제 카메라와의 도메인 갭을 줄였으며, 생성된 스트림은 E2VID, E-RAFT, Match-Any-Events 등 사전학습된 이벤트 네트워크에서 수정 없이 바로 활용 가능함을 검증했다.

arXiv:2607.06217v1cs.CV

EeveeDark: 이벤트 기반 센서 수준 융합을 통한 저조도 비디오 향상을 위한 이진 신경망 프레임워크

EeveeDark: A Binary Neural Framework for Low-Light Video Enhancement via Event-Guided Sensor-Level Fusion

EeveeDark는 이진 신경망(BNN) 아키텍처를 활용해 센서 수준 RAW 데이터와 이벤트 스트림을 융합함으로써 극단적 저조도 환경에서 효율적인 비디오 향상을 달성하는 프레임워크로, 모달리티별 이진 인코더, 경량 융합 블록, 이벤트 기반 스킵 게이팅 메커니즘을 포함한다. 합성 및 실제 데이터셋 실험에서 기존 BNN 기반 방법(BBCU, BRVE)을 크게 능가하며 완전 정밀도 모델 대비 우수한 성능-효율성 트레이드오프를 제공함을 입증했다.