PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22500v1cs.CV

프레임 간 분할을 위한 이벤트 유도 모션 기반 이벤트-프레임 융합

Event-Frame Fusion for Inter-Frame Segmentation via Event-Guided Motion

자율 주행에는 정밀하고 효율적인 시맨틱 분할(semantic segmentation)이 필요하지만, 기존의 프레임 기반 접근법은 모션 블러(motion blur), 글레어(glare), 지연(latency), 그리고 일반 카메라의 낮은 시간 해상도(20-30 FPS)로 인해 여전히 한계를 가지며, 이는 프레임 간 정보 손실로 이어진다. 이벤트 카메라(event camera)는 비동기적으로 밝기 변화를 캡처하며 높은 시간 해상도, 높은 다이내믹 레인지(dynamic range), 희소(sparse) 출력을 제공하는 대안적 센싱 방식으로 부상하였다. 그러나 대부분의 분할 방법이 조밀한(dense) 프레임 데이터를 위해 설계되어 있기 때문에, 이벤트 기반 알고리즘은 정확도 면에서 여전히 프레임 기반 알고리즘에 미치지 못한다. 이러한 한계를 극복하기 위해, 우리는 기존의 프레임 기반 카메라와 이벤트 기반 카메라를 결합한 하이브리드 비전 아키텍처를 제안한다. 이 시스템은 두 가지 상호 보완적인 구성 요소를 통합한다: (1) 모션 추정을 위한 42k 파라미터의 컴팩트한 스파이킹 신경망(Spiking Neural Network, SNN), (2) 프레임 기반 시맨틱 분할을 위한 0.84M 파라미터의 경량 이벤트 기반 SNN으로, 프레임 사이의 모션을 보간(interpolate)하여 분할 결과를 정제한다. 프레임 간(inter-frame) 분할을 예측함으로써, 본 프레임워크는 추론당 1.87 mJ 미만의 에너지 소비로 최대 500 Hz의 분할 속도를 달성하며, 동시에 최대 200 Hz 주파수에서 실시간 GPU 실행을 유지한다. 또한, 본 접근법은 블러나 과다 노출의 영향을 받은 프레임에서 발생하는 정보 손실을 보상하여, 까다로운 조건에서도 더욱 강건한 인지(perception)를 가능하게 한다.