열악한 조명과 빠른 움직임에서의 이벤트 기반 객체 검출: 건설 현장에 대한 시사점
Event-based object detection under adverse lighting and motion: lessons for construction sites
한국어 초록
건설 현장의 비전 기반 모니터링은 밤, 새벽과 해 질 무렵, 터널 내부, 투광 조명 아래에서 실패할 수 있다. 일반적인 RGB 카메라에 노출 부족이나 과다 노출이 생기기 때문이다. 이벤트 카메라는 픽셀마다 밝기 변화를 마이크로초 단위의 지연 시간과 120dB를 넘는 동적 범위로 기록한다. 그러나 실제 데이터에서 현장에 필요한 객체 검출에 얼마나 유용한지는 정량적으로 평가되지 않았다. 본 연구는 픽셀 단위로 정렬된 PEOD 데이터셋을 사용해 최근 이벤트 기반 검출기 세 종(SMamba, SATE, EvRT-DETR)을 동일한 데이터로 학습한 RGB 검출기와 비교했다. 테스트 세트의 70%인 저조도 프레임에서 최고 성능의 이벤트 검출기는 27.2AP를, RGB 검출기는 21.3AP를 기록했다. 별도 학습 없이 두 센서의 결과를 후반에 융합한 방식은 모든 조명 조건에서 가장 우수했으며 전체 AP는 33.3이었다. 객체 53,091개를 개별 분석한 결과, 밝기는 이벤트 검출기에 거의 영향을 주지 않았지만 빠른 움직임은 영향을 줬다. 프레임당 20픽셀을 넘게 움직이는 중간 크기 객체에서 RGB는 11~19%, EvRT-DETR은 39~60%를 찾았다. 활성화 패치 분석에서 이벤트 정보 손실의 영향은 해상도가 16분의 1인 특징에서 확인됐고, 작은 객체는 가장 세밀한 스케일에 의존했다. 신호 이벤트가 적은 상태에서 잡음이 더해지면 이벤트 검출이 실패했다. 모델에 독립적인 입력 가지치기 실험에서는 입력의 60%만으로 정확도의 약 95%를 유지했으나 작은 객체의 재현율이 절반으로 줄었다. 렌더링한 건설 현장을 제로샷으로 평가했을 때, 투광 조명을 어둡게 하자 RGB의 성능은 0에 가까워졌지만 이벤트 검출기는 AP50의 대부분을 유지했다. 마지막으로 건설 현장의 카메라 배치 지침을 제시한다.
원문 초록
Vision-based monitoring on construction sites fails at night, at dawn and dusk, in tunnels and under floodlights, when conventional RGB cameras under- or over-expose. Event cameras record per-pixel brightness changes with microsecond latency and over 120 dB of dynamic range, but their benefit for site-relevant object detection has not been quantified on real data. We compare three recent event-based detectors (SMamba, SATE and EvRT-DETR) with an RGB detector trained on the same data, using the pixel-aligned PEOD dataset. On low-light frames (70% of the test set) the best event detector reaches 27.2 AP against 21.3 AP for RGB, and a training-free late fusion of both sensors is the best option in every lighting condition (33.3 AP). An object-level analysis of 53,091 objects shows that brightness has little effect on event detectors, whereas fast motion matters: above 20 pixels per frame RGB finds 11-19% of medium-size objects and EvRT-DETR 39-60%. Activation patching locates the damage caused by losing events at the 1/16-resolution features, with small objects depending on the finest scale, and shows that event detectors fail when few signal events meet added noise. A model-agnostic pruning study keeps about 95% of accuracy with 60% of the input but halves small-object recall. On rendered construction sites, used zero-shot, dimming the floodlights drops RGB to near zero while the event detector keeps most of its AP50. We close with camera-placement guidance for construction sites.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19746v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.