arXiv:2611.23078v1 cs.CV

UnrealEvent: 이벤트 기반 비전을 위한 합성 데이터셋 생성과 주석

UnrealEvent: Synthetic Dataset Generation and Annotation for Event-Based Vision

Yentel Schoovaerts, Zijie Ning, Patrick Vandewalle

제출 2026-11-18

한국어 초록

이벤트 카메라는 시간 해상도가 높고 전력 소비가 낮으며 넓은 동적 범위를 제공한다. 그러나 주석이 달린 학습 데이터가 부족해 이벤트 기반 객체 검출 연구에 제약이 있다. 이를 해결하기 위해 Unreal Engine 5.5에서 구현한 합성 데이터셋 생성 파이프라인 UnrealEvent를 소개한다. V2E에서 착안한 이벤트 프레임 생성기와 EasySynth의 의미 렌더링 패스를 결합한다. 이를 통해 렌더링한 레벨 시퀀스를 서로 대응하는 이벤트 표현과 YOLO 형식 경계 상자 주석으로 변환할 수 있으며, 수동 레이블링은 필요하지 않다. 연속 프레임 사이의 픽셀별 로그 휘도 차이에서 이벤트를 생성한다. 실제 센서의 제조 과정에서 생기는 임계값 차이를 모사하기 위해 대비 임계값을 정규분포에서 독립적으로 샘플링한다. 이 파이프라인으로 만든 합성 데이터셋을 제공하고, eTraM에서 YOLOv8 검출기를 평가했다. 합성 데이터에서 평가하는 조건, 실제 데이터에 제로샷으로 적용하는 조건, 실제 데이터로 미세조정하는 조건을 다뤘다. 합성 도메인 내부 성능은 높았으나 실제 도메인으로 옮기면 성능이 크게 떨어졌고, 특히 보행자에서 격차가 컸다. 소량의 실제 데이터로 미세조정하면 실제 도메인 성능이 개선됐다. 남은 격차는 자산의 다양성과 센서 보정이 중요함을 보여 준다.

원문 초록

Event-based cameras provide high temporal resolution, low power consumption, and a high dynamic range, but progress in event-based object detection remains constrained by the scarcity of annotated training data. To solve this issue, this paper introduces the tool UnrealEvent, a synthetic dataset-generation pipeline implemented in Unreal Engine 5.5. The pipeline combines a V2E-inspired event-frame generator with EasySynth semantic-rendering passes, allowing rendered level sequences to be converted into paired event representations and YOLO-format bounding-box annotations without manual labeling. Events are generated from per-pixel log-luminance differences between consecutive frames, with contrast thresholds sampled independently from a normal distribution to emulate the fabrication-induced threshold mismatch of real sensors. Using this pipeline, we provide a synthetic dataset and evaluate YOLOv8 detectors under synthetic, zero-shot real, and real fine-tuning training on eTraM. The results show strong in-domain synthetic performance but a substantial synthetic-to-real gap, especially for pedestrians. Fine-tuning on a small real subset improves real-domain performance, while the remaining gap highlights the importance of asset diversity and sensor calibration.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23078v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.