어노테이션 보존 확산 증강을 활용한 지능형 차량의 야간 보행자 검출 시 조도 유발 도메인 전이 완화
Mitigating Illumination-Induced Domain Shift in Night-Time Pedestrian Detection for Intelligent Vehicles using Annotation-Preserving Diffusion Augmentation
라벨링된 야간 데이터가 제한적이고 큰 조도 차이로 인해 주간 데이터로만 학습된 검출기의 신뢰성이 떨어지기 때문에 야간 보행자 검출은 여전히 어려운 과제로 남아 있습니다. 잠재 확산 모델(LDMs)은 이미지 대 이미지 변환(image-to-image translation) 및 크로스 도메인 증강을 위한 강력한 기반을 제공하지만, 안전이 핵심적인 인식 작업에서 이들의 효과는 소스 도메인과 타깃 도메인 간 변환 시 검출기와 관련된 객체 및 국소적 의미론적 구조가 보존되는지에 달려 있습니다. 본 연구에서는 SDXL-Turbo를 기반으로 구축되고 LoRA(Low-Rank Adaptation)를 사용해 파인튜닝된 야간 보행자 검출용 주간-야간 증강 프레임워크인 Contrastive-SDXL을 제시합니다. 주간 입력과 변환된 야간 이미지 간의 의미론적 대응 관계를 보존하기 위해, 생성기 인코더 피처 대신 사전학습된 DINOv2 인코더로 유도되는 패치 단위 의미론적 대조 손실(loss)을 도입합니다. 다단계 DINOv2 셀프 어텐션(attention) 맵은 국소적 및 전역적 의미론적 일관성을 모두 강제하며, 객체 일관성 손실은 보행자 보존을 명시적으로 유도합니다. Contrastive-SDXL은 사실적인 야간 이미지를 생성하여 22.5의 FID(Frechet Inception Distance)를 달성합니다. 당사의 합성 이미지로 학습된 검출기는 주간 전용 기준선(baseline) 대비 미검출률(miss rate)을 6-7% 감소시켜 실제 야간 데이터로 학습된 검출기의 성능에 근접합니다. 이러한 결과는 일관성 중심의 확산 증강이 안전이 핵심적인 야간 보행자 검출을 효과적으로 지원할 수 있음을 보여줍니다.