Application of image-to-image translation in improving pedestrian detection
원문 초록
The lack of effective target regions makes it difficult to perform several visual functions in low intensity light, including pedestrian recognition, and image-to-image translation. In this situation, with the accumulation of high-quality information by the combined use of infrared and visible images it is possible to detect pedestrians even in low light. In this study we are going to use advanced deep learning models like pix2pixGAN and YOLOv7 on LLVIP dataset, containing visible-infrared image pairs for low light vision. This dataset contains 33672 images and most of the images were captured in dark scenes, tightly synchronized with time and location.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CycleVAR: Repurposing Autoregressive Model for Unsupervised One-Step Image Translation
어노테이션 보존 확산 증강을 활용한 지능형 차량의 야간 보행자 검출 시 조도 유발 도메인 전이 완화
Mitigating Illumination-Induced Domain Shift in Night-Time Pedestrian Detection for Intelligent Vehicles using Annotation-Preserving Diffusion Augmentation
라벨링된 야간 데이터가 제한적이고 큰 조도 차이로 인해 주간 데이터로만 학습된 검출기의 신뢰성이 떨어지기 때문에 야간 보행자 검출은 여전히 어려운 과제로 남아 있습니다. 잠재 확산 모델(LDMs)은 이미지 대 이미지 변환(image-to-image translation) 및 크로스 도메인 증강을 위한 강력한 기반을 제공하지만, 안전이 핵심적인 인식 작업에서 이들의 효과는 소스 도메인과 타깃 도메인 간 변환 시 검출기와 관련된 객체 및 국소적 의미론적 구조가 보존되는지에 달려 있습니다. 본 연구에서는 SDXL-Turbo를 기반으로 구축되고 LoRA(Low-Rank Adaptation)를 사용해 파인튜닝된 야간 보행자 검출용 주간-야간 증강 프레임워크인 Contrastive-SDXL을 제시합니다. 주간 입력과 변환된 야간 이미지 간의 의미론적 대응 관계를 보존하기 위해, 생성기 인코더 피처 대신 사전학습된 DINOv2 인코더로 유도되는 패치 단위 의미론적 대조 손실(loss)을 도입합니다. 다단계 DINOv2 셀프 어텐션(attention) 맵은 국소적 및 전역적 의미론적 일관성을 모두 강제하며, 객체 일관성 손실은 보행자 보존을 명시적으로 유도합니다. Contrastive-SDXL은 사실적인 야간 이미지를 생성하여 22.5의 FID(Frechet Inception Distance)를 달성합니다. 당사의 합성 이미지로 학습된 검출기는 주간 전용 기준선(baseline) 대비 미검출률(miss rate)을 6-7% 감소시켜 실제 야간 데이터로 학습된 검출기의 성능에 근접합니다. 이러한 결과는 일관성 중심의 확산 증강이 안전이 핵심적인 야간 보행자 검출을 효과적으로 지원할 수 있음을 보여줍니다.
Cora: Correspondence-aware image editing using few step diffusion
Unpaired Image-to-Image Translation for Segmentation and Signal Unmixing
Paired and Unpaired Image to Image Translation using Generative Adversarial Networks
Image-to-Image Translation with Diffusion Transformers and CLIP-Based Image Conditioning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.