arXiv:2609.02299v1 cs.CV

GenAI 이미지 편집을 이용한 도메인 이동에 강건한 객체 검출

Domain shift-robust object detection with GenAI image editing

Isabel D. Stein, Thijs A. Eker, Sebastiaan P. Snel, Ella P. Fokkinga, Klamer Schutte, Luca Ambrogioni, Friso G. Heslinga

제출 2026-09-02

한국어 초록

객체 검출기는 조명, 날씨, 가림(occlusion) 변화와 같은 도메인 이동(domain shift) 하에서 성능이 자주 저하된다. 이러한 이동은 객체 외형을 바꾸고, 도메인 간 일반화되지 않는 학습 분포에서 학습된 시각적 지름길(visual shortcuts)에 대한 의존을 드러낸다. 이러한 도메인 변이를 포착할 만큼 충분한 실세계 샘플을 확보하는 것은 특히 특수하고 저데이터(low-data) 환경에서 어렵다. 최근 확산(diffusion) 기반 생성형 이미지 편집의 발전은 합성 데이터 증강을 통해 객체 검출기의 도메인 내(in-domain) 성능을 개선할 가능성을 보여 주었다. 그러나 도메인 외(out-of-domain) 강건성을 높이는 잠재력은 대체로 탐색되지 않았다. 우리는 생성형 이미지 편집이 학습 데이터에서 통제된 도메인 이동을 시뮬레이션하여 소스와 타깃 도메인 간 격차를 효과적으로 메울 수 있다고 가설한다. 이를 검증하기 위해 위장 군용 차량 검출을 어려운 도메인 이동 시나리오로 연구했다. 위장하지 않은 데이터로 학습한 검출기는 15개 차량 클래스에 대한 근접·지상 수준 영상에서 잎사귀, 그물망, 다중 스펙트럼 위장이 포함된 실제 테스트 영상에서 상당한 성능 저하를 보인다. Qwen Image Edit 2509와 Flux.2 Dev 두 가지 확산 기반 편집 모델, 그리고 Qwen의 LoRA 미세조정 버전을 사용해 학습 데이터에 위장을 합성적으로 추가했으며, 비생성적 검은 막대 가림 기준선이 증강 품질의 하한으로 사용되었다. 실제 및 합성 데이터로 학습한 GroundingDINO 검출기에서 생성형 위장 증강은 잎사귀 위장(+20.1)과 그물망 위장(+14.4)에 대해 mAP를 크게 향상시켰다. 다중 스펙트럼 위장 생성은 더 어려웠지만, LoRA 미세조정은 위장하지 않은 기준선 대비 4.4 mAP만큼 성능을 개선했다.

원문 초록

Object detectors often degrade under domain shifts such as changes in lighting, weather, or occlusion. These shifts alter object appearance and expose a reliance on visual shortcuts learned from the training distribution that do not generalize across domains. Acquiring sufficient real-world samples to capture such domain variation is particularly difficult in specialized, low-data settings. Recent advances in diffusion-based generative image editing have shown promise for improving the in-domain performance of object detectors through synthetic data augmentation. However, their potential to improve out-of-domain robustness remains largely unexplored. We hypothesize that generative image editing can simulate a controlled domain shift in training data, effectively bridging the gap between source and target domains. To test this, we studied camouflaged military vehicle detection as a challenging domain shift scenario. Detectors trained on uncamouflaged data demonstrate substantial degradation on real test imagery containing foliage, netting, and multi-spectral camouflage across 15 vehicle classes in close-up, ground-level imagery. We used two diffusion-based editing models, Qwen Image Edit 2509 and Flux.2 Dev, to synthetically add camouflage to the training data, alongside a LoRA fine-tuned version of Qwen. A non-generative black-bar occlusion baseline served as a lower bound on augmentation quality. Using a GroundingDINO detector trained on real and synthetic data, generative camouflage augmentation yielded substantial mAP improvements for foliage (+20.1) and netting (+14.4) camouflage. Generating multi-spectral camouflage proved more challenging, but LoRA fine-tuning improved performance by 4.4 mAP over the uncamouflaged baseline.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.02299v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.