arXiv:2310.05512

UAVs and Neural Networks for search and rescue missions

Hartmut Surmann, Artur Leinweber, Gerhard Senkowski, Julien Meine, Dominik Slomma

제출 2023-10-09

원문 초록

In this paper, we present a method for detecting objects of interest, including cars, humans, and fire, in aerial images captured by unmanned aerial vehicles (UAVs) usually during vegetation fires. To achieve this, we use artificial neural networks and create a dataset for supervised learning. We accomplish the assisted labeling of the dataset through the implementation of an object detection pipeline that combines classic image processing techniques with pretrained neural networks. In addition, we develop a data augmentation pipeline to augment the dataset with automatically labeled images. Finally, we evaluate the performance of different neural networks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13697v1cs.CV공통 태그 Data Augmentation, Object Detection

생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선

Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation

AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.

arXiv:2610.00030v1cs.CV공통 태그 Data Augmentation, Object Detection

객체 검출에서의 도메인 일반화와 합성 데이터: 조력자, 탐침, 그리고 격차

Domain generalization and synthetic data in object detection: the enabler, the probe, and the gap

객체 검출(object detection) 모델은 예를 들어 날씨 유형, 운용 환경(environment), 객체 외형의 변화 등으로 인해 발생하는 분포 변화(distribution shift) 하에 배포될 때 종종 성능 저하를 겪습니다. 도메인 일반화(Domain Generalization, DG)는 이러한 변화 속에서도 강건함을 유지하고 보지 못한 도메인(unseen domain)으로 잘 일반화되는 모델을 개발하는 것을 목표로 합니다. 객체 검출 모델은 위치 추정(localization) 및 다중 스케일 표현과 관련된 추가적인 문제에 직면함에도 불구하고, 객체 검출 모델에 구체적으로 초점을 맞춘 DG 연구는 부족한 상황입니다. 합성 데이터는 다양하고 새로운 대규모 샘플 생성을 가능하게 함으로써 DG를 지원하는 유망한 도구입니다. 본 논문에서는 객체 검출 중심의 DG 리뷰를 제시하고 상호 보완적인 세 가지 관점에서 합성 데이터의 역할을 살펴봅니다. 첫째, 합성 데이터는 분포 변화에 대한 강건성을 향상시키는 것을 목표로 하는 다양화 및 정렬(alignment) 전략을 통해 DG의 조력자(enabler) 역할을 합니다. 둘째, 실패 모드를 식별하고 이해하기 위한 제어된 실험을 가능하게 하는 탐침(probe) 역할을 합니다. 셋째, 합성 이미지로 학습된 모델을 실제 데이터에 배포할 때 발생하는 특히 까다로운 형태의 도메인 변화인 합성-실제 간 격차(synthetic-to-real gap)에 대해 논의합니다. 이러한 관점들을 검토함으로써 객체 검출을 위한 기존 DG 접근법의 한계를 식별하고, 향후 연구에는 도메인 변화 하에서 위치 추정과 분류(classification)를 모두 명시적으로 다루는 표현 인식(representation-aware) 방법이 필요함을 주장합니다.

arXiv:2607.19535v2cs.CV공통 태그 Data Augmentation, Object Detection

캠퍼스 쓰레기 탐지를 위한 합성 및 파생 학습 이미지: YOLOv8n 다중 시드 평가

Synthetic and Derived Training Images for Campus Waste Detection: A Multi-Seed Evaluation with YOLOv8n

잘못된 분리배출은 캠퍼스 재활용 흐름을 오염시킬 수 있으며, 쓰레기통에 장착된 카메라는 물건을 버리는 순간 피드백을 제공할 수 있다. 우리는 합성 및 파생 이미지가 이 카메라 시점에 대한 YOLOv8n 탐지기를 개선하는지 평가했다. 실제 데이터셋에는 148장의 캠퍼스 사진이 포함되었다: 학습 86장, 검증 31장, 테스트 31장. 12가지 공동 학습(joint-training) 구성은 추가 이미지의 양과 출처를 달리했다. 우리는 7가지 주요 설정을 4개의 매칭된 시드로 반복하고, 해당 시드들에 대해 부트스트랩 백분위 구간을 계산했다. 실제 데이터만 사용한 모델은 평균 [email omitted] 0.691 [0.665, 0.722]를 달성했다. 배경 교체는 평균을 0.560 [0.499, 0.619]로 낮췄고, 고립 객체(isolated-object) 이미지는 0.680 [0.644, 0.724]를, 전체 증강(augmentation) 풀은 0.487 [0.438, 0.537]를 기록했다. 또한 모든 실제 사진에 손에 든 물체가 나타났기 때문에 손·팔뚝 합성(hand-and-forearm composite)도 테스트했다. 초기 합성 세트의 두 컷아웃(cutout)이 테스트 사진에서 나왔으므로, 우리는 해당 실험을 폐기하고 학습 분할(train-split) 컷아웃으로 세트를 재구축한 뒤 4개 시드를 모두 다시 실행했다. 수정된 쌍(pair) 차이는 +0.034 [-0.063, 0.199]였으며, 이는 신뢰할 수 있는 손 합성 효과를 뒷받침하지 않는다. 단일 시드 전이(transfer) 실험은 공동 혼합(joint mixing)과 순차적 사전학습(sequential pretraining) 사이의 출처 의존적 순위를 산출했다. 평가된 구성 중 어느 것도 실제 데이터만 사용한 기준선을 넘지 못했다. 보고된 구간은 시드 변동을 정량화한다; 31장짜리 테스트 세트는 강한 클래스별 결론을 내리기에는 여전히 너무 작다.

arXiv:2607.21243v1cs.CV공통 태그 object-detection, Object Detection

탐지기는 잘못된 것을 학습한다: 물리적으로 실현 가능한 공격에 대항하는 단축 경로 저항적 적대적 학습

Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks

AI 기반 시각 지각 시스템이 지능형 교통 인프라 및 자율주행 차량 관련 응용에 점점 더 배치되고 있다. 그러나 물리적으로 실현 가능한 적대적 외형은 이러한 안전성(safety)에 중요한 시스템에 상당한 신뢰성 과제를 제기한다. 적대적 학습(adversarial training)은 효과적이지만, 적대적 텍스처와 양성 person 인스턴스 간의 반복적 공발생은 탐지기가 텍스처 자체를 객체 존재의 증거로 취급하게 만들어 패치 텍스처 단축 경로(shortcut)를 형성할 수 있다. 탐지기는 그러면 텍스처를 대상에 대한 증거로 취급하여, 텍스처만 있는 입력에서 오탐을 유발하고 교차 공격 일반화를 약화시킬 수 있다. 우리는 탐지기가 적대적 텍스처를 독립적인 판단 단서로 사용하는 것을 방지하는 인스턴스 수준 대조(contrastive) 적대적 학습 프레임워크인 InsCAT를 제안한다. SICA는 적대적 person 특징(feature)을 대응하는 clean 특징과 정렬하고 텍스처만 있는 음성(negative) 샘플과 분리하며, ROPO와 Guard는 온라인 공격 압력을 유지하고 학습을 조율한다. 렌더링된 nuScenes, INRIAPerson, 인쇄 의류, 세 가지 탐지기 계열에서 독립적으로 생성된 8개의 공격 텍스처를 평가한다. InsCAT은 렌더링된 nuScenes에서 평균 공격 AP 82.3%를 달성하여, 가장 강한 기준선보다 11.1포인트 높다. AT-Mix 대비 텍스처 FPR은 46.9%에서 7.3%로 감소한다. 물리적 테스트는 F1 점수 96.6%와 FPR 1.8%를 산출한다. 별도로 학습된 탐지기에서의 일관된 성능 향상은 직접 추론으로 아키텍처 전반에 걸친 적용 가능성을 보여준다. 결과는 견고한(robust) 물리적 탐지가 대상 관련 증거를 보존하면서 적대적 텍스처가 독립적인 판단 단서가 되는 것을 방지하는 데 달려 있음을 보여준다.

arXiv:2607.21577v1cs.CV공통 태그 Data Augmentation, Object Detection

그라비어 인쇄 품질 관리 자동화를 위한 합성 데이터 생성 프레임워크

Synthetic data generation framework for quality control automation in gravure printing

인쇄, 특히 로토그라비어 인쇄에서의 품질 관리는 여전히 느리고 비용이 많이 들며 주관적인 수동 검사에 의존하고 있다. 표면 결함 자동 검출은 로토그라비어 인쇄에서 높은 품질 기준을 유지하는 데 필수적이다. 심층 학습 모델은 자동화의 가능성을 제공한다. 그러나 YOLO나 Vision Transformer와 같은 견고한 심층 학습 모델의 학습은 실제 산업 환경의 결함 이미지가 극히 부족하여 크게 저해된다. 이 한계를 극복하기 위해, 본 논문은 로토그라비어 인쇄 품질 관리에 맞춘 새로운 합성 데이터 생성 프레임워크를 제안한다. 제안된 파이프라인은 특정 인쇄 결함(주름, 줄무늬, 미스레지스트레이션(misregistration) 등)의 고품질 이미지를 자동 생성하고, 이에 대응하는 바운딩 박스와 어노테이션을 출력한다. 프레임워크를 검증하기 위해 7533장의 합성 데이터셋을 생성하여 최신 객체 검출 모델 RFDETR을 학습하는 데 사용했다. 실험 결과, 우리의 합성 데이터로 학습한 모델이 실제 산업 테스트 샘플에서 평균 정밀도(mAP, Mean Average Precision) 80.9%를 달성함을 보여준다. 이 프레임워크는 대규모 수동 데이터 수집 없이 인쇄 라인에서 결함 검사를 자동화하는 무(零)비용·신속 배포 솔루션을 제공한다.

arXiv:2607.20142v1cs.CV공통 태그 Data Augmentation, Object Detection

현장(point-of-care) 유도 배치를 위한 실시간 EEG 캡 전극 검출

Real-Time EEG Cap Electrode Detection for Guided Point-of-Care Placement

우리는 라이브 웹캠 스트림에서 EEG 캡 전극을 검출하고 해부학적 배치를 실시간으로 검증하는 2단계 비전 시스템을 제안한다. 단일 클래스 YOLO 검출기가 전극을 위치 특정하고, 기하학적 단계가 얼굴 랜드마크로부터 각 검출 결과를 명명된 10-20 역할에 할당한다. 임상적으로 검증된 Small/Medium/Large 캡을 착용한 5명의 피험자에 대해 피험자 분리(subject-disjoint) leave-one-subject-out(LOSO) 교차 검증으로 평가한 결과, 검출기는 5개의 홀드아웃 fold에서 mAP@.5 = 0.94 +/- 0.07(pooled 0.96)를 달성한다. 전용 leave-one-cap-out 축에서 피험자와 무관하게 특정 캡의 모든 프레임을 홀드아웃하면 Medium과 Large의 mAP@.5는 LOSO 대비 0.01 이내(0.97, 0.97)인 반면 Small은 0.72 +/- 0.28로 하락하며, 이 격차는 캡 스타일보다 피험자 숙련도와 교란(confound)된다. 기하학적 증강(rotation, perspective, mixup)은 추론 비용 없이 평면 내 롤(in-plane-roll) 견고성과 측두(temporal) 전극 재현율을 향상시키며, 랜드마크 기반 머리 크롭(head crop)은 사용 가능 거리 범위를 확장하여 겉보기 스케일(apparent scale) 0.6배에서 mAP@.5를 0.23에서 0.45로 끌어올린다. 컴팩트한 모바일 후보 백본(YOLOv10n)은 640 px에서 범용 CPU 상에서 검출기를 실시간 처리량(19 FPS)으로 유지한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.