Object Detection and Recognition of Swap-Bodies using Camera mounted on a Vehicle
원문 초록
Object detection and identification is a challenging area of computer vision and a fundamental requirement for autonomous cars. This project aims to jointly perform object detection of a swap-body and to find the type of swap-body by reading an ILU code using an efficient optical character recognition (OCR) method. Recent research activities have drastically improved deep learning techniques which proves to enhance the field of computer vision. Collecting enough images for training the model is a critical step towards achieving good results. The data for training were collected from different locations with maximum possible variations and the details are explained. In addition, data augmentation methods applied for training has proved to be effective in improving the performance of the trained model. Training the model achieved good results and the test results are also provided. The final model was tested with images and videos. Finally, this paper also draws attention to some of the major challenges faced during various stages of the project and the possible solutions applied.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선
Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation
AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.
전사된 벵골어 텍스트에서의 개방형 어휘 단어 인식
Open Vocabulary Word Recognition From Transcribed Bangla Texts
광학 문자 인식(OCR)은 기술을 활용하여 문서를 스캔하고 텍스트를 추출함으로써 사람들의 작업을 수월하게 만듭니다. 소프트웨어 산업에는 다양한 OCR 시스템이 존재하지만, 벵골어에 적합한 신뢰할 수 있는 솔루션을 찾는 것은 많은 노력이 필요합니다. 필기체 텍스트의 경우 상황은 훨씬 더 까다롭습니다. 단어 이미지에서 단어를 인식하는 것은 모든 OCR 프로세스에서 가장 중요한 단계이며, 텍스트 이미지에서 단어를 분할한 직후의 두 번째 단계에 해당합니다. 이 단계가 실패하면 다른 단계가 아무리 우수하게 수행되더라도 OCR의 전반적인 성능은 저하됩니다. 본 연구는 심층 학습(deep learning)을 활용하여 필기체 벵골어 단어 이미지에서 단어를 인식하는 것을 목표로 합니다. 필기체 단어 이미지를 학습하고 테스트하기 위해 MobileNetV2 기반의 SSD, InceptionResNetV2 기반의 Faster R-CNN, 그리고 이 두 가지를 결합한 앙상블 모델 등 세 가지 객체 검출(object detection) 모델을 사용했습니다. 모델 결과의 효과를 높이기 위해 수정된 비최대 억제(Non-Maximum Suppression)를 도입했습니다. 다양한 사람들의 서로 다른 필체 스타일을 포함하는 9,841개의 필기체 벵골어 단어 이미지로 구성된 맞춤형 데이터셋을 구축했습니다. 테스트 데이터셋을 통해 세 모델의 성능을 모두 검증한 결과, 앙상블 모델이 92.61%의 F1-점수를 기록하며 가장 인상적인 성능을 보였습니다. 또한 단어 수준에서 앙상블 모델은 단어의 96.12%를 일정 수준 정확하게 인식했습니다. 시스템에서 발생하는 오류를 수정하기 위한 후처리 단계를 도입함으로써 시스템을 더욱 향상시킬 수 있습니다.
객체 검출에서의 도메인 일반화와 합성 데이터: 조력자, 탐침, 그리고 격차
Domain generalization and synthetic data in object detection: the enabler, the probe, and the gap
객체 검출(object detection) 모델은 예를 들어 날씨 유형, 운용 환경(environment), 객체 외형의 변화 등으로 인해 발생하는 분포 변화(distribution shift) 하에 배포될 때 종종 성능 저하를 겪습니다. 도메인 일반화(Domain Generalization, DG)는 이러한 변화 속에서도 강건함을 유지하고 보지 못한 도메인(unseen domain)으로 잘 일반화되는 모델을 개발하는 것을 목표로 합니다. 객체 검출 모델은 위치 추정(localization) 및 다중 스케일 표현과 관련된 추가적인 문제에 직면함에도 불구하고, 객체 검출 모델에 구체적으로 초점을 맞춘 DG 연구는 부족한 상황입니다. 합성 데이터는 다양하고 새로운 대규모 샘플 생성을 가능하게 함으로써 DG를 지원하는 유망한 도구입니다. 본 논문에서는 객체 검출 중심의 DG 리뷰를 제시하고 상호 보완적인 세 가지 관점에서 합성 데이터의 역할을 살펴봅니다. 첫째, 합성 데이터는 분포 변화에 대한 강건성을 향상시키는 것을 목표로 하는 다양화 및 정렬(alignment) 전략을 통해 DG의 조력자(enabler) 역할을 합니다. 둘째, 실패 모드를 식별하고 이해하기 위한 제어된 실험을 가능하게 하는 탐침(probe) 역할을 합니다. 셋째, 합성 이미지로 학습된 모델을 실제 데이터에 배포할 때 발생하는 특히 까다로운 형태의 도메인 변화인 합성-실제 간 격차(synthetic-to-real gap)에 대해 논의합니다. 이러한 관점들을 검토함으로써 객체 검출을 위한 기존 DG 접근법의 한계를 식별하고, 향후 연구에는 도메인 변화 하에서 위치 추정과 분류(classification)를 모두 명시적으로 다루는 표현 인식(representation-aware) 방법이 필요함을 주장합니다.
캠퍼스 쓰레기 탐지를 위한 합성 및 파생 학습 이미지: YOLOv8n 다중 시드 평가
Synthetic and Derived Training Images for Campus Waste Detection: A Multi-Seed Evaluation with YOLOv8n
잘못된 분리배출은 캠퍼스 재활용 흐름을 오염시킬 수 있으며, 쓰레기통에 장착된 카메라는 물건을 버리는 순간 피드백을 제공할 수 있다. 우리는 합성 및 파생 이미지가 이 카메라 시점에 대한 YOLOv8n 탐지기를 개선하는지 평가했다. 실제 데이터셋에는 148장의 캠퍼스 사진이 포함되었다: 학습 86장, 검증 31장, 테스트 31장. 12가지 공동 학습(joint-training) 구성은 추가 이미지의 양과 출처를 달리했다. 우리는 7가지 주요 설정을 4개의 매칭된 시드로 반복하고, 해당 시드들에 대해 부트스트랩 백분위 구간을 계산했다. 실제 데이터만 사용한 모델은 평균 [email omitted] 0.691 [0.665, 0.722]를 달성했다. 배경 교체는 평균을 0.560 [0.499, 0.619]로 낮췄고, 고립 객체(isolated-object) 이미지는 0.680 [0.644, 0.724]를, 전체 증강(augmentation) 풀은 0.487 [0.438, 0.537]를 기록했다. 또한 모든 실제 사진에 손에 든 물체가 나타났기 때문에 손·팔뚝 합성(hand-and-forearm composite)도 테스트했다. 초기 합성 세트의 두 컷아웃(cutout)이 테스트 사진에서 나왔으므로, 우리는 해당 실험을 폐기하고 학습 분할(train-split) 컷아웃으로 세트를 재구축한 뒤 4개 시드를 모두 다시 실행했다. 수정된 쌍(pair) 차이는 +0.034 [-0.063, 0.199]였으며, 이는 신뢰할 수 있는 손 합성 효과를 뒷받침하지 않는다. 단일 시드 전이(transfer) 실험은 공동 혼합(joint mixing)과 순차적 사전학습(sequential pretraining) 사이의 출처 의존적 순위를 산출했다. 평가된 구성 중 어느 것도 실제 데이터만 사용한 기준선을 넘지 못했다. 보고된 구간은 시드 변동을 정량화한다; 31장짜리 테스트 세트는 강한 클래스별 결론을 내리기에는 여전히 너무 작다.
탐지기는 잘못된 것을 학습한다: 물리적으로 실현 가능한 공격에 대항하는 단축 경로 저항적 적대적 학습
Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks
AI 기반 시각 지각 시스템이 지능형 교통 인프라 및 자율주행 차량 관련 응용에 점점 더 배치되고 있다. 그러나 물리적으로 실현 가능한 적대적 외형은 이러한 안전성(safety)에 중요한 시스템에 상당한 신뢰성 과제를 제기한다. 적대적 학습(adversarial training)은 효과적이지만, 적대적 텍스처와 양성 person 인스턴스 간의 반복적 공발생은 탐지기가 텍스처 자체를 객체 존재의 증거로 취급하게 만들어 패치 텍스처 단축 경로(shortcut)를 형성할 수 있다. 탐지기는 그러면 텍스처를 대상에 대한 증거로 취급하여, 텍스처만 있는 입력에서 오탐을 유발하고 교차 공격 일반화를 약화시킬 수 있다. 우리는 탐지기가 적대적 텍스처를 독립적인 판단 단서로 사용하는 것을 방지하는 인스턴스 수준 대조(contrastive) 적대적 학습 프레임워크인 InsCAT를 제안한다. SICA는 적대적 person 특징(feature)을 대응하는 clean 특징과 정렬하고 텍스처만 있는 음성(negative) 샘플과 분리하며, ROPO와 Guard는 온라인 공격 압력을 유지하고 학습을 조율한다. 렌더링된 nuScenes, INRIAPerson, 인쇄 의류, 세 가지 탐지기 계열에서 독립적으로 생성된 8개의 공격 텍스처를 평가한다. InsCAT은 렌더링된 nuScenes에서 평균 공격 AP 82.3%를 달성하여, 가장 강한 기준선보다 11.1포인트 높다. AT-Mix 대비 텍스처 FPR은 46.9%에서 7.3%로 감소한다. 물리적 테스트는 F1 점수 96.6%와 FPR 1.8%를 산출한다. 별도로 학습된 탐지기에서의 일관된 성능 향상은 직접 추론으로 아키텍처 전반에 걸친 적용 가능성을 보여준다. 결과는 견고한(robust) 물리적 탐지가 대상 관련 증거를 보존하면서 적대적 텍스처가 독립적인 판단 단서가 되는 것을 방지하는 데 달려 있음을 보여준다.
그라비어 인쇄 품질 관리 자동화를 위한 합성 데이터 생성 프레임워크
Synthetic data generation framework for quality control automation in gravure printing
인쇄, 특히 로토그라비어 인쇄에서의 품질 관리는 여전히 느리고 비용이 많이 들며 주관적인 수동 검사에 의존하고 있다. 표면 결함 자동 검출은 로토그라비어 인쇄에서 높은 품질 기준을 유지하는 데 필수적이다. 심층 학습 모델은 자동화의 가능성을 제공한다. 그러나 YOLO나 Vision Transformer와 같은 견고한 심층 학습 모델의 학습은 실제 산업 환경의 결함 이미지가 극히 부족하여 크게 저해된다. 이 한계를 극복하기 위해, 본 논문은 로토그라비어 인쇄 품질 관리에 맞춘 새로운 합성 데이터 생성 프레임워크를 제안한다. 제안된 파이프라인은 특정 인쇄 결함(주름, 줄무늬, 미스레지스트레이션(misregistration) 등)의 고품질 이미지를 자동 생성하고, 이에 대응하는 바운딩 박스와 어노테이션을 출력한다. 프레임워크를 검증하기 위해 7533장의 합성 데이터셋을 생성하여 최신 객체 검출 모델 RFDETR을 학습하는 데 사용했다. 실험 결과, 우리의 합성 데이터로 학습한 모델이 실제 산업 테스트 샘플에서 평균 정밀도(mAP, Mean Average Precision) 80.9%를 달성함을 보여준다. 이 프레임워크는 대규모 수동 데이터 수집 없이 인쇄 라인에서 결함 검사를 자동화하는 무(零)비용·신속 배포 솔루션을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.