MMRNet: Improving Reliability for Multimodal Object Detection and Segmentation for Bin Picking via Multimodal Redundancy
원문 초록
Recently, there has been tremendous interest in industry 4.0 infrastructure to address labor shortages in global supply chains. Deploying artificial intelligence-enabled robotic bin picking systems in real world has become particularly important for reducing stress and physical demands of workers while increasing speed and efficiency of warehouses. To this end, artificial intelligence-enabled robotic bin picking systems may be used to automate order picking, but with the risk of causing expensive damage during an abnormal event such as sensor failure. As such, reliability becomes a critical factor for translating artificial intelligence research to real world applications and products. In this paper, we propose a reliable object detection and segmentation system with MultiModal Redundancy (MMRNet) for tackling object detection and segmentation for robotic bin picking using data from different modalities. This is the first system that introduces the concept of multimodal redundancy to address sensor failure issues during deployment. In particular, we realize the multimodal redundancy framework with a gate fusion module and dynamic ensemble learning. Finally, we present a new label-free multi-modal consistency (MC) score that utilizes the output from all modalities to measure the overall system output reliability and uncertainty. Through experiments, we demonstrate that in an event of missing modality, our system provides a much more reliable performance compared to baseline models. We also demonstrate that our MC score is a more reliability indicator for outputs during inference time compared to the model generated confidence scores that are often over-confident.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
도메인이 중요한 이유: 수중 객체 검출 및 어노테이션 품질의 도메인 인식 벤치마킹
Why Domain Matters: Domain-Aware Benchmarking of Underwater Object Detection and Annotation Quality
수중 물체 탐지는 도메인 변화의 영향을 크게 받으며, 성능은 위치, 서식지, 배치 조건에 따라 크게 달라질 수 있다. 그러나 탐지기 성능은 일반적으로 특정 환경에서의 실패를 가리는 종합 지표로 평가되며, 기존 도메인 일반화 벤치마크는 실제 조건을 반영하지 못하는 합성 변형에 의존하는 경우가 많다. 이러한 한계를 해결하기 위해 우리는 외관, 장면 구성, 획득 기하를 기준으로 수중 이미지를 특성화하여 도메인 레이블을 부여하는 프레임워크를 도입한다. 이 프레임워크를 사용하여, 도메인 요인이 수중 물체 탐지 데이터셋에서의 사람의 주석 품질과 딥러닝 기반 탐지기 성능에 어떻게 영향을 미치는지에 대한 최초의 체계적 연구를 수행했으며, 도메인에 따른 상당한 불일치를 밝혀냈다. 물리적으로 의미 있는 도메인 레이블을 도입함으로써, 도메인 변화는 우리가 특성화하고, 측정하고, 벤치마크하고, 대응할 수 있는 대상이 된다. 우리는 이 프레임워크가 데이터 수집과 주석 작업을 안내하고, 더 유익한 벤치마크를 설계하며, 다양한 수중 환경에서 탐지기의 견고성을 평가하는 데 어떻게 활용될 수 있는지 강조한다.
전사된 벵골어 텍스트에서의 개방형 어휘 단어 인식
Open Vocabulary Word Recognition From Transcribed Bangla Texts
광학 문자 인식(OCR)은 기술을 활용하여 문서를 스캔하고 텍스트를 추출함으로써 사람들의 작업을 수월하게 만듭니다. 소프트웨어 산업에는 다양한 OCR 시스템이 존재하지만, 벵골어에 적합한 신뢰할 수 있는 솔루션을 찾는 것은 많은 노력이 필요합니다. 필기체 텍스트의 경우 상황은 훨씬 더 까다롭습니다. 단어 이미지에서 단어를 인식하는 것은 모든 OCR 프로세스에서 가장 중요한 단계이며, 텍스트 이미지에서 단어를 분할한 직후의 두 번째 단계에 해당합니다. 이 단계가 실패하면 다른 단계가 아무리 우수하게 수행되더라도 OCR의 전반적인 성능은 저하됩니다. 본 연구는 심층 학습(deep learning)을 활용하여 필기체 벵골어 단어 이미지에서 단어를 인식하는 것을 목표로 합니다. 필기체 단어 이미지를 학습하고 테스트하기 위해 MobileNetV2 기반의 SSD, InceptionResNetV2 기반의 Faster R-CNN, 그리고 이 두 가지를 결합한 앙상블 모델 등 세 가지 객체 검출(object detection) 모델을 사용했습니다. 모델 결과의 효과를 높이기 위해 수정된 비최대 억제(Non-Maximum Suppression)를 도입했습니다. 다양한 사람들의 서로 다른 필체 스타일을 포함하는 9,841개의 필기체 벵골어 단어 이미지로 구성된 맞춤형 데이터셋을 구축했습니다. 테스트 데이터셋을 통해 세 모델의 성능을 모두 검증한 결과, 앙상블 모델이 92.61%의 F1-점수를 기록하며 가장 인상적인 성능을 보였습니다. 또한 단어 수준에서 앙상블 모델은 단어의 96.12%를 일정 수준 정확하게 인식했습니다. 시스템에서 발생하는 오류를 수정하기 위한 후처리 단계를 도입함으로써 시스템을 더욱 향상시킬 수 있습니다.
잡초가 많은 현장 영상에서의 소형 수분 매체 검출
Small-Pollinator Detection in Cluttered Field Video
현장 영상에서 수분 매체를 검출하는 것은 어렵다. 대상은 작고 시각적으로 유사하며, 흐림과 가림 상태에서 잡초가 많은 식생 배경 위에서 관측된다. 우리는 실용적인 단일 GPU 연산 예산 하에서 소형 수분 매체 검출에 대한 체계적인 실증 연구를 제시한다. BuzzSpot 챌린지 데이터셋을 사용하여 입력 해상도에 걸쳐 YOLO 및 RF-DETR 모델을 비교하고, 슬라이스 추론, 클래스 게이트 융합, 크기 라우팅 앙상블, 사후 시간적 처리를 평가한다. 1344픽셀 해상도의 RF-DETR Large가 최고의 숨겨진 테스트 결과를 달성하여 0.405 mAP50:95에 도달했으며, 1120픽셀 모델(0.379)과 최고 단일 모델 YOLO26m 기준선(0.366)을 능가했다. 가장 큰 성능 향상은 RF-DETR 채택과 입력 해상도 증가에서 나왔으며, 이는 검출기 선택과 입력 해상도가 추가적인 추론 시간 복잡도보다 더 효과적인 레버였음을 나타낸다. 해상도 향상은 소형 객체와 더 희귀한 호박벌 및 나방 클래스에서 가장 강했다. 슬라이스 추론 융합, 크기 라우팅 앙상블, 웜 스타트 1536픽셀 연속은 이 결과를 넘지 못했으며, 사후 시간적 처리는 유출된 진단 평가를 개선하지 못했다. 오류 분석은 벌-허버플라이 구별을 가장 명확한 남은 병목으로 확인했다. 인접 프레임은 사후 보정을 위한 올바르게 분류된 허버플라이 증거를 거의 제공하지 못했다. 이러한 결과는 최종 분류 결정 전 학습된 특징 수준의 시간적 집계의 필요성을 시사한다.
탐지기는 잘못된 것을 학습한다: 물리적으로 실현 가능한 공격에 대항하는 단축 경로 저항적 적대적 학습
Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks
AI 기반 시각 지각 시스템이 지능형 교통 인프라 및 자율주행 차량 관련 응용에 점점 더 배치되고 있다. 그러나 물리적으로 실현 가능한 적대적 외형은 이러한 안전성(safety)에 중요한 시스템에 상당한 신뢰성 과제를 제기한다. 적대적 학습(adversarial training)은 효과적이지만, 적대적 텍스처와 양성 person 인스턴스 간의 반복적 공발생은 탐지기가 텍스처 자체를 객체 존재의 증거로 취급하게 만들어 패치 텍스처 단축 경로(shortcut)를 형성할 수 있다. 탐지기는 그러면 텍스처를 대상에 대한 증거로 취급하여, 텍스처만 있는 입력에서 오탐을 유발하고 교차 공격 일반화를 약화시킬 수 있다. 우리는 탐지기가 적대적 텍스처를 독립적인 판단 단서로 사용하는 것을 방지하는 인스턴스 수준 대조(contrastive) 적대적 학습 프레임워크인 InsCAT를 제안한다. SICA는 적대적 person 특징(feature)을 대응하는 clean 특징과 정렬하고 텍스처만 있는 음성(negative) 샘플과 분리하며, ROPO와 Guard는 온라인 공격 압력을 유지하고 학습을 조율한다. 렌더링된 nuScenes, INRIAPerson, 인쇄 의류, 세 가지 탐지기 계열에서 독립적으로 생성된 8개의 공격 텍스처를 평가한다. InsCAT은 렌더링된 nuScenes에서 평균 공격 AP 82.3%를 달성하여, 가장 강한 기준선보다 11.1포인트 높다. AT-Mix 대비 텍스처 FPR은 46.9%에서 7.3%로 감소한다. 물리적 테스트는 F1 점수 96.6%와 FPR 1.8%를 산출한다. 별도로 학습된 탐지기에서의 일관된 성능 향상은 직접 추론으로 아키텍처 전반에 걸친 적용 가능성을 보여준다. 결과는 견고한(robust) 물리적 탐지가 대상 관련 증거를 보존하면서 적대적 텍스처가 독립적인 판단 단서가 되는 것을 방지하는 데 달려 있음을 보여준다.
PRISM-DR: 당뇨망막병증을 위한 전문가 모델 기반 병변별 망막 추론
PRISM-DR: Per-lesion Retinal Inference with Specialist Models for Diabetic Retinopathy
당뇨망막병증은 예방 가능한 실명의 주요 원인이며, 초기 병변은 작고 대비가 낮아 수동 스크리닝에서 놓치기 쉽다. 대부분의 자동 검출기는 비증식성 당뇨망막병증(DR)의 네 가지 병변—미세동맥류(microaneurysms), 출혈(hemorrhages), 경성 삼출물(hard exudates), 연성 삼출물(soft exudates)—을 단일 다중 클래스 모델로 처리하지만, 이러한 병변은 크기, 색상, 형태, 발생 빈도에서 크게 달라 공유 모델은 희귀하고 어려운 클래스보다 흔하고 쉬운 클래스에 유리하게 작동한다. 우리는 PRISM-DR을 제안한다. 이는 병변별 파이프라인으로, 각 병변마다 고유한 설정을 갖춘 단일 클래스 검출기를 하나씩 학습한다. 원시 안저(fundus) 영상에서 파이프라인은 관심 영역(ROI) 크롭, 안저 특화 전처리, 네 개의 병렬 YOLO 검출기, 타일링(tiling), 5겹 교차 검증 폴드의 병변별 앙상블, 그리고 신뢰도(confidence)가 아닌 병변의 물리적 크기와 임상적 우선순위에 따라 중첩을 해결하는 병변 간 억제 단계를 적용한다. 병변별로 다섯 세대의 YOLO 중 최적을 선택하고, 데이터 증강(augmentation)은 베이지안 최적화(Bayesian optimization)로 조정한다. IDRiD에서 계층화 5겹 교차 검증으로 학습한 시스템은 테스트 mAP50 0.527, F1 0.529를 달성했으며, 경성 삼출물에서 AP50 0.561로 가장 높은 성능을 보였다. 미세조정 없이도 촬영 스케일이 IDRiD와 유사한 경우 모델이 잘 전이(transfer)되며, 시야(field of view)와 해상도가 달라질수록 성능이 저하된다. 이러한 절대 성능은 작은 단일 출처 학습 데이터셋과 어려운 과제를 반영한 것이지만, 각 병변을 별도의 검출 문제로 다루는 접근은 단일 다중 클래스 모델에 대한 실용적인 대안이다.
심층 학습을 활용한 드론 기반 실시간 엔드투엔드 사람 탐지 프레임워크
End-to-End Real-Time Drone-Based Person Detection Framework Using Deep Learning
최근 몇 년간 무인 항공기(UAV) 또는 드론은 보안, 수색 및 구조(SAR), 국경 감시 등의 분야에서 빠르게 활용되고 있다. 기존의 모니터링 프레임워크는 고도 변화로 인해 대상이 큰 스케일 변동을 겪을 때 탐지 일관성을 유지하는 데 어려움을 겪는 경우가 많아, 중요한 정보 공백이 발생한다. 이 문제를 해결하기 위해 본 연구는 무선 실시간 드론 영상 피드를 통해 대상을 탐지하는 통합 실시간 탐지 파이프라인을 제안한다. YOLOv8-nano 아키텍처를 기반으로 다양한 비행 고도에서의 탐지 성능을 파악하기 위해 광범위한 비행 실험을 수행하였다. VisDrone2019 데이터셋으로 학습한 YOLOv8-nano 모델은 정밀도, 재현율, mAP, mAP50:95에서 각각 57.4%, 41%, 44.8%, 20.3%를 달성하였다. 실제 환경에서의 시연을 통해, 해당 알고리즘은 16~25미터 고도 구간에서 거의 완전한 탐지 신뢰도를 달성하며 탐지 프레임 레이트가 지속적으로 41 FPS 이상을 유지하고 최대 50 FPS에 도달함이 확인되었다. 본 연구의 목표는 무선 전송을 통해 항공 플랫폼에서 실시간 사람 탐지를 가능하게 하는 것이다. 이 접근 방식은 다양한 스케일의 대상 식별과 항공 관측 중 근사 정확한 위치 추정이라는 이중 과제를 효과적으로 해결한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.