arXiv:2307.06784

Robotic surface exploration with vision and tactile sensing for cracks detection and characterisation

Francesca Palermo, Bukeikhan Omarali, Changae Oh, Kaspar Althoefer, Ildar Farkhatdinov

제출 2023-07-13

원문 초록

This paper presents a novel algorithm for crack localisation and detection based on visual and tactile analysis via fibre-optics. A finger-shaped sensor based on fibre-optics is employed for the data acquisition to collect data for the analysis and the experiments. To detect the possible locations of cracks a camera is used to scan an environment while running an object detection algorithm. Once the crack is detected, a fully-connected graph is created from a skeletonised version of the crack. A minimum spanning tree is then employed for calculating the shortest path to explore the crack which is then used to develop the motion planner for the robotic manipulator. The motion planner divides the crack into multiple nodes which are then explored individually. Then, the manipulator starts the exploration and performs the tactile data classification to confirm if there is indeed a crack in that location or just a false positive from the vision algorithm. If a crack is detected, also the length, width, orientation and number of branches are calculated. This is repeated until all the nodes of the crack are explored. In order to validate the complete algorithm, various experiments are performed: comparison of exploration of cracks through full scan and motion planning algorithm, implementation of frequency-based features for crack classification and geometry analysis using a combination of vision and tactile data. From the results of the experiments, it is shown that the proposed algorithm is able to detect cracks and improve the results obtained from vision to correctly classify cracks and their geometry with minimal cost thanks to the motion planning algorithm.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10575v2cs.CV공통 태그 object-detection, Object Detection

도메인이 중요한 이유: 수중 객체 검출 및 어노테이션 품질의 도메인 인식 벤치마킹

Why Domain Matters: Domain-Aware Benchmarking of Underwater Object Detection and Annotation Quality

수중 물체 탐지는 도메인 변화의 영향을 크게 받으며, 성능은 위치, 서식지, 배치 조건에 따라 크게 달라질 수 있다. 그러나 탐지기 성능은 일반적으로 특정 환경에서의 실패를 가리는 종합 지표로 평가되며, 기존 도메인 일반화 벤치마크는 실제 조건을 반영하지 못하는 합성 변형에 의존하는 경우가 많다. 이러한 한계를 해결하기 위해 우리는 외관, 장면 구성, 획득 기하를 기준으로 수중 이미지를 특성화하여 도메인 레이블을 부여하는 프레임워크를 도입한다. 이 프레임워크를 사용하여, 도메인 요인이 수중 물체 탐지 데이터셋에서의 사람의 주석 품질과 딥러닝 기반 탐지기 성능에 어떻게 영향을 미치는지에 대한 최초의 체계적 연구를 수행했으며, 도메인에 따른 상당한 불일치를 밝혀냈다. 물리적으로 의미 있는 도메인 레이블을 도입함으로써, 도메인 변화는 우리가 특성화하고, 측정하고, 벤치마크하고, 대응할 수 있는 대상이 된다. 우리는 이 프레임워크가 데이터 수집과 주석 작업을 안내하고, 더 유익한 벤치마크를 설계하며, 다양한 수중 환경에서 탐지기의 견고성을 평가하는 데 어떻게 활용될 수 있는지 강조한다.

arXiv:2609.22868v1cs.CV공통 태그 Object Detection, Motion Planning

종단 간 자율 주행을 위한 희소 행동 조건 타깃 기반 계획 정렬 BEV 표현 사전학습

Planning-Aligned Pretraining of BEV Representations with Sparse Action-Conditioned Targets for End-to-End Autonomous Driving

종단 간 주행에는 계획(planning)에 관련된 조감도(bird's-eye-view, BEV) 표현이 필요하지만, 기존 사전학습 접근은 종종 태스크 주석이나 밀집 장면 재구성에 의존한다. 우리는 PAVER(Planning-Aligned BEV Encoder Pretraining, 계획 정렬 BEV 인코더 사전학습)를 제안한다. 단일 LiDAR 스윕(sweep)으로부터 PAVER는 규칙 기반 ego motion을 따라 점유된 증거와 관측되지 않은 증거를 기술하는 희소 위험(risk) 및 unknown 타깃을 구성한다. 1만(10K) 매개변수 헤드가 행동 상태(action state)에 조건이 걸린 마스킹된 BEV 특징으로부터 이 타깃들을 예측하여, 후보 motion에 대한 기하학적 제약으로 지도(supervision)를 향하게 한다. 사전학습에는 주행 태스크 주석이나 밀집 재구성이 필요하지 않다. BEV 인코더만 전이(transfer)되어 하류 아키텍처와 카메라 전용 추론을 유지한다. nuScenes에서 PAVER는 VAD-Tiny의 평균 충돌률을 0.51%에서 0.19%로 낮추면서 planning L2, motion prediction, detection, mapping을 개선한다. 선택된 VAD-Tiny 및 VAD-Base 스케줄은 사전학습을 포함해 처음부터 학습(scratch training) 대비 추정 총 학습 시간이 약 36% 적다. Bench2Drive Town05 Long에서 PAVER는 UniAD-Tiny의 폐루프(closed-loop) Driving Score를 48.45에서 58.79로 향상시킨다. 프로젝트 페이지는 https://archiiive99.github.io/PAVER 에서 확인할 수 있다.

arXiv:2607.09835v2cs.CV공통 태그 object-detection, Object Detection

YOLO26은 엣지 배포에서 이전 모델들보다 진정한 이점을 제공하는가? 수산양식 분야의 벤치마크 연구

Does YOLO26 Truly Offer Advantages Over Its Predecessors for Edge Deployment? A Benchmark Study in Aquaculture

최근 소개된 YOLO26 아키텍처는 NMS-free 엔드-투-엔드 추론을 통합하며 자원이 제한된 CPU 기반 디바이스에서의 엣지 배포에 최적화되어 있어, 엣지 기반 수산양식 애플리케이션에 적합하다. 그러나 수산양식 특화 시나리오에서의 성능, 운영 효율성 및 배포 적합성은 체계적으로 검증되지 않았다. 본 연구는 어류 개체군 건강 및 복지의 핵심 지표인 어류 폐사 검출(fish mortality detection)을 위해 nano, small, medium 모델 규모에 걸쳐 YOLO26과 세 가지 Ultralytics 전작(YOLOv5u, YOLOv8, YOLO11)을 종합적으로 벤치마크한다. 12개 모델 변형을 대상으로 검출 정확도, 7가지 데이터셋 크기에 걸친 학습 효율성, 고성능 NVIDIA A100 GPU 및 CPU 전용 Raspberry Pi 5 엣지 플랫폼에서의 추론 성능을 평가하였다. 모든 모델은 전체 데이터셋에서 유사한 성능을 달성하였으며 mAP50 차이는 1.04 퍼센트포인트에 불과하여, 충분한 학습 데이터가 있을 경우 아키텍처 세대가 최종 검출 정확도에 미치는 영향이 미미함을 보여준다. 그러나 데이터 효율성과 배포 성능에서 명확한 트레이드오프가 나타났다. YOLOv8은 400장의 학습 이미지만으로 mAP50 90%를 달성한 반면, YOLO26 nano 및 small 변형은 유사한 정확도에 도달하기 위해 1,000장이 필요하였다. 반면 YOLO26n은 Raspberry Pi 5에서 가장 높은 추론 속도(7.51 FPS)를 달성하였으며, YOLOv5mu는 CPU 기반 하드웨어에서 동시대 모든 medium 규모 아키텍처를 능가하였다. 이러한 결과는 아키텍처의 신규성만으로는 모델 선택에 충분하지 않으며, 수산양식의 실용적인 엣지 AI 배포를 위한 객체 검출 모델 선택 시 학습 데이터 가용성, 타겟 하드웨어, 추론 요구사항을 함께 고려해야 함을 보여준다.

arXiv:2607.21243v1cs.CV공통 태그 object-detection, Object Detection

탐지기는 잘못된 것을 학습한다: 물리적으로 실현 가능한 공격에 대항하는 단축 경로 저항적 적대적 학습

Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks

AI 기반 시각 지각 시스템이 지능형 교통 인프라 및 자율주행 차량 관련 응용에 점점 더 배치되고 있다. 그러나 물리적으로 실현 가능한 적대적 외형은 이러한 안전성(safety)에 중요한 시스템에 상당한 신뢰성 과제를 제기한다. 적대적 학습(adversarial training)은 효과적이지만, 적대적 텍스처와 양성 person 인스턴스 간의 반복적 공발생은 탐지기가 텍스처 자체를 객체 존재의 증거로 취급하게 만들어 패치 텍스처 단축 경로(shortcut)를 형성할 수 있다. 탐지기는 그러면 텍스처를 대상에 대한 증거로 취급하여, 텍스처만 있는 입력에서 오탐을 유발하고 교차 공격 일반화를 약화시킬 수 있다. 우리는 탐지기가 적대적 텍스처를 독립적인 판단 단서로 사용하는 것을 방지하는 인스턴스 수준 대조(contrastive) 적대적 학습 프레임워크인 InsCAT를 제안한다. SICA는 적대적 person 특징(feature)을 대응하는 clean 특징과 정렬하고 텍스처만 있는 음성(negative) 샘플과 분리하며, ROPO와 Guard는 온라인 공격 압력을 유지하고 학습을 조율한다. 렌더링된 nuScenes, INRIAPerson, 인쇄 의류, 세 가지 탐지기 계열에서 독립적으로 생성된 8개의 공격 텍스처를 평가한다. InsCAT은 렌더링된 nuScenes에서 평균 공격 AP 82.3%를 달성하여, 가장 강한 기준선보다 11.1포인트 높다. AT-Mix 대비 텍스처 FPR은 46.9%에서 7.3%로 감소한다. 물리적 테스트는 F1 점수 96.6%와 FPR 1.8%를 산출한다. 별도로 학습된 탐지기에서의 일관된 성능 향상은 직접 추론으로 아키텍처 전반에 걸친 적용 가능성을 보여준다. 결과는 견고한(robust) 물리적 탐지가 대상 관련 증거를 보존하면서 적대적 텍스처가 독립적인 판단 단서가 되는 것을 방지하는 데 달려 있음을 보여준다.

arXiv:2607.10605v1cs.CV공통 태그 object-detection, Object Detection

심층 학습을 활용한 드론 기반 실시간 엔드투엔드 사람 탐지 프레임워크

End-to-End Real-Time Drone-Based Person Detection Framework Using Deep Learning

최근 몇 년간 무인 항공기(UAV) 또는 드론은 보안, 수색 및 구조(SAR), 국경 감시 등의 분야에서 빠르게 활용되고 있다. 기존의 모니터링 프레임워크는 고도 변화로 인해 대상이 큰 스케일 변동을 겪을 때 탐지 일관성을 유지하는 데 어려움을 겪는 경우가 많아, 중요한 정보 공백이 발생한다. 이 문제를 해결하기 위해 본 연구는 무선 실시간 드론 영상 피드를 통해 대상을 탐지하는 통합 실시간 탐지 파이프라인을 제안한다. YOLOv8-nano 아키텍처를 기반으로 다양한 비행 고도에서의 탐지 성능을 파악하기 위해 광범위한 비행 실험을 수행하였다. VisDrone2019 데이터셋으로 학습한 YOLOv8-nano 모델은 정밀도, 재현율, mAP, mAP50:95에서 각각 57.4%, 41%, 44.8%, 20.3%를 달성하였다. 실제 환경에서의 시연을 통해, 해당 알고리즘은 16~25미터 고도 구간에서 거의 완전한 탐지 신뢰도를 달성하며 탐지 프레임 레이트가 지속적으로 41 FPS 이상을 유지하고 최대 50 FPS에 도달함이 확인되었다. 본 연구의 목표는 무선 전송을 통해 항공 플랫폼에서 실시간 사람 탐지를 가능하게 하는 것이다. 이 접근 방식은 다양한 스케일의 대상 식별과 항공 관측 중 근사 정확한 위치 추정이라는 이중 과제를 효과적으로 해결한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.