EfficientRep:An Efficient Repvgg-style ConvNets with Hardware-aware Neural Network Design
원문 초록
We present a hardware-efficient architecture of convolutional neural network, which has a repvgg-like architecture. Flops or parameters are traditional metrics to evaluate the efficiency of networks which are not sensitive to hardware including computing ability and memory bandwidth. Thus, how to design a neural network to efficiently use the computing ability and memory bandwidth of hardware is a critical problem. This paper proposes a method how to design hardware-aware neural network. Based on this method, we designed EfficientRep series convolutional networks, which are high-computation hardware(e.g. GPU) friendly and applied in YOLOv6 object detection framework. YOLOv6 has published YOLOv6N/YOLOv6S/YOLOv6M/YOLOv6L models in v1 and v2 versions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TemporalNet: Real-time 2D-3D Video Object Detection
로봇 안내견을 위한 경량 및 자원 효율적 인지
Lightweight and Resource-Efficient Perception for Robotic Guide Dogs
다중 카메라 스트리밍 인지(streaming perception)는 함께 상주하는 워크로드와 공유되는 이기종 엣지 플랫폼에 점차 많이 배포되고 있으나, 가속기 배치는 격리된 단일 스트림 실험과 평균 스트리밍 평균 정밀도(sAP)를 사용하여 평가되는 경우가 많습니다. 단일 GPU-NPU 플랫폼에서 두 개의 엔드투엔드 파이프라인을 사용하여, 본 연구는 격리된 평가가 실제 배포 시점의 배치 순위를 잘못 매길 수 있음을 보여줍니다. 단독 환경에서는 GPU 파이프라인이 선호되지만, GPU에 국한된 자원 경합(contention)으로 인해 마감 시간 초과(deadline miss)가 발생하여 검출 결과가 진부화(stale)되고, GPU가 완전히 포화되기 전에도 선호되는 배치가 뒤바뀔 수 있습니다. NPU 파이프라인은 단독 환경에서 소형 및 중형 객체에 대해 GPU 파이프라인보다 정확도가 낮지만, 대형 객체에서는 거의 대등한 성능을 보입니다. 지연 시간 및 경합 실험에서 가장 큰 절대적 sAP 손실은 대형 객체에서 발생합니다. 4개 스트림 실험에서 선호되는 배치는 어느 경로가 진부화되는지에 따라 달라지며, GPU 측 경합이 증가함에 따라 최적의 배치는 All-GPU에서 All-NPU로 전환됩니다. GPU를 포화시키는 비전-언어(vision-language) 공동 상주 워크로드 환경에서 All-NPU는 All-GPU 대비 최악 스트림 sAP의 $5.2\times$를 달성합니다. 평균 sAP는 특정 단일 스트림의 심각한 성능 저하를 감출 수 있으므로, 평가는 평균 sAP와 함께 경합 스윕(contention sweep), 양쪽 경로의 마감 시간 초과 비율, 그리고 최악 스트림 sAP를 보고해야 합니다.
탐지기는 잘못된 것을 학습한다: 물리적으로 실현 가능한 공격에 대항하는 단축 경로 저항적 적대적 학습
Detectors Learn the Wrong Thing: Shortcut-Resistant Adversarial Training Against Physically Realizable Attacks
AI 기반 시각 지각 시스템이 지능형 교통 인프라 및 자율주행 차량 관련 응용에 점점 더 배치되고 있다. 그러나 물리적으로 실현 가능한 적대적 외형은 이러한 안전성(safety)에 중요한 시스템에 상당한 신뢰성 과제를 제기한다. 적대적 학습(adversarial training)은 효과적이지만, 적대적 텍스처와 양성 person 인스턴스 간의 반복적 공발생은 탐지기가 텍스처 자체를 객체 존재의 증거로 취급하게 만들어 패치 텍스처 단축 경로(shortcut)를 형성할 수 있다. 탐지기는 그러면 텍스처를 대상에 대한 증거로 취급하여, 텍스처만 있는 입력에서 오탐을 유발하고 교차 공격 일반화를 약화시킬 수 있다. 우리는 탐지기가 적대적 텍스처를 독립적인 판단 단서로 사용하는 것을 방지하는 인스턴스 수준 대조(contrastive) 적대적 학습 프레임워크인 InsCAT를 제안한다. SICA는 적대적 person 특징(feature)을 대응하는 clean 특징과 정렬하고 텍스처만 있는 음성(negative) 샘플과 분리하며, ROPO와 Guard는 온라인 공격 압력을 유지하고 학습을 조율한다. 렌더링된 nuScenes, INRIAPerson, 인쇄 의류, 세 가지 탐지기 계열에서 독립적으로 생성된 8개의 공격 텍스처를 평가한다. InsCAT은 렌더링된 nuScenes에서 평균 공격 AP 82.3%를 달성하여, 가장 강한 기준선보다 11.1포인트 높다. AT-Mix 대비 텍스처 FPR은 46.9%에서 7.3%로 감소한다. 물리적 테스트는 F1 점수 96.6%와 FPR 1.8%를 산출한다. 별도로 학습된 탐지기에서의 일관된 성능 향상은 직접 추론으로 아키텍처 전반에 걸친 적용 가능성을 보여준다. 결과는 견고한(robust) 물리적 탐지가 대상 관련 증거를 보존하면서 적대적 텍스처가 독립적인 판단 단서가 되는 것을 방지하는 데 달려 있음을 보여준다.
심층 학습을 활용한 드론 기반 실시간 엔드투엔드 사람 탐지 프레임워크
End-to-End Real-Time Drone-Based Person Detection Framework Using Deep Learning
최근 몇 년간 무인 항공기(UAV) 또는 드론은 보안, 수색 및 구조(SAR), 국경 감시 등의 분야에서 빠르게 활용되고 있다. 기존의 모니터링 프레임워크는 고도 변화로 인해 대상이 큰 스케일 변동을 겪을 때 탐지 일관성을 유지하는 데 어려움을 겪는 경우가 많아, 중요한 정보 공백이 발생한다. 이 문제를 해결하기 위해 본 연구는 무선 실시간 드론 영상 피드를 통해 대상을 탐지하는 통합 실시간 탐지 파이프라인을 제안한다. YOLOv8-nano 아키텍처를 기반으로 다양한 비행 고도에서의 탐지 성능을 파악하기 위해 광범위한 비행 실험을 수행하였다. VisDrone2019 데이터셋으로 학습한 YOLOv8-nano 모델은 정밀도, 재현율, mAP, mAP50:95에서 각각 57.4%, 41%, 44.8%, 20.3%를 달성하였다. 실제 환경에서의 시연을 통해, 해당 알고리즘은 16~25미터 고도 구간에서 거의 완전한 탐지 신뢰도를 달성하며 탐지 프레임 레이트가 지속적으로 41 FPS 이상을 유지하고 최대 50 FPS에 도달함이 확인되었다. 본 연구의 목표는 무선 전송을 통해 항공 플랫폼에서 실시간 사람 탐지를 가능하게 하는 것이다. 이 접근 방식은 다양한 스케일의 대상 식별과 항공 관측 중 근사 정확한 위치 추정이라는 이중 과제를 효과적으로 해결한다.
오픈-어휘 탐지에서의 신뢰도 점수는 스케일과 의미론의 바이어스된 혼합이다
Confidence Scores in Open-Vocabulary Detection Are a Biased Mixture of Scale and Semantics
CLIP과 같은 파운데이션 모델(foundation model)은 비전-언어(vision-language) 유사도를 통해 새로운 카테고리로 일반화하는 오픈-어휘(open-vocabulary) 객체 탐지기를 가능하게 했다. 그러나 이러한 탐지기가 생성하는 신뢰도 점수는 신뢰할 수 있는 위치화 확률 추정값이 아니다: 시각적 스케일과 의미론적 쿼리 특이성이 실제 탐지 신호와 혼재되기 때문이다. 세 가지 파운데이션 모델 기반 탐지기(GroundingDINO, OWL-ViT, YOLO-World)를 대상으로 COCO에서 수행한 통제 실험과, GroundingDINO를 사용하여 LVIS(1,203개 카테고리)에서 스케일 바이어스 결과를 추가로 재현한 실험을 통해, s=cos(v,t)가 두 가지 효과의 바이어스된 혼합임을 보인다. 스케일 바이어스(alpha = +0.064, r = 0.579, p = 1.29 x 10^-58)는 큰 객체에 대한 점수를 체계적으로 부풀린다. 의미론적 바이어스(beta = -0.705, p = 5.23 x 10^-41)는 일반적인 쿼리에 대한 점수를 억제한다. 두 바이어스 모두 CLIP의 이미지 수준 사전학습으로 인해 구조적으로 불가피하다. 임계값 조정으로는 이를 제거할 수 없다: 오라클(oracle) 스케일별 임계값 조정은 작은 객체에서 Delta F1 = +0.001, 큰 객체에서 +0.102를 산출한다. 매개변수 없는 온도 스케일링(temperature scaling) 보정은 재학습 없이 소형 객체의 Recall@10을 19.6%(p < 0.01) 향상시킨다. 다만 이는 풀링된 랭킹 정밀도에 적지만 측정 가능한 비용을 수반하므로, 바이어스는 추론 시점에 부분적으로만 역전될 뿐 완전히 제거되지는 않는다. 이러한 발견은 이미지 수준 파운데이션 모델을 영역 수준 탐지 태스크에 적용하는 것의 근본적인 한계를 드러낸다.
MicroCharNet: 번호판 문자 검출을 위한 경량화 접근법
MicroCharNet: Less is More for License Plate Character Detection
번호판 문자 검출은 지능형 교통 시스템의 핵심 구성 요소로, 실시간 배포를 위해 높은 정확도와 연산 효율성이 요구된다. 최근 심층 학습(deep learning) 기반 방법들이 검출 성능을 크게 향상시켰으나, 높은 정확도를 달성하는 모델(model) 대부분은 대규모 아키텍처에 의존하여 상당한 연산 오버헤드를 수반하며, 이로 인해 자원이 제한된 디바이스에서의 적용이 어렵다. 본 논문에서는 번호판 문자 검출에 특화된 초경량 모델인 MicroCharNet을 제안한다. 제안된 아키텍처는 C2f 블록으로 구성된 소형 백본을 채택하고, CoordAtt 모듈을 통합하여 공간 정보를 보존하면서 특징(feature) 추출 성능을 향상시킨다. 경량화된 C3k2 기반 넥(neck)이 다중 레벨 특징을 융합하며, 이후 단일 레벨 앵커 프리 검출 헤드를 통해 엔드투엔드 예측이 가능하다. UFPR-ALPR 데이터셋(dataset)에서 수행된 실험 결과, MicroCharNet은 0.08M 파라미터와 0.096 GFLOPs만으로 경쟁력 있는 검출 정확도를 달성하며, 최근의 여러 YOLO 기반 베이스라인을 능가하는 성능을 보인다. 하드웨어 수준의 평가(evaluation)를 통해 에지 디바이스에서의 실시간 배포 효율성도 확인되었다. 이러한 결과는 신중하게 설계된 초경량 아키텍처가 번호판 문자 검출에서 정확도와 효율성의 균형을 효과적으로 달성할 수 있음을 보여준다. 소스 코드는 https://github.com/chequanghuy/MicroCharNet에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.