FoveaDet: 객체 탐지를 위한 포비에이티드 CNN-Transformer의 소프트웨어-하드웨어 공동 설계
FoveaDet: Software-Hardware Co-Design of Foveated CNN-Transformer for Object Detection
한국어 초록
전력이 제한된 엣지 플랫폼에서 실시간 객체 탐지를 배포하는 일은 전체 해상도 프레임을 처리하는 것이 계산상 중복인 경우가 많아 어렵다. 본 논문은 시각적 중요도에 따라 가변 해상도를 할당하는 생물학적 포비에이션(foveation)에서 착안하여, FoveaDet이라는 새로운 소프트웨어-하드웨어 공동 설계 프레임워크를 제안한다. 소프트웨어 측면에서 FoveaDet은 중요 영역을 동적으로 식별하여 고정점(fixation point)을 예측하고, 이어서 Vision Transformer(ViT)에서 공격적인 패치 가지치기를 수행하여 관련 없는 배경 데이터를 제거한다. 순차적 패치 생성으로 인한 속도 저하를 완화하기 위해 최적화된 보간 및 패치 선택 알고리즘을 구현하였다. 표준 GPU에서 평가한 결과, 이 포비에이티드 접근법은 부동소수점 연산량을 65.4%에서 92.2%까지 줄이고 추론을 4.76배 가속하면서도, 밀집(dense) 기준 모델 대비 mAP 하락은 무시할 수준이었다. 하드웨어 병목을 해소하기 위해, 포비에이티드 처리 파이프라인을 가속하는 특수 명령어를 갖춘 맞춤형 RISC-V 코어로 알고리즘을 보완하였다. FoveaDet은 극도로 제약된 모바일 플랫폼에서 고급 비전 처리를 가능하게 하는 확장성 있고 효율적인 아키텍처를 제공한다.
원문 초록
Deploying real-time object detection on power-constrained edge platforms is challenging as processing full-resolution frames is often computationally redundant. Inspired by biological foveation which assigns variable resolution based on visual saliency, we propose a novel software-hardware co-design framework called FoveaDet. On the software side, FoveaDet dynamically identifies salient regions to predict fixation points, followed by aggressive patch pruning in Vision Transformers (ViT) to discard irrelevant background data. To mitigate slowdowns from sequential patch generation, we implement optimized interpolation and patch selection algorithms. Evaluated on standard GPUs, this foveated approach reduces floating-point operations by 65.4% to 92.2% and accelerates inference by 4.76x, while suffering a negligible mAP drop compared to dense baselines. To eliminate hardware bottlenecks, we complement the algorithm with a custom RISC-V core featuring specialized instructions to accelerate the foveated processing pipeline. FoveaDet provides a scalable, efficient architecture capable of unlocking advanced vision processing on severely constrained mobile platforms.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.15579v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.