YolovN-CBi: 소형 무인 항공기(UAV)의 실시간 검출을 위한 경량화되고 효율적인 아키텍처
YolovN-CBi: A Lightweight and Efficient Architecture for Real-Time Detection of Small UAVs
한국어 초록
흔히 드론으로 알려진 무인 항공기(UAV)는 민간 및 국방 환경에서 증가하는 위험을 초래하고 있어, 정확하고 실시간으로 작동하는 드론 검출 시스템이 요구됩니다. 그러나 드론은 크기가 작고 움직임이 빠르며 시각적 대비가 낮아 검출하기 어렵습니다. 본 논문에서는 소형 객체 검출에 대한 민감도를 향상시키기 위해 Convolutional Block Attention Module(CBAM)과 Bidirectional Feature Pyramid Network(BiFPN)을 통합한 YolovN의 수정된 아키텍처인 YolovN-CBi를 제안합니다. 다양한 비행 물체로 구성된 28,000장의 엄선된 학습(training) 데이터셋(dataset)을 구축하였으며, 매우 작은 드론 객체로 구성된 2,500장의 자체 테스트 데이터셋을 수집했습니다. 제안된 아키텍처는 자체 테스트 데이터셋을 포함한 4개의 벤치마크 데이터셋에서 평가(evaluation)되었습니다. 기준선(baseline)인 Yolov5와 제안된 Yolov5-CBi 아키텍처는 소형 객체 검출을 위한 속도-정확도 트레이드오프에서 Yolov8 및 Yolov12를 포함한 최신 YOLO 버전들보다 우수한 성능을 보였습니다. 또한 CBAM과 BiFPN의 배치 및 활용 방식을 달리한 제안된 CBi 아키텍처의 다른 네 가지 변형도 제안 및 평가되었습니다. 이러한 변형들은 Yolov5m-CBi 교사 모델(teacher)과 Yolov5n-CBi 학생 모델(student)을 활용하는 지식 증류(knowledge distillation) 기법을 통해 엣지 배포(edge deployment)에 적합하도록 추가로 증류되었습니다. 지식 증류된 모델은 0.6573의 [email omitted]:0.9를 달성하여 교사 모델의 점수 0.6171 대비 6.51% 향상을 보여주었으며, 증류 과정의 효과성을 입증했습니다. 증류된 모델은 기준선 모델보다 82.9% 더 빨라 실시간 드론 검출에 더욱 적합합니다. 이러한 연구 결과는 제안된 CBi 아키텍처와 증류된 경량 모델이 소형 UAV의 효율적이고 정확한 실시간 검출을 발전시키는 데 효과적임을 강조합니다.
원문 초록
Unmanned Aerial Vehicles, commonly known as, drones pose increasing risks in civilian and defense settings, demanding accurate and real-time drone detection systems. However, detecting drones is challenging because of their small size, rapid movement, and low visual contrast. A modified architecture of YolovN called the YolovN-CBi is proposed that incorporates the Convolutional Block Attention Module (CBAM) and the Bidirectional Feature Pyramid Network (BiFPN) to improve sensitivity to small object detections. A curated training dataset consisting of 28K images is created with various flying objects and a local test dataset is collected with 2500 images consisting of very small drone objects. The proposed architecture is evaluated on four benchmark datasets, along with the local test dataset. The baseline Yolov5 and the proposed Yolov5-CBi architecture outperform newer Yolo versions, including Yolov8 and Yolov12, in the speed-accuracy trade-off for small object detection. Four other variants of the proposed CBi architecture are also proposed and evaluated, which vary in the placement and usage of CBAM and BiFPN. These variants are further distilled using knowledge distillation techniques for edge deployment, using a Yolov5m-CBi teacher and a Yolov5n-CBi student. The distilled model achieved a [email omitted]:0.9 of 0.6573, representing a 6.51% improvement over the teacher's score of 0.6171, highlighting the effectiveness of the distillation process. The distilled model is 82.9% faster than the baseline model, making it more suitable for real-time drone detection. These findings highlight the effectiveness of the proposed CBi architecture, together with the distilled lightweight models in advancing efficient and accurate real-time detection of small UAVs.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2512.18046v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
온보드 데이터 감축을 위한 임베디드 양방향 시계열 건물 피해 평가
Embedded Bi-Temporal Building Damage Assessment for On-Board Data Reduction
자연재해 발생 후 신속한 건물 피해 평가는 비상 대응을 지원하는 데 필수적입니다. 지구 관측(Earth Observation) 위성은 재해 직후 관련 영상을 획득할 수 있으나, 업링크 및 다운링크 용량과 지상 처리 지연 시간으로 인해 활용에 한계가 있습니다. 본 연구에서는 지상/우주 링크의 양단에서 정보를 압축하도록 설계된, YOLOX 기반의 샴 탐지기(siamese detector)로 구축된 양방향 시계열(bi-temporal) 건물 피해 평가 파이프라인을 통해 이 문제를 해결합니다. 지상에서는 재해 전 참조 이미지를 최대 64배까지 압축된 컴팩트한 잠재 공간(latent space)으로 인코딩하여 위성으로 업링크합니다. 온보드(on-board) 환경에서는 이 참조 이미지를 새로 획득한 재해 후 영상과 비교하여 다운링크가 전체 장면 대신 실행 가능한 객체 수준 결과물인 바운딩 박스와 피해 클래스만을 전송하도록 합니다. 이를 통해 양방향으로 교환되는 데이터가 절감되며, xBD 데이터셋에서 강력하게 압축된 참조 이미지를 사용하더라도 대부분의 탐지 성능을 유지합니다. 또한 온보드 획득 영상은 재해 전/후 간 잔차 동시 정합(co-registration) 오류가 발생하기 쉬우므로, 거친 특징 수준에서 전역 오프셋을 회귀하고 융합 전에 재해 후 특징을 재정렬하는 잠재 공간 이동 추정 및 보정 모듈을 도입합니다. 이 모듈은 특히 융합 전용 변형 모델들이 붕괴하는 큰 이동 상황에서 비정합에 대한 강건성을 크게 향상시키는 동시에 공칭 정확도를 높이고 가장 강력한 압축과도 호환성을 유지합니다. 마지막으로 이 파이프라인을 두 가지 임베디드 타깃인 Xilinx Versal VCK190과 NVIDIA Jetson AGX Orin에 포팅하고 하드웨어 성능(지연 시간, 처리량, 전력 효율성)을 보고합니다. 핵심 탐지기 및 압축 모듈은 두 타깃 모두에 깔끔하게 포팅되지만, 장거리 강건성에 필요한 연산자는 Jetson GPU에서만 실행 가능하며 Versal DPU에서는 지원되지 않습니다.
SmolWAM: 엣지 디바이스 로봇 조작을 위한 잠재 월드-액션 모델
SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices
하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기
Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models
학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.
위치뿐만 아니라 존재 여부도 파악하기: 열린 집합 원격 탐사 시각적 그라운딩을 위한 앵커 탐침 지식 증류
Knowing Whether, Not Just Where: Anchor-Probing Distillation for Open-Set Remote Sensing Visual Grounding
원격 탐사(remote sensing)에서의 열린 집합(open-set) 시각적 그라운딩(visual grounding)은 질의된 객체가 어디에 위치하는지뿐만 아니라, 영상이 해당 질의에 대한 충분한 근거를 전혀 제공하지 않는지 여부까지 모델이 판단하도록 요구합니다. 그러나 기존의 닫힌 집합(closed-set) 그라운딩 모델은 존재하지 않는 객체에 대해서도 그럴듯한 경계 상자(bounding box)를 반환하는 경향이 있어, 위치 추정(localization) 신뢰도와 진정한 시각적 지지(Visual Support)를 모호하게 만듭니다. 본 논문에서는 열린 집합 그라운딩을 시각적 지지 학습으로 재구성하는 교사-학생(teacher-student) 프레임워크인 AnchorProbe-Distill(APD)을 소개합니다. APD는 지지되는 질의는 일관된 공간적 앵커(spatial anchor)를 유도해야 하는 반면, 지지되지 않거나 불일치하는 질의는 불안정하거나 오해의 소지가 있는 위치 추정 패턴을 생성하는 경향이 있다는 통찰에 기반합니다. 이에 따라 APD-T는 원래 질의(Original Query)를 기준 앵커(Reference Anchor)로 사용하여 질의 섭동(query perturbation)을 해석합니다. 즉 의미 보존 질의(Semantic-Preserving Queries)는 어노테이션된 타깃을 유지하고, 인접 범주 모호 질의(Near-Category Ambiguous Queries)는 신뢰할 수 있는 대안 앵커를 형성하는지 혹은 기준 앵커로 축퇴되는지에 따라 해결되며, 원거리 범주 반사실적 질의(Far-Category Counterfactual Queries)는 거부(rejection) 감독 신호를 제공합니다. 이러한 기준 인식 추론은 APD-S로 지식 증류(distillation)되어, 단일 영상-질의 쌍으로부터 통합된 위치 추정 및 거부를 가능하게 합니다. 실험 결과, APD를 통해 도출된 모델은 부재한 타깃을 거부하는 동시에 존재하는 타깃의 위치 추정 성능도 향상시킴을 보여줍니다.
의료 영상을 위한 변분 위험 최소화 기반 신뢰도 게이팅 클라우드-엣지 캐스케이드 분류
Confidence-Gated Cloud-Edge Cascade Triage via Variational Risk Minimization for Medical Imaging
응급 흉부 X선(CXR) 중증도 분류(triage)에는 구조적인 모달리티 격차가 존재합니다. 즉 판독문은 분류 결정 이후에 도착하지만, 멀티모달 파운데이션 모델은 영상-텍스트 입력을 모두 필요로 합니다. 본 논문에서는 대규모 비전-언어 모델(LVLM)이 생성한 판독문 변형들을 잠재적 임상 해석의 몬테카를로(Monte Carlo) 샘플로 취급하는 지식 증류(distillation) 프레임워크인 변분 위험 최소화(Variational Risk Minimization, VRM)를 제안합니다. 단일 교사 모델의 타깃으로부터 증류하는 대신, VRM은 변분적으로 한계화된(variationally marginalized) 교사 분포로부터 학습하여 모달리티 누락 제약 조건 하에서도 불확실성을 인식하는 감독(uncertainty-aware supervision)을 가능하게 합니다. 동일한 인코더 패밀리 조건에서, VRM은 직접적인 미세조정 베이스라인보다 우수한 성능을 보이며 환각(hallucination) 감독으로부터 강력한 복원력을 보여 캘리브레이션을 개선합니다. 한계화된 감독은 판독문 선택의 불안정성을 완화합니다. 소형 엣지-학생 모델 구현에서, 신뢰도 게이팅 캐스케이드는 20.3%의 클라우드 이관율과 평균 103ms의 지연 시간으로 AUC 0.941을 달성하여, 클라우드-엣지 임상 워크플로우를 위한 명시적인 신뢰성-지연 시간 운용점을 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.