자원 제약 농업 현장 조건에서 온디바이스 식물 병해 탐지를 위한 경량 비전 트랜스포머 압축
Lightweight Vision Transformer Compression for On-Device Plant Disease Detection in Resource-Constrained Agricultural Field Conditions
한국어 초록
고추(Capsicum annuum)는 인도에서 경제적으로 가장 중요한 작물 중 하나이지만, 생산성은 전문가 개입 없이는 식별하기 어려운 병해로 지속적으로 위협받는다. 비전 트랜스포머(ViT)는 높은 분류 정확도를 달성했으나, 계산 부담이 커 자원이 제한된 장치에 배포하기 어렵다. 기존 압축 접근법은 일반적으로 가지치기, 양자화, 지식 증류를 각각 따로 다루어, 이를 결합했을 때의 잠재적 이점과 상호작용을 충분히 탐구하지 못했다. 우리는 2차 민감도 추정에 기반한 Hessian-Balanced Adaptive Block Pruning(H-BAC)을 양자화 및 어텐션 기반 지식 증류와 결합한 통합 비전 트랜스포머 압축 프레임워크를 제안한다. 각 압축 계열 내에서 가장 효과적인 구성을 체계적으로 찾기 위해, 각 기법을 통제된 ablation 연구를 통해 먼저 독립적으로 평가한 뒤, 성능이 가장 좋은 구성 요소를 실제 농업 제약에 맞춘 순차 배포 파이프라인에 통합한다. 고추 3클래스 village-split 데이터셋과 진정한 마을 간·기기 간 분포 외(OOD) 테스트 분할에서, 결과 압축 모델은 FP32 기준선 95.13% 정확도와 동등하거나 이를 초과하며, 모델 크기는 74–98% 감소한다. 완전히 통합된 압축 파이프라인은 네 가지 테스트 구성에서 95.13 ± 2.32% 정확도로 54.5배 크기 감소(327.42 MB에서 6.01 MB)를 달성한다. 직접 비교 결과, 이 데이터셋에서 가지치기나 증류 없이 동일한 최종 크기로 직접 학습한 student 모델은 동일한 6.01 MB INT8 크기에서 94.87%에 필적하는 정확도에 도달하며, H-BAC와 지식 증류가 계산 비용을 정당화하는 경우와 아직 그렇게 보이지 않는 경우를 보여준다.
원문 초록
Chilli (Capsicum annuum) is one of India's most economically significant crops, yet its productivity is persistently threatened by diseases that are difficult to identify without expert intervention. While Vision Transformers (ViTs) have achieved high classification accuracy, their large computational footprint makes deployment on resource constrained devices challenging. Existing compression approaches typically address pruning, quantization, and knowledge distillation in isolation, leaving the potential benefits and interactions of their combined application insufficiently explored. We propose a unified Vision Transformer compression framework that combines Hessian-Balanced Adaptive Block Pruning (H-BAC), guided by second-order sensitivity estimation, with quantization and attention-based knowledge distillation. To systematically identify the most effective configuration within each compression family, each technique is first evaluated independently through controlled ablation studies, after which the best-performing components are integrated into a sequential deployment pipeline tailored to real-world agricultural constraints. On a chilli 3-class village-split dataset with a genuine cross-village, cross-device out-of-distribution test split, the resulting compressed models match or exceed the 95.13% FP32 baseline's accuracy, alongside 74-98% model size reduction, and the fully integrated compression pipeline achieves a 54.5x size reduction (327.42 MB to 6.01 MB) at 95.13 +/- 2.32% accuracy across four tested configurations. A direct comparison further reveals that, on this dataset, a directly-trained student of the same final size, without pruning or distillation, reaches comparable accuracy of 94.87%, at the same 6.01 MB INT8 size, indicating where H-BAC and knowledge distillation are, and are not yet shown to be, worth their computational cost.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.05334v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.