상업 과수원에서 조기 단계 해부학적 청과 분류를 위한 경량 다중모달 비전-언어 프레임워크
A Lightweight Multimodal Vision-Language Framework for Early-Stage Anatomical Green Fruit Classification in Commercial Orchards
한국어 초록
로봇 적화, 작물 부하 관리, 기타 정밀 과수원 작업을 위해 calyx(과받침), 소과 본체, peduncle(과경) 등 조기 단계 사과 소과의 해부학적 구조를 정확히 식별하는 것은 필수적이다. 본 연구는 복잡한 과수원 환경에서 세밀한 소과 해부학 분류를 위해 TinyCLIP을 적용한 경량 다중모달 비전-언어 프레임워크를 제안한다. Scilate 및 Scifresh 사과 과수원에서 수집한 600장의 고해상도 RGB 이미지 데이터셋을 224×224 이미지 패치로 변환하고 세 가지 해부학적 클래스에 대해 주석을 부여했다. ``a photo of a class,''와 같은 도메인 특화 언어 프롬프트를 사용하여 과수원 영상과 원예학적 구조 간의 다중모달 정렬(alignment)을 유도했다. stride 112픽셀의 슬라이딩 윈도우 추론 전략으로 패치 수준 예측을 공간 히트맵에 집계하여, 로봇 적화에 관련된 소과 구성요소의 해석 가능한 전체 이미지 국소화를 가능하게 한다. NVIDIA T4 GPU에서 패치 수준 평가 결과, calyx·소과·peduncle에 대한 F1 점수는 각각 0.95, 0.98, 0.85였으며 macro-F1은 0.93이었다. 배포 지향 최적화를 위해 ONNX와 TensorRT를 사용하여 NVIDIA Jetson 하드웨어에서 효율적인 추론을 가능하게 했고, INT8 양자화에서도 정확도를 유지했으며, 약 127–137MB 규모의 모델로 밀리초 단위의 패치 추론을 지원했다. 이 결과는 경량 비전-언어 모델이 자동화된 소과 분석 및 향후 로봇 적화 시스템을 위한 해석 가능하고 엣지 배포 가능한 지각(perception)을 제공할 수 있음을 보여준다. 소스 코드와 구현 세부사항은 https://github.com/WilliamBu1/A-Lightweight-Vision-Language-Model-for-Early-Stage-Fruitlet-Classification-in-Apple-Orchards 에서 공개적으로 제공된다.
원문 초록
Accurate identification of early-stage apple fruitlet anatomical structures, including the calyx, fruitlet body, and peduncle, is essential for robotic thinning, crop-load management, and other precision orchard operations. This study presents a lightweight multimodal vision-language framework that adapts TinyCLIP for fine-grained fruitlet anatomy classification in complex orchard environments. A dataset of 600 high-resolution RGB images collected from Scilate and Scifresh apple orchards was converted into 224 x 224 image patches and annotated for three anatomical classes. Domain-specific language prompts, such as ``a photo of a class,'' were used to guide multimodal alignment between orchard imagery and horticultural structures. A sliding-window inference strategy with a stride of 112 pixels aggregates patch-level predictions into spatial heatmaps, enabling interpretable whole-image localization of fruitlet components relevant to robotic thinning. Patch-level evaluation on an NVIDIA T4 GPU achieved F1-scores of 0.95 for calyx, 0.98 for fruitlet, and 0.85 for peduncle, with a macro-F1 score of 0.93. Deployment-oriented optimization using ONNX and TensorRT enabled efficient inference on NVIDIA Jetson hardware, preserved accuracy under INT8 quantization, and supported model sizes of approximately 127-137 MB with millisecond-level patch inference. These results demonstrate that lightweight vision-language models can provide interpretable and edge-deployable perception for automated fruitlet analysis and future robotic thinning systems. The source code and implementation details are publicly available at https://github.com/WilliamBu1/A-Lightweight-Vision-Language-Model-for-Early-Stage-Fruitlet-Classification-in-Apple-Orchards.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.24935v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.