TomaMMU: 토마토 잎 질병을 위한 종합적인 멀티모달 이해 벤치마크
TomaMMU: A Comprehensive Multimodal Understanding Benchmark for Tomato Leaf Diseases
한국어 초록
이러한 격차를 해결하기 위해, 우리는 토마토 질병 이해에 대한 비전-언어 모델(VLM)을 평가하기 위한 벤치마크인 TomaBench와 함께 대규모 토마토 잎 질병 멀티모달 이해 데이터셋인 TomaMMU를 소개한다. TomaMMU는 15개 범주에 걸친 28,808개의 고품질 이미지와 데이터 수집(Data Collection), 인적 주석 작업(Human Annotation), 질의응답 생성(Question-Answer Generation)으로 구성된 3단계 파이프라인을 통해 생성된 213,119개의 사람이 주석을 단 시각적 질의응답 쌍으로 구성된다. 이러한 기반을 바탕으로 TomaBench는 기본 인지(Basic Perception), 병리학적 이해(Pathology Understanding), 전문가 진단(Expert Diagnosis)에 걸친 계층적 3단계 분류 체계로 7개의 농업 과업을 구성하며, 이는 저수준 시각 인식부터 고수준 진단 추론까지 체계적인 평가를 가능하게 한다. 이 과업들은 시각적 증상 인식, 분류학적 관계, 진단 추론을 평가하여 모델이 식물 병리학을 얼마나 잘 파악하는지에 대한 종합적인 관점을 제공한다. 14개의 최첨단 VLM을 대상으로 한 실험 결과, 미세 인식(fine-grained recognition) 및 사실 기반 추론에서 뚜렷한 격차가 드러났으며, 고난도 객관식 질문(MCQ)과 개방형 질문 모두에서 일관되게 저조한 성능을 보였다. 이러한 결과는 현재의 VLM이 시각적 인식을 신뢰할 수 있는 진단 지식으로 변환하는 데 어려움을 겪고 있음을 시사하며, 특정 도메인 적응의 필요성을 촉구한다. TomaMMU를 사용한 단순한 미세조정만으로도 이러한 격차를 크게 좁혀 난도 높은 MCQ의 정확도를 96.09%로 높였으며, 최근 VLM들을 능가하고 향후 연구를 위한 유망한 방향을 제시한다. 모든 데이터와 코드는 https://huggingface.co/datasets/enalis/TomaMMU 에서 제공된다.
원문 초록
To address this gap, we introduce TomaMMU, a large-scale Tomato leaf disease MultiModal Understanding dataset, alongside TomaBench, a benchmark for evaluating VLMs on tomato disease understanding. TomaMMU comprises 28,808 high-quality images spanning 15 categories and 213,119 human-annotated visual question-answer pairs, generated through a three-stage pipeline comprising Data Collection, Human Annotation, and Question-Answer Generation. Building on this foundation, TomaBench organizes seven agricultural tasks into a hierarchical three-level taxonomy spanning Basic Perception, Pathology Understanding, and Expert Diagnosis, which together enable systematic evaluation from low-level visual recognition to high-level diagnostic reasoning. The tasks assess visual symptom recognition, taxonomic relationships, and diagnostic reasoning, offering a comprehensive view of how well models grasp plant pathology. Our results pronounced gaps in fine-grained recognition and factually grounded reasoning with 14 state-of-the-art VLMs, consistently underperforming on both challenging MCQs and open-ended questions. These results suggest that current VLMs struggle to translate visual perception into reliable diagnostic knowledge, motivating the need for targeted domain adaptation. Simple fine-tuning on TomaMMU substantially narrows this gap, boosting accuracy on challenging MCQs to 96.09%, outperforming recent VLMs, and pointing toward promising directions for future work. All data and code is available in https://huggingface.co/datasets/enalis/TomaMMU.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.08727v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.