arXiv:2609.24064v1 cs.CV

종 다양성이 높고 데이터가 부족한 식물상에서 세분화된 난초 속 식별을 위한 비전 트랜스포머 대 합성곱 신경망: 뉴기니 난초과에 대한 통제된 벤치마크

Vision Transformers versus convolutional neural networks for fine-grained orchid genus identification in a species-rich, data-poor flora: a controlled benchmark on the Orchidaceae of New Guinea

Reza Saputra, Diah Harnoni Apriyanti, Andr\'e Schuiteman, Kurt Metzger, Ashley Field, Katharina Nargar, William Edwards

제출 2026-09-22

한국어 초록

뉴기니는 세계에서 가장 풍부한 섬 식물상(난초 약 2,856종)을 보유하고 있지만, 대부분의 종은 소수의 사진으로만 대표되며, 이는 종 수준의 직접 분류에 필요한 것보다 훨씬 적다. 이처럼 종 다양성은 높지만 데이터가 부족한 식물상에서 세분화된 식별(fine-grained identification)을 위한 방법이 필요하지만, 어떤 백본(backbone) 아키텍처와 사전학습(pretraining) 전략이 이를 가장 잘 뒷받침하는지는 아직 명확하지 않다. 우리는 먼저 쿼리 사진의 속(genus)을 예측한 다음, FAISS를 이용해 후보 종의 시각적으로 유사한 참조 이미지를 검색하는 2단계 시스템을 구축했다. 우리는 사전학습된 네 가지 백본 -- 두 개의 비전 트랜스포머(Vision Transformer, ViT; DINOv2, BioCLIP 2)와 두 개의 CNN(ConvNeXt V2-L, EfficientNetV2-L) -- 을 120개 속과 1,350개 종에 걸친 16,701장의 사진으로 구성된, 종 층화(species-stratified)된 고정 분할 데이터셋에서 동일한 프로토콜로 파인튜닝(fine-tuning)하여 비교했으며, 정확도, 보정(calibration), 오류 구조, 종 검색(retrieval), 그리고 새로운 속에 대한 오픈셋(open-set) 탐지를 평가했다. DINOv2가 가장 우수한 속 수준 성능을 달성했다(매크로 top-1 66.9%, 95% 신뢰구간 63.7-70.6; 전역 top-1 88.9%). 두 ViT 모두 두 CNN보다 우수한 성능을 보였으며, 범용 자기지도학습(self-supervised) 사전학습(DINOv2)이 도메인에 특화된 생물학적 사전학습(BioCLIP 2)보다 매크로 top-1 기준 7.1점 더 높은 성능을 보였다. 오류는 오류 유인체(error attractor) 역할을 하는 두 개의 개체수가 많은 속에 집중되었다. DINOv2 임베딩(embedding)은 종 수준 재현율(Recall@5) 86.6%와 속 수준 재현율(Recall@5) 98.7%를 달성했으며, 온도 스케일링(temperature scaling)은 모든 백본의 기대 보정 오차(Expected Calibration Error)를 약 0.03까지 감소시켰다. 또한 거리 기반 오픈셋 게이트는 보지 못한 속을 탐지해냈다(평균 AUROC 0.958). 임베딩 검색과 결합된 자기지도학습 비전 트랜스포머 백본은 종 다양성이 높고 데이터가 부족한 식물상에서 세분화된 식별을 위한 효과적이고 실용적으로 배포 가능한 전략이다. 이 시스템은 공개 웹 애플리케이션(New Guinea Orchid Identifier)으로 공개되었으며, 다른 초다양성(hyperdiverse)의 미문서화된 분류군에도 적용 가능한 실용적인 템플릿을 제공한다.

원문 초록

New Guinea is the world's richest island flora (~2,856 orchid species), yet most species are represented by only a handful of photographs, far fewer than direct species-level classification requires. Methods for fine-grained identification in such species-rich, data-poor floras are needed, and it remains unclear which backbone architecture and pretraining strategy best support them. We built a two-stage system that first predicts the genus of a query photograph, then retrieves visually similar reference images of candidate species using FAISS. We compared four pretrained backbones -- two Vision Transformers (ViTs; DINOv2, BioCLIP 2) and two CNNs (ConvNeXt V2-L, EfficientNetV2-L) -- fine-tuned under an identical protocol on a fixed, species-stratified partition of 16,701 photographs spanning 120 genera and 1,350 species, assessing accuracy, calibration, error structure, species retrieval, and open-set detection of novel genera. DINOv2 attained the best genus performance (macro top-1 66.9%, 95% CI 63.7-70.6; global top-1 88.9%); both ViTs outranked both CNNs, and general-purpose self-supervised pretraining (DINOv2) outperformed domain-matched biological pretraining (BioCLIP 2) by 7.1 points of macro top-1. Errors concentrated on two abundant genera acting as error attractors. DINOv2 embeddings achieved species Recall@5 of 86.6% and genus Recall@5 of 98.7%; temperature scaling reduced every backbone's Expected Calibration Error to about 0.03; and a distance-based open-set gate flagged unseen genera (mean AUROC 0.958). A self-supervised Vision-Transformer backbone combined with embedding retrieval is an effective, deployable strategy for fine-grained identification in species-rich, data-poor floras. The system is released as an open web application (the New Guinea Orchid Identifier), offering a practical template for other hyperdiverse, under-documented taxa.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.24064v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13637v1eess.IV공통 태그 Self-Supervised Learning, Image Classification

약하게 주석된 바이오이미징 데이터를 위한 모델 무관 지식 증강 머신러닝

Model-agnostic Knowledge Augmented Machine Learning for Weakly Annotated Bioimaging Data

현미경 및 세포형태학 이미지와 같이 약하게 주석된(weakly annotated) 바이오이미징 데이터로부터 자동 특징 추출을 수행하기 위해 머신러닝 모델의 활용이 점차 증가하고 있습니다. 그러나 자동 특징 추출에만 전적으로 의존하기 때문에, 기존 기법들은 약하게 주석된 데이터셋 전반에서 일관되지 않은 분류 성능을 보입니다. 본 연구에서는 머신러닝 모델이 자동 특징 추출로 포착할 수 있는 범위를 넘어 도메인 지식을 활용할 수 있도록 지원하는 모델 무관(model-agnostic) 지식 증강 기법을 제안합니다. 제안된 접근 방식은 7가지 머신러닝 아키텍처 전반에서 분류 성능을 향상시킵니다. 마스크 오토인코더(MAE) 기반 자기지도학습과 통합했을 때 본 기법은 전반적으로 가장 강력한 성능을 달성하여, 3개의 사내 현미경 데이터셋에서 차순위 방식 대비 정밀도를 2.9% 향상시켰으며 3개의 공개 세포형태학 벤치마크에서는 평균 6.8% 향상시켰습니다. 본 연구에서는 인간 유도만능줄기세포 유래 운동 신경세포에 대한 세 가지 독립적인 현미경 데이터셋을 활용하여, 근위축성 측삭 경화증(ALS)과 연관된 표현형인 핵에서 세포질로의 TAR DNA 결합 단백질 43(TDP-43) 이소(mislocalization) 현상을 기반으로 세포핵 수준의 분류를 수행합니다. 대규모 환경에서 이 표현형을 정확히 정량화하는 것은 여전히 어려우며, 이는 연구 간 불일치를 초래하는 원인이 될 수 있습니다. 성능이 가장 우수한 모델을 이들 현미경 데이터셋에 적용한 결과, 프로테아좀 스트레스원인 MG132와 산화 스트레스원인 아비산나트륨(SA)이 TDP-43 이소에 미치는 농도 의존적 영향, 산발성 및 가족성 ALS 공여자의 운동 신경세포에서 나타나는 다양한 병리 양상, 그리고 약리학 화합물인 에다라본과 니클로사마이드가 SA 유도 TDP-43 이소에 대해 보호 효과를 제공하지 못한다는 점 등을 포함하여 ALS와 관련된 생물학적 해석을 도출했습니다. 종합적으로, 본 파이프라인은 생체 외(in-vitro) 세포 이미지 분석을 가능하게 하여 ALS 관련 병리와 잠재적 치료법에 대한 이해를 증진하는 데 기여합니다.

arXiv:2610.13675v1eess.IV공통 태그 Image Classification, Benchmarking

멀티모달 의사결정 모델이 유방 초음파 이미지를 분류할 수 있는가? 프롬프트와 데이터셋 전반에 걸친 CLEF 및 CLEF-Flash 벤치마킹

Can Multimodal Decision Models Classify Breast Ultrasound Images? Benchmarking CLEF and CLEF-Flash Across Prompts and Datasets

멀티모달 의사결정 모델은 사전에 정의된 대안들에 대한 확률을 반환하여 이미지 분류를 위한 구조화된 인터페이스를 제공한다. 본 연구는 Dataset B, BUSI, BUS-BRA에서 수집한 2818개의 유방 초음파 이미지에 대해 CLEF 및 CLEF-Flash를 사용한 추론을 벤치마킹한다. Dataset B와 BUS-BRA는 이진 양성-악성 분류를 사용하는 반면, BUSI는 정상, 양성, 악성 범주를 포함한다. 모델 파라미터는 변경하지 않은 채 유지되며, 원본 이미지는 사용자 정의 전처리 없이 입력된다. 세 가지 프롬프트는 최소한의 라벨, 명시적인 분류 태스크, 또는 초음파 검사 기준을 제공한다. 본 연구에서는 정확도, 매크로 F1, 균형 정확도, 매크로 정밀도, 처리량, 지연 시간을 보고한다. 임상 프롬프트를 적용한 CLEF-Flash는 세 데이터셋 모두에서 가장 높은 정확도를 달성하여 Dataset B에서 74.85%, BUSI에서 66.28%, BUS-BRA에서 51.63%를 기록했다. 그러나 BUSI에서는 태스크 유도 프롬프트를 적용한 CLEF가 가장 높은 매크로 F1(64.51%)과 균형 정확도(68.72%)를 달성했다. CLEF-Flash는 일치 조건으로 비교한 모든 경우에서 더 낮은 지연 시간을 보였다. 임상 지침 프롬프트는 최소 프롬프트 대비 CLEF-Flash의 정확도를 향상시켰으나, 모든 데이터셋에서 CLEF의 정확도는 감소시켰다. 혼동 행렬을 통해 양성을 악성으로 오분류하는 오류가 빈번함을 확인했으며, 특히 BUS-BRA에서는 모든 구성이 다수 클래스 예측기의 정확도인 67.63%에 미치지 못했다. 이러한 결과는 성능이 데이터셋과 프롬프트에 따라 달라짐을 보여주며, 유방 초음파 분석에 멀티모달 의사결정 모델을 적용하기 전에 클래스별 평가가 선행되어야 함을 시사한다.

arXiv:2610.03193v1cs.CV공통 태그 Image Classification, Benchmarking

연구와 실제 임상의 간극 좁히기: 임상 피부 병변 분류에서 범용 모델과 피부과 특화 모델의 체계적 평가

Bridging Research and Practice: A Systematic Evaluation of Generalist and Dermatology-Specific Models in Clinical Skin Lesion Classification

최근 몇 년 동안 피부과 분야에서의 머신러닝 활용은 개념 증명(PoC) 연구를 넘어 잠재적 응용으로 나아가며 크게 성장했습니다. 그러나 임상 피부과는 여전히 도전적이며 해결되지 않은 문제로 남아 있습니다. 진단적 평가는 모호한 경우가 많고, 피부 병변은 높은 다양성을 보이며, 획득 양식(modality), 기기 품질, 환자 인구통계학적 특성의 차이로 인해 이러한 점이 더욱 복잡해집니다. 이러한 요인들은 안전하고 공평한 임상 적용에 적합한 강건한 모델의 개발을 저해합니다. 실제 임상으로의 전환을 지원하기 위해서는 최신 모델들이 이종 데이터 소스 전반에서 어떻게 일반화되는지 체계적으로 평가하는 것이 필수적입니다. 본 연구에서는 더모스코피(dermoscopic) 이미지와 스마트폰 기반 임상 사진을 아우르는 최신 피부과 데이터셋을 바탕으로 다양한 아키텍처를 벤치마크합니다. 최신 범용 및 의료 비전-언어 모델(VLM)과 파운데이션 모델의 강건성을 평가하고, 이를 임베딩(embedding) 기반 접근법 및 합성곱 신경망(CNN)을 포함한 태스크 특화 피부과 분류기와 비교합니다. 본 연구는 분포 변화(distribution shift), 모달리티 변화, 인구통계학적 다양성 하에서의 모델 성능 평가를 제공합니다. 현재의 최고 성능(SOTA) 모델과 임상 배치 요구 조건 사이의 격차를 정량화함으로써, 피부과를 위한 신뢰할 수 있고 접근 가능하며 임상적으로 적용 가능한 AI 시스템 개발에 기여하고자 합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.