오픈셋(open-set) 곤충 종 인식은 실제 생물다양성 시나리오에 적용될 때, 특히 학습(training)에 사용된 기지(known) 클래스와 시각적으로 매우 유사한 미지(unknown) 종을 마주할 경우 심각한 어려움에 직면합니다. 일반적인 분포 외(OOD, out-of-distribution) 샘플과 달리, 세밀한(fine-grained) 미지 곤충은 시각적으로 이상 징후를 보이지 않는 경우가 많습니다. 대신 특정 기지 종의 결정 경계(decision boundary) 근처에 나타나는 경향이 있어 신뢰할 수 없는 닫힌 집합(closed-set) 예측을 초래합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 미지성을 단일 글로벌 미지 클래스로 다루는 대신 각 기지 종 주변에서 모델링하는 새로운 증거 기반 프레임워크인 Class-conditioned Unknown Boundary Evidence(CUBE)를 제안합니다. 우리의 핵심 아이디어는 테스트 샘플을 가장 유사한 기지 종과 비교하여 평가함으로써, 시각적으로 혼동하기 쉬운 미지 곤충에 대한 국소적 거부(local rejection)를 가능하게 하는 것입니다. CUBE는 보조 종(auxiliary species)으로부터 클래스 조건부 경계 증거를 학습하고, 추론(inference) 중에는 보조 종을 섀도우 레퍼런스(shadow reference)로 보존하며, 생물학적 타당성을 검증하기 위해 분류학적 후보 보정(taxonomic candidate calibration)을 통합합니다. 생태학적 메타데이터를 사용할 수 있는 경우, 시각 백본을 수정하지 않고 경량의 위치 일관성(location-consistency) 항을 추가하는 CUBE-E를 추가로 도입합니다. Open-Insect C-America 벤치마크 실험 결과, CUBE는 94.9%의 닫힌 집합 정확도를 유지하면서 국소(local), 비국소(non-local), 비나방(non-moth) 미지 분할에서 각각 95.8%, 98.7%, 99.1%의 AUROC로 최첨단(SOTA) 베이스라인을 능가하는 우수한 성능을 달성함을 보여줍니다. 생태학적 메타데이터를 활용한 CUBE-E는 이를 더욱 향상시켜 95.2%의 닫힌 집합 정확도와 함께 96.0%, 99.7%, 99.5%의 AUROC를 기록합니다.
Camera traps are vital for large-scale biodiversity monitoring, yet accurate automated analysis remains challenging due to diverse deployment environments. While the computer vision community has mostly framed this challenge as cross-domain generalization, this perspective overlooks a primary challenge faced by ecological practitioners: maintaining reliable recognition at the fixed site over time, where the dynamic nature of ecosystems introduces profound temporal shifts in both background and animal distributions. To bridge this gap, we present the first unified study of camera-trap species recognition over time. We introduce a realistic benchmark comprising 546 camera traps with a streaming protocol that evaluates models over chronologically ordered intervals. Our end-user-centric study yields four key findings. (1) Biological foundation models (e.g., BioCLIP 2) underperform at numerous sites even in initial intervals, underscoring the necessity of site-specific adaptation. (2) Adaptation is challenging under realistic evaluation: when models are updated using past data and evaluated on future intervals (mirrors real deployment lifecycles), naive adaptation can even degrade below zero-shot performance. (3) We identify two drivers of this difficulty: severe class imbalance and pronounced temporal shift in both species distribution and backgrounds between consecutive intervals. (4) We find that effective integration of model-update and post-processing techniques can largely improve accuracy, though a gap from the upper bounds remains. Finally, we highlight critical open questions, such as predicting when zero-shot models will succeed at a new site and determining whether/when model updates are necessary. Our benchmark and analysis provide actionable deployment guidelines for ecological practitioners while establishing new directions for future research in vision and machine learning.
시각적 종 인식(Visual Species Recognition, VSR)은 생태학, 매분학, 진화생물학, 계통분류학, 계통발생학 등 종 수준 식별이 필요한 과학 분야에서 기본적인 과제이다. 머신러닝을 통해 VSR을 자동화하면 이러한 연구를 크게 가속할 수 있다. 그러나 종 수준 주석(annotation)에는 광범위한 도메인 전문 지식이 필요하여 대규모 라벨 데이터셋을 확보하기 어렵다. 따라서 소수의 라벨 예시만으로 전문가 모델을 학습하는 퓨샷 학습(few-shot learning, FSL)이 실용적인 패러다임이다. 한편 대규모 멀티모달 모델(Large Multimodal Models, LMM)은 전례 없는 제로샷(zero-shot) 시각 인식 능력을 보여주었으며, 이들이 VSR을 위한 FSL 전문가 모델의 대안이 될 수 있는지가 문제로 제기된다. 본 연구는 FSL 전문가 모델과 LMM 간의 체계적 비교로 시작하며, 고급 프롬프팅 전략을 사용했음에도 현대 LMM이 FSL 전문가 모델보다 성능이 현저히 낮다는 것을 밝힌다. 흥미롭게도 LMM은 상보적인 강점을 가지고 있음을 발견한다. 전문가 모델이 생성한 후보 종 단축 목록과 이미지가 주어지면, 전문가 모델의 최상위 예측이 틀렸을 때 LMM이 종종 올바른 레이블을 복구할 수 있다. 이에 영감을 받아 우리는 학습이 필요 없는 단순한 프레임워크인 사후 교정(Post-hoc Correction, POC)을 제안한다. POC는 LMM을 활용해 전문가 모델의 최상위 예측을 후처리한다. 우리는 멀티모달 프롬프팅 전략을 개발하여 POC가 다섯 개의 VSR 벤치마크에 걸쳐 평균 6.4 정확도 포인트만큼 FSL 전문가 모델을 개선하도록 한다. POC는 다양한 FSL 방법, 시각 인코더, LMM에 걸쳐 일반화되며, VSR을 위한 실용적이고 효과적인 프레임워크임을 보인다.