오픈셋(open-set) 곤충 종 인식은 실제 생물다양성 시나리오에 적용될 때, 특히 학습(training)에 사용된 기지(known) 클래스와 시각적으로 매우 유사한 미지(unknown) 종을 마주할 경우 심각한 어려움에 직면합니다. 일반적인 분포 외(OOD, out-of-distribution) 샘플과 달리, 세밀한(fine-grained) 미지 곤충은 시각적으로 이상 징후를 보이지 않는 경우가 많습니다. 대신 특정 기지 종의 결정 경계(decision boundary) 근처에 나타나는 경향이 있어 신뢰할 수 없는 닫힌 집합(closed-set) 예측을 초래합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 미지성을 단일 글로벌 미지 클래스로 다루는 대신 각 기지 종 주변에서 모델링하는 새로운 증거 기반 프레임워크인 Class-conditioned Unknown Boundary Evidence(CUBE)를 제안합니다. 우리의 핵심 아이디어는 테스트 샘플을 가장 유사한 기지 종과 비교하여 평가함으로써, 시각적으로 혼동하기 쉬운 미지 곤충에 대한 국소적 거부(local rejection)를 가능하게 하는 것입니다. CUBE는 보조 종(auxiliary species)으로부터 클래스 조건부 경계 증거를 학습하고, 추론(inference) 중에는 보조 종을 섀도우 레퍼런스(shadow reference)로 보존하며, 생물학적 타당성을 검증하기 위해 분류학적 후보 보정(taxonomic candidate calibration)을 통합합니다. 생태학적 메타데이터를 사용할 수 있는 경우, 시각 백본을 수정하지 않고 경량의 위치 일관성(location-consistency) 항을 추가하는 CUBE-E를 추가로 도입합니다. Open-Insect C-America 벤치마크 실험 결과, CUBE는 94.9%의 닫힌 집합 정확도를 유지하면서 국소(local), 비국소(non-local), 비나방(non-moth) 미지 분할에서 각각 95.8%, 98.7%, 99.1%의 AUROC로 최첨단(SOTA) 베이스라인을 능가하는 우수한 성능을 달성함을 보여줍니다. 생태학적 메타데이터를 활용한 CUBE-E는 이를 더욱 향상시켜 95.2%의 닫힌 집합 정확도와 함께 96.0%, 99.7%, 99.5%의 AUROC를 기록합니다.
열린 집합 인식(Open Set Recognition, OSR)은 모델이 알려진 클래스를 정확하게 분류하는 동시에 보지 못한 클래스의 샘플을 거부할 수 있도록 하는 것을 목표로 합니다. OSR의 핵심 과제는 학습(training) 중 미지의 클래스가 갖는 무한한 분포를 모델링할 수 없다는 점에 있으며, 이는 종종 해당 클래스 샘플들의 오분류로 이어집니다. 미지의 샘플을 직접 모델링하는 대신, 최근 연구들은 알려진 클래스들이 조밀하고 잘 분리되도록 특징(feature) 공간을 형성하며, 구면 표현 학습(spherical representation learning) 방법들이 이러한 방식으로 우수한 성과를 거두었습니다. 라벨 스무딩(label smoothing)은 이러한 성공의 주요 동인 중 하나로 확인되었으나, 각 샘플이 이미 얼마나 잘 임베딩되어 있는지와 관계없이 모든 학습 샘플에 동일한 계수를 적용합니다. 본 논문에서는 OSR에 사용되는 구면 표현 학습 목적 함수들이 라벨이 정렬(alignment) 항을 통해서만 반영되는 단일한 '정렬-균일성(alignment--uniformity)' 구조를 공유함을 보입니다. 따라서 라벨 스무딩은 정렬 다이얼 역할을 하며, 고정된 계수는 모든 샘플에 대해 이 다이얼을 동일한 값으로 설정합니다. 이에 본 논문에서는 샘플 자체의 클래스가 가장 강력한 경쟁 클래스에 비해 얼마나 명확하게 두드러지는지를 측정하는 임베딩(embedding) 공간 신호인 **돌출도(prominence)**에 따라 각 샘플의 스무딩 계수를 설정하는 플러그인인 SmoothOperator(SmoothOP)를 제안합니다. 제안된 방법은 최소한의 학습 오버헤드로 네 가지 기존 구면 표현 학습 방법에 통합됩니다. SmoothOP는 돌출도가 높은 샘플에 강한 스무딩을 할당하여 이들의 정렬을 줄이고 끌어당김을 완화합니다. Semantic Shift Benchmark에서 SmoothOP로 강화된 변형 모델들은 다양한 데이터셋, 의미론적 변화(semantic shift) 정도, OSR 사후 처리기 전반에 걸쳐 기본 목적 함수보다 전반적으로 우수한 성능을 보였으며, AUROC, OSCR 및 닫힌 집합 정확도(closed-set accuracy)에서 최대 4.7%의 향상을 달성했습니다.
우리는 세분 시각 인식을 위한 선택적 이미지 토큰화 방법인 Subtoken Vision Transformer(SubViT)를 제시한다. 표준 Vision Transformer는 각 고정 크기 패치를 단일 토큰으로 압축하지만, 세분 구분은 종종 소수 패치 내의 국소적 변화에 의존한다. SubViT는 전역 컨텍스트를 위해 원래 토큰 시퀀스를 유지하면서 판별적 패치를 여러 서브토큰으로 표현하여 이 불일치를 해소하며, 이로써 가장 필요한 곳에 추가 용량을 할당한다. 어텐션 헤드는 상호 보완적인 의미론을 인코딩하고, 추론 시 어텐션 맵을 추출하려면 추가적인 백본 순전파가 필요하므로, 우리는 2단계 학습 전략을 채택한다. 1단계에서는 무작위 어텐션 헤드에서 샘플링한 분할 영역을 사용해 ViT를 파인튜닝하여, 모델을 다양한 분할 패턴에 노출시킨다. 2단계에서는 특징 저하 거리를 통해 정보성 있는 어텐션 맵을 식별하고, 이를 경량 단일 맵 라우터로 증류하여, 별도의 어텐션 순전파 없이 결정적 토큰 중요도 점수를 직접 예측한다. 우리는 세분 판별과 미표지 신규 범주로의 일반화 모두를 요구하는 도전적 과제인 Generalized Category Discovery(GCD)에서 SubViT를 평가한다. CUB, FGVC-Aircraft, Stanford-Cars에서 SubViT는 DINOv2의 평균 신규 범주 정확도를 $81.3\%$에서 $84.7\%$로 향상시키며, 추가 지연은 $0.50$ ms, FLOPs는 $3.4\%$만 증가하면서도 Retina Patch 대비 지연을 $73.8\%$ 줄인다. 코드: \href{https://github.com/jiezhu23/SubViT_ACCV26}{SubViT}.
CLIP 기반 비전-언어 모델의 프롬프트 튜닝에서 클래스 레이블 간 의미론적 관계를 무시하는 한계를 극복하기 위해, 클래스 간 의미론적 위상 구조를 명시적으로 모델링하는 Semantic Relation Encoding(SRE)과 전역 의미 공간에서 판별적 성분을 추출하는 Semantic Condensation loss(ScLoss)로 구성된 Structured-Condensed Prompt Tuning(SCPT)을 제안한다. 14개의 세밀한 이미지 인식(fine-grained image recognition) 벤치마크에서 퓨샷 학습 및 base-to-novel 일반화 설정 모두에 걸쳐 최첨단 성능을 달성했다.
대규모 언어 모델(LLM)은 대규모 텍스트 사전학습을 통해 폭넓은 개념적 지식을 갖추고 있지만, 다른 모달리티의 모델을 지도할 잠재력은 아직 충분히 탐구되지 않았다. 본 연구에서는 LaViD(Language-to-Visual Knowledge Distillation)를 제안한다. 이는 언어 전용 교사로부터 시각 전용 학생 모델로 고수준 의미 지식을 전이하는 간단하고 효과적인 프레임워크이다. 페어링된 멀티모달 데이터에 의존하는 대신, LaViD는 LLM에 시각 클래스 간 의미적 구분을 탐색하는 다지선다(MCQ) 문제를 생성하도록 프롬프트함으로써 개념적 신호를 도출한다. 각 클래스는 이러한 MCQ에 대한 소프트 레이블 분포로 매핑되어 풍부한 개념적 시그니처를 형성하며, 이는 보조 지식 증류 손실을 통해 학생 모델을 안내한다. 주목할 점은, 이미지 데이터에 접근할 수 없는 언어 전용 교사를 사용함에도 불구하고 LaViD가 여러 세밀한 벤치마크에서 비전-언어 모델로부터 증류하는 MaKD와 같은 최근 방법들을 일관되게 능가한다는 것이다. 또한 DKD, MLKD와 같은 최첨단 시각 증류 방법과 비교해 경쟁력 있거나 우수한 성능을 달성하며, 로짓 표준화와 결합하면 추가 이득을 얻는다. Waterbirds 데이터셋에서 LaViD는 최악 그룹 정확도를 크게 향상시켜, 증류를 통한 허위 상관(spurious correlation)에 대한 강건성이 향상됨을 보여준다. 코드는 https://github.com/lliangthomas/lavid 에서 이용할 수 있다.
전 세계 furry 컨벤션에서는 대량의 퍼수트 사진이 생성되며, 수동 분류는 큰 인건비를 발생시키고 자동화된 신원 검색 및 클러스터링 솔루션을 필요로 한다. 일반적인 멀티모달 모델은 복잡한 퍼수트 장면에 대한 전용 최적화가 부족하며, 이 과업을 위한 공개 벤치마크 데이터셋도 존재하지 않는다. 이 공백을 메우기 위해, 우리는 특화된 퍼수트 이미지 데이터셋을 구축하고 퍼수트 신원 검색 및 클러스터링을 위한 3단계 하이브리드 파이프라인 Fursee를 제안한다. 첫째, YOLO가 고해상도 퍼수트 머리 패치를 검출하고 잘라내어 작고 겹치는 대상의 위치 특정을 개선한다. 둘째, ArcFace가 DINOv3 임베딩을 최적화하여 특징 초구면(feature hypersphere)에서 서로 다른 신원 간의 각도 분리를 확대한다. 셋째, DBSCAN이 비지도 클러스터링을 수행하며, 실루엣 계수(silhouette coefficient) 기반 탐색이 고정된 수동 반경 대신 최적 하이퍼파라미터를 자동으로 선택한다. 검색 및 클러스터링 실험을 통해 우리 파이프라인이 GPT5.5, Claude Opus 4.8, Qwen3.7-Plus를 포함한 주류 멀티모달 모델보다 모든 평가(evaluation) 지표에서 우수한 성능을 보임을 확인했으며, 퍼수트 머리 검색 및 그룹화에서 경쟁력 있는 성능을 달성했다.
멀티모달 대조 학습은 이미지를 텍스트 범주와 정렬하여 제로샷(zero-shot) 시각 분류를 가능하게 했다. 그러나 계층적으로 구조화된 레이블 공간에서는 기존 방법들이 분류학적 수준 전반에 걸쳐 일관되지 않은 예측을 내는 경우가 많다. 예를 들어, 모델은 세밀한 범주와 상위 수준 레이블을 동시에 예측할 수 있으나, 예측된 세밀한 범주의 부모 범주가 동시에 예측된 상위 수준 레이블과 모순될 수 있다. 분석 결과, 이 문제는 대조 비교가 여러 분류학적 수준을 포함할 때 발생하는 거짓 음성(false negative) 레이블에서 기인한다. 이를 위해 우리는 대조 비교를 동일한 분류학적 수준 내의 범주로 제한하는 것을 제안한다. 또한 각 분류학적 수준이 충분한 최적화를 받도록 하는 그룹 균형(group-balanced) 설계를 채택한다. 그 결과, 제안된 프레임워크는 거친 세분성부터 세밀한 세분성까지 계층적 일관성과 분류 정확도를 모두 향상시킨다. 우리는 BioCLIP 기반 TreeOfLife-10M으로 모델을 학습하고 여러 계층적 분류 벤치마크에서 평가하며, 모델이 유클리드 공간과 쌍곡(hyperbolic) 공간 모두에서 계층적 일관성이 유의미하게 개선됨을 보인다. 특히 iNaturalist 2021(iNat21)에서 우리 방법은 기준선 대비 수준별 평균 정확도를 30.47% 향상시켜, 계층적 제로샷 분류에 대한 효과를 보여준다.
대규모 비전-언어 모델(LVLM)의 최근 발전은 놀라운 멀티모달 인지 및 추론 능력을 보여주었습니다. 수많은 벤치마크가 전체적이거나 특정 작업 관점에서 LVLM을 평가했지만, 컴퓨터 비전의 근간인 정밀한 이미지 작업에 대한 능력은 여전히 충분히 이해되지 않았습니다. 이러한 격차를 해결하기 위해, 우리는 일반적인 객체 중심 도메인부터 전문 도메인까지 다양한 시나리오를 포괄하는 101만 개의 질문과 28만 개의 이미지를 담은 포괄적인 정밀 평가 벤치마크인 FG-BMK를 소개합니다. FG-BMK는 인간 지향 및 기계 지향 패러다임을 통해 대화 수준의 정밀 의미 인식과 특징(feature) 수준의 시각적 식별력을 공동으로 평가하여, LVLM의 실패가 불충분한 시각적 표현, 약한 시각-의미 그라운딩(grounding), 또는 제한된 정밀 지식에서 비롯되는지에 대한 진단적 분석을 가능하게 합니다. 다양한 대표적인 LVLM/VLM에 대한 광범위한 실험을 통해, 우리는 현재 LVLM이 여전히 부족한 정밀 인식기라는 것을 발견했으며, 실패는 시각적 표현, 의미 그라운딩, 모달리티 정렬, 그리고 범주 수준 지식의 얽힌 병목 현상에서 발생함을 확인했습니다. 우리는 정밀한 능력을 향상시키기 위한 학습(training) 설계 요인을 추가로 분석하고, 시각적 및 언어적 섭동(perturbation)이 LVLM 예측에 어떤 영향을 미치는지 조사합니다. 이러한 발견은 현재 LVLM의 한계에 대한 진단적 통찰을 제공하고, 정밀한 시각 작업을 위한 더 신뢰할 수 있는 LVLM을 개발하는 데 있어 미래의 데이터 구축 및 모델(model) 설계에 대한 지침을 제공합니다. 우리의 코드는 오픈 소스이며 https://fg-bmk.github.io/에서 확인할 수 있습니다.