CUBE: 오픈셋 곤충 종 인식을 위한 클래스 조건부 미지 경계 증거
CUBE: Class-conditioned Unknown Boundary Evidence for Open-Set Insect Species Recognition
한국어 초록
오픈셋(open-set) 곤충 종 인식은 실제 생물다양성 시나리오에 적용될 때, 특히 학습(training)에 사용된 기지(known) 클래스와 시각적으로 매우 유사한 미지(unknown) 종을 마주할 경우 심각한 어려움에 직면합니다. 일반적인 분포 외(OOD, out-of-distribution) 샘플과 달리, 세밀한(fine-grained) 미지 곤충은 시각적으로 이상 징후를 보이지 않는 경우가 많습니다. 대신 특정 기지 종의 결정 경계(decision boundary) 근처에 나타나는 경향이 있어 신뢰할 수 없는 닫힌 집합(closed-set) 예측을 초래합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 미지성을 단일 글로벌 미지 클래스로 다루는 대신 각 기지 종 주변에서 모델링하는 새로운 증거 기반 프레임워크인 Class-conditioned Unknown Boundary Evidence(CUBE)를 제안합니다. 우리의 핵심 아이디어는 테스트 샘플을 가장 유사한 기지 종과 비교하여 평가함으로써, 시각적으로 혼동하기 쉬운 미지 곤충에 대한 국소적 거부(local rejection)를 가능하게 하는 것입니다. CUBE는 보조 종(auxiliary species)으로부터 클래스 조건부 경계 증거를 학습하고, 추론(inference) 중에는 보조 종을 섀도우 레퍼런스(shadow reference)로 보존하며, 생물학적 타당성을 검증하기 위해 분류학적 후보 보정(taxonomic candidate calibration)을 통합합니다. 생태학적 메타데이터를 사용할 수 있는 경우, 시각 백본을 수정하지 않고 경량의 위치 일관성(location-consistency) 항을 추가하는 CUBE-E를 추가로 도입합니다. Open-Insect C-America 벤치마크 실험 결과, CUBE는 94.9%의 닫힌 집합 정확도를 유지하면서 국소(local), 비국소(non-local), 비나방(non-moth) 미지 분할에서 각각 95.8%, 98.7%, 99.1%의 AUROC로 최첨단(SOTA) 베이스라인을 능가하는 우수한 성능을 달성함을 보여줍니다. 생태학적 메타데이터를 활용한 CUBE-E는 이를 더욱 향상시켜 95.2%의 닫힌 집합 정확도와 함께 96.0%, 99.7%, 99.5%의 AUROC를 기록합니다.
원문 초록
Open-set insect species recognition faces significant challenges when deployed in real-world biodiversity scenarios, particularly when encountering unknown species that are visually close to known training classes. Unlike generic out-of-distribution samples, fine-grained unknown insects are often not visually anomalous. They instead tend to appear near the decision boundary of specific known species, leading to unreliable closed-set predictions. To address these challenges, we propose \textbf{Class-conditioned Unknown Boundary Evidence (CUBE)}, a novel evidence-based framework that models unknownness around each known species rather than as a single global unknown class. Our key idea is to evaluate a test sample relative to the known species it most closely resembles, enabling local rejection for visually confusable unknown insects. CUBE learns class-conditioned boundary evidence from auxiliary species, preserves auxiliary species as shadow references during inference, and incorporates taxonomic candidate calibration to verify biological plausibility. When ecological metadata is available, we further introduce CUBE-E, which adds a lightweight location-consistency term without modifying the visual backbone. Experiments on the Open-Insect C-America benchmark show that CUBE achieves superior performance, outperforming state-of-the-art baselines with 95.8\%, 98.7\%, and 99.1\% AUROC on local, non-local, and non-moth unknown splits, respectively, while maintaining 94.9\% closed-set accuracy. With ecological metadata, CUBE-E further improves the results to 96.0\%, 99.7\%, and 99.5\% AUROC with 95.2\% closed-set accuracy.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RSAJEV: JEV 기반 원격 탐사 분류에서 은밀한 환각 제거를 위한 학습 불필요 기권 프로토타입 메모리
RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification
멀티모달 대규모 언어 모델(MLLM)을 활용한 원격 탐사 영상의 장면 분류(scene classification)는 단일 순전파(single-forward-pass) 결정 문제로 정식화됩니다. 즉, 후보 클래스 이름은 프롬프트 내에 알파벳 옵션으로 주어지고, 등록된 답변 슬롯은 프롬프트에 조건화되며, 언어 모델링 헤드로 문자 토큰의 점수를 매겨 분류를 판독합니다. 본 논문에서는 이러한 문자 바인딩이 학습(training) 어휘 내에서는 매우 효과적이지만(UCM에서 97.71% OA), 어휘 외(out-of-vocabulary) 상황에서는 불규칙하게 작동함을 보입니다. 4개의 교차 데이터셋 방향에 걸친 제로 적응(zero-adaptation) 정확도는 7.35%에서 96.40% 사이로 요동치며, 어휘 외 가중치 환경에서는 오픈셋(open-set) 평가 시 신뢰도가 역전되어 본 적 없는 클래스에 본 적 있는 클래스보다 더 높은 신뢰도를 부여하는 실패(AUROC 0.38)를 보이며, 저자들은 이를 '은밀한 환각(silent hallucination)'이라 명명합니다. 본 논문에서는 슬롯 표현을 유지하면서 판독부를 검색 기반 프로토타입 매칭을 수행하는 학습 불필요 기권 프로토타입 메모리인 RSAJEV로 대체합니다. 동일한 프롬프트 하에서 클래스당 K개의 참조 이미지를 슬롯 표현을 통해 프로토타입으로 캐싱하며, 분류는 축소-마할라노비스(shrinkage-Mahalanobis) 기하학적 보정으로 개선된 프로토타입 대상 최근접 이웃 검색이 됩니다. 이러한 판독 방식은 기계적으로 검색-증강 생성(RAG)과 동형(isomorphic)이지만 판별적 결정에 작용하며, MLLM 슬롯 표현을 위한 최초의 검색 기반 판독부입니다. 이 검색 판독 방식은 클래스당 16개의 참조 영상과 그래디언트(gradient) 업데이트 없이 UCM 교차 데이터셋 게이트에서 89.43%, AID에서 96.90%에 도달합니다. 또한 두 데이터셋의 오픈셋 평가에서 ID 특성 점수(ID-ness scores)는 0.91-0.99 AUROC를 달성하여 4개의 모든 오픈셋 설정에서 기호적 신뢰도(0.38-0.96)를 능가하고, 보정 가능한 기권 채널을 복원하며, 캐시된 행렬의 오프라인 재점수화를 통해 추가적인 추론(inference) 비용 없이 클래스 추가/제거를 지원합니다.
무엇이 바뀌었는가? 실제·가상·비교 불가 진단을 통한 드리프트 탐지
What Changed? Drift Detection with Real, Virtual, and Incomparable Diagnosis
깊은 인코더를 공유한다고 해서 그 자체만으로 과제 비교 점수의 핵심 교란(confound)을 해소하지는 못한다. 우리는 고정된 공유 표현 위에서 교차 평가된 head가 얕은 exchange 점수의 외삽(extrapolation) 교란을 그대로 물려받음을 보인다. 레이블은 고정한 채 순수 입력 회전만 적용하면 깊은 exchange 점수가 약 0에서 0.80까지 부풀어 오르는 반면, 표현-신규성(novelty) 점수는 상보적인 방향에서는 맹점이 있다(과제를 완전히 바꾸는 레이블 순열 아래에서는 평평하게 유지된다). 조건부 이중 판별자(two-discriminator) discrepancy를 임베딩 공간으로 이식하면 두 맹점을 모두 해소한다. 기능(functional) 축은 회전 아래에서 ±0.001 이내로 유지되고, 레이블 순열 드리프트 질량(drift mass)을 단조적으로 추적한다. mixture-of-heads 수명주기에 통합하면 두 축 게이트(two-axis gate)는 동일 학습 예산에서 exchange 또는 novelty 트리거보다 더 적은 head로 더 나은 의사결정 품질을 달성한다. 일반화된 범주 발견(generalized category discovery)에서는 동일한 청크 수준(chunk-level) 기능 축이 AUROC 0.98–0.99로 의미적 신규성(semantic novelty)과 photometric shift를 분리하는데, 입력별 OOD 점수(MSP, Energy, Mahalanobis, KNN)는 그 구분에 대해 거의 우연(chance) 수준에 머문다. 모든 결과는 CIFAR-100에서 frozen ImageNet-21k ViT-B/16과 자기지도(self-supervised) DINOv2 백본에서 재현되며, recurrence를 갖는 residual adapter pool로도 확장된다. null 보정 novelty 트리거는 메커니즘 변화에서 한 번도 발화하지 않는 반면, 두 축 게이트는 recurrence를 전부 재사용하여 이를 처리한다. 임베딩 공간에서의 결론이 원래 메커니즘으로 전이되기 위한 공통 요인화(common-factoring) 조건을 명시적으로 기술한다.
균형 정확도를 넘어서: 무인 항공기 전력선 점검에서 비전-언어 및 비전 전용 결함 평가를 위한 해상도 및 동등성 제어 벤치마크
Beyond Balanced Accuracy: A Resolution and Parity-Controlled Benchmark for Vision-Language and Vision-Only Defect Assessment in UAV Power-Line Inspection
무인 항공기(UAV) 전력선 결함 평가에서 비전-언어 모델(VLM)이 작업 특화 비전 백본의 성능을 능가한다고 종종 보고됩니다. 본 연구에서는 공개 InsPLAD 데이터셋에서 파생된 56,972개 항목의 벤치마크인 ElecVQA-Bench를 대상으로, 분할(partition), 평가 항목 세트, 레이블 공간, 반복 검증(replication), 입력 해상도, 부가 정보라는 6가지 평가 선택에 걸쳐 해당 주장을 검증합니다. 일치된 분할 조건에서 Swin 트랜스포머(Swin Transformer)와 가장 우수한 적응형 VLM 간의 이진 선별 차이는 0.03포인트에 불과합니다. 7개 클래스 결함 분류에서 비전 백본의 해상도를 224px에서 VLM 전처리기의 측정된 픽셀 예산으로 증가시키면 InternVL3.5-8B 대비 성능 격차가 ResNet-50의 경우 +20.53포인트에서 -0.57포인트로, Swin-T의 경우 +23.67포인트에서 +4.70포인트로 좁혀집니다. 픽셀 예산 감사를 통해 Qwen3-VL-8B의 매크로 재현율(macro recall)이 10.78포인트 변화하지만, 소스 픽셀을 일치시킨 InternVL 대조군에서도 Qwen은 56% 더 적은 시각적 토큰을 사용하면서도 여전히 7.43~13.61포인트 앞서므로, 소스 픽셀이나 토큰 예산 모두 두 VLM 간의 차이를 설명하지 못합니다. 2개 시드에 대한 전역 반복 검증 결과 Qwen의 이진 정확도와 7개 클래스 매크로 재현율은 각각 0.86포인트와 1.02포인트 변동합니다. 분할별 재학습 후 Qwen은 크롭 또는 이미지 수준에서 우위를 점하지 못하며, 14개 타워 및 3개 시드 반복 검증에서는 시드 간에 부호가 역전되어 ResNet-50의 평균 공통 6개 클래스 매크로 재현율 0.9509 대비 Qwen은 0.9085를 기록합니다. 어떤 분할 체제에서도 다중 비교 보정(multiple-comparison correction)을 거치고 살아남는 모델 패밀리 수준의 이점은 나타나지 않습니다. 본 연구는 VLM의 전반적인 우월성에 대한 주장보다는 벤치마크 감사 기여를 뒷받침합니다.
AniPrO: 다차원 의미론적 추론을 통한 해석 가능한 애니메이션 이미지 출처 탐지
AniPrO: Interpretable Anime Image Provenance Detection via Multi-Dimensional Semantic Reasoning
생성형 AI(generative AI)가 애니메이션 스타일 이미지 제작에 점점 더 많이 사용됨에 따라, 사람이 직접 그린 이미지, AI로 인페인팅(inpainting)된 이미지, 텍스트-이미지(text-to-image) 생성 이미지를 구별하는 것은 저작권 귀속, 시각적 출처 추적, 콘텐츠 거버넌스 측면에서 중요하다. 기존의 AI 생성 이미지 탐지기는 주로 실사 사진을 대상으로 하며, 평면적인 채색, 과장된 구조, 예술적인 선 처리와 같은 애니메이션 특유의 단서를 간과하는 경우가 많다. 이러한 공백을 해결하기 위해, 우리는 해석 가능한 애니메이션 이미지 출처 추적을 위한 다차원 설명 강화 프레임워크인 AniPrO를 제안한다. AniPrO는 AnimeDL-2M을 기반으로 구축되었으며, 35,000장의 이미지 후보 풀에서 선별한 15,000개의 균형 잡힌 샘플로 구성되어 있고, 구조화된 5차원 설명과 함께 Real, Inpainting, Text2Image 카테고리를 포괄한다. 또한 우리는 통계적 특징(feature) 판별과 멀티모달 융합 추론의 관점에서 출처 탐지를 평가하기 위해 AniPrO-SFD-Bench와 AniPrO-MFR-Bench를 도입한다. 실험 결과, 구조화된 의미론적 가이드가 전역적 시각적 타당성과 국소적 세부 일관성 사이의 격차와 같은 체계적인 AI 생성 편향을 드러내며, 까다로운 인페인팅 샘플의 탐지 성능을 향상시키는 것으로 나타났다. 데이터셋(dataset)과 코드는 https://github.com/YAN-LIU05/AniPrO 에서 공개될 예정이다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
Cost-Aware Hierarchical Multi-Agent Ransomware Detection and Family Attribution
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
5 pages, 1 figure, 3 tables