arXiv:2110.03127

Reliable Probability Intervals For Classification Using Inductive Venn Predictors Based on Distance Learning

Dimitrios Boursinos, Xenofon Koutsoukos

제출 2021-10-07

원문 초록

Deep neural networks are frequently used by autonomous systems for their ability to learn complex, non-linear data patterns and make accurate predictions in dynamic environments. However, their use as black boxes introduces risks as the confidence in each prediction is unknown. Different frameworks have been proposed to compute accurate confidence measures along with the predictions but at the same time introduce a number of limitations like execution time overhead or inability to be used with high-dimensional data. In this paper, we use the Inductive Venn Predictors framework for computing probability intervals regarding the correctness of each prediction in real-time. We propose taxonomies based on distance metric learning to compute informative probability intervals in applications involving high-dimensional inputs. Empirical evaluation on image classification and botnet attacks detection in Internet-of-Things (IoT) applications demonstrates improved accuracy and calibration. The proposed method is computationally efficient, and therefore, can be used in real-time.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22323v1cs.CV공통 태그 Metric Learning, Image Classification

ALPINE: 매개변수 및 샘플 효율적인 퓨샷 학습을 위한 적응형 위치 추정

ALPINE: Adaptive Localization for Parameter- and Sample-Efficient Few-Shot Learning

퓨샷 학습(Few-shot learning) 연구는 대규모 연산 자원이 없는 실무자들에게 현실적인 제약인 정확도 도달에 필요한 매개변수 및 학습 샘플 예산에 대한 관심은 제한적인 채, 주로 정확도만으로 평가됩니다. 본 논문에서는 고정된 가보르(Gabor) 에지 에너지 유도와 윈도우 기반의 콘텐츠 적응형 패치 위치 추정기(patch locator)를 결합한 퓨샷 이미지 분류를 위한 초경량(22,249-34,917개 매개변수) 공간-관계형 아키텍처를 제시합니다. 엄격하게 통제된 동일 에피소드 예산(iso-episode-budget) 프로토콜(250회 메타 학습 에피소드, 5개 표준 시드, 시드당 600회 평가 에피소드) 하에서, 본 아키텍처는 CIFAR-FS와 MiniImageNet 모두에서 Prototypical Networks, Relation Networks, MAML 대비 모든 5개 시드에 걸쳐 일관된 5-샷(5-shot) 정확도 향상을 달성하는 동시에, 어떠한 기준선보다 27-53% 적은 매개변수를 사용합니다. 또한 더 적은 학습 에피소드에서 수렴하고, 접하지 않은 세분화된 도메인(CUB-200-2011 조류, 재학습 없음)으로 더 잘 일반화되며, 세 기준선 모두에 비해 50% 폐색(occlusion) 및 25% 공간 이동(spatial translation)에 더욱 견고합니다. 추론 시 관계 토큰을 0으로 설정하거나 관계 토큰을 완전히 배제하고 재학습하는 일련의 반증 절제 연구(falsification ablations)를 통해 아키텍처의 쌍별(pairwise) 관계 연산이 존재하긴 하지만 성능의 주된 동인은 아니며, 콘텐츠 적응형 패치 위치 추정기가 핵심 동인임을 보여줍니다. 우리는 약 22-35k 매개변수 근처에서 진정한 정확도 안정 상태(plateau)를 나타내는 용량 탐색(capacity sweep) 결과와 함께 이를 솔직하게 보고하며, 재현성을 위해 전체 시드 수준의 결과와 체크포인트 해시를 공개합니다.

arXiv:2609.23758v1cs.CV공통 태그 Metric Learning, Image Classification

교차 도메인 퓨샷 분류를 위한 학습이 필요 없는 스펙트럴 트랜스덕티브 정제

Training-Free Spectral Transductive Refinement for Cross-Domain Few-Shot Classification

고정된(frozen) 시각적 특징을 사용하는 퓨샷 인식(few-shot recognition)은 도메인 시프트(domain shift)와 원샷(one-shot) 지도 학습 상황에서 특히 취약한데, 이 경우 레이블이 지정된 단일 이미지만으로는 해당 클래스에 대한 신뢰할 수 있는 추정을 하기 어렵다. 우리는 인코더를 재학습하거나 소스 도메인을 증강하지 않고, 순전히 테스트 시점에서만 이러한 취약성을 얼마나 줄일 수 있는지를 탐구한다. 우리는 전체 서포트-쿼리 에피소드(support-query episode)의 기하학적 구조를 활용하는, 학습이 필요 없는 트랜스덕티브 추론 규칙인 스펙트럴 트랜스덕티브 정제(Spectral Transductive Refinement, STR)를 제안한다. 고정된 임베딩(embedding)이 주어지면, STR은 결합된 k-최근접 이웃(k-nearest-neighbour) 그래프를 구성하고, 에피소드를 정규화된 라플라시안(normalized-Laplacian) 스펙트럴 좌표계로 매핑한 뒤, 레이블이 지정된 서포트로부터 클래스 대표값을 초기화하고, 의사 레이블(pseudo-label)이 부여된 쿼리를 이용해 이를 반복적으로 정제한다. 우리는 두 가지 프로토콜 하에서 STR을 평가한다. 고정된 ResNet-18 특징을 사용한 통제된 구성 요소 연구(component study)에서, 스펙트럴 정제는 다섯 개의 시프트된 도메인 전반에 걸쳐 단일 프로토타입 스펙트럴 초기화 대비 일관되게 성능을 향상시키며, 서포트 추정치가 가장 취약한 원샷 환경에서 가장 큰 성능 향상을 보인다. 이어서 우리는 표준 miniImageNet 사전학습(pre-training) ResNet-10 백본을 사용하여 8개의 확립된 타깃 도메인에 걸쳐 STR을 최근의 교차 도메인 퓨샷 학습(Cross-Domain Few-Shot Learning, CD-FSL) 기법들과 비교 벤치마킹한다. 전적으로 추론 시점에서만 동작함에도 불구하고, STR은 비교 대상 기법들 중 가장 높은 1샷 평균 성능을 달성하며, 5샷에서도 소스 도메인에 대한 대규모 메타 학습 증강(meta-training augmentation)에 의존하는 접근법들과 견줄 만한 경쟁력 있는 성능을 유지한다. STR이 트랜스덕티브 방식이라는 점을 고려하여, 우리는 해당 설정을 명시적으로 보고한다. 진단 분석(diagnostics) 결과, STR의 성능 향상은 추가된 프로토타입 용량(prototype capacity)이 아니라 스펙트럴 좌표에서의 반복적 정제에 기인하며, 프로토타입 용량은 우리의 설정에서 비활성 상태로 유지된다.

arXiv:2609.24064v1cs.CV공통 태그 Metric Learning, Image Classification

종 다양성이 높고 데이터가 부족한 식물상에서 세분화된 난초 속 식별을 위한 비전 트랜스포머 대 합성곱 신경망: 뉴기니 난초과에 대한 통제된 벤치마크

Vision Transformers versus convolutional neural networks for fine-grained orchid genus identification in a species-rich, data-poor flora: a controlled benchmark on the Orchidaceae of New Guinea

뉴기니는 세계에서 가장 풍부한 섬 식물상(난초 약 2,856종)을 보유하고 있지만, 대부분의 종은 소수의 사진으로만 대표되며, 이는 종 수준의 직접 분류에 필요한 것보다 훨씬 적다. 이처럼 종 다양성은 높지만 데이터가 부족한 식물상에서 세분화된 식별(fine-grained identification)을 위한 방법이 필요하지만, 어떤 백본(backbone) 아키텍처와 사전학습(pretraining) 전략이 이를 가장 잘 뒷받침하는지는 아직 명확하지 않다. 우리는 먼저 쿼리 사진의 속(genus)을 예측한 다음, FAISS를 이용해 후보 종의 시각적으로 유사한 참조 이미지를 검색하는 2단계 시스템을 구축했다. 우리는 사전학습된 네 가지 백본 -- 두 개의 비전 트랜스포머(Vision Transformer, ViT; DINOv2, BioCLIP 2)와 두 개의 CNN(ConvNeXt V2-L, EfficientNetV2-L) -- 을 120개 속과 1,350개 종에 걸친 16,701장의 사진으로 구성된, 종 층화(species-stratified)된 고정 분할 데이터셋에서 동일한 프로토콜로 파인튜닝(fine-tuning)하여 비교했으며, 정확도, 보정(calibration), 오류 구조, 종 검색(retrieval), 그리고 새로운 속에 대한 오픈셋(open-set) 탐지를 평가했다. DINOv2가 가장 우수한 속 수준 성능을 달성했다(매크로 top-1 66.9%, 95% 신뢰구간 63.7-70.6; 전역 top-1 88.9%). 두 ViT 모두 두 CNN보다 우수한 성능을 보였으며, 범용 자기지도학습(self-supervised) 사전학습(DINOv2)이 도메인에 특화된 생물학적 사전학습(BioCLIP 2)보다 매크로 top-1 기준 7.1점 더 높은 성능을 보였다. 오류는 오류 유인체(error attractor) 역할을 하는 두 개의 개체수가 많은 속에 집중되었다. DINOv2 임베딩(embedding)은 종 수준 재현율(Recall@5) 86.6%와 속 수준 재현율(Recall@5) 98.7%를 달성했으며, 온도 스케일링(temperature scaling)은 모든 백본의 기대 보정 오차(Expected Calibration Error)를 약 0.03까지 감소시켰다. 또한 거리 기반 오픈셋 게이트는 보지 못한 속을 탐지해냈다(평균 AUROC 0.958). 임베딩 검색과 결합된 자기지도학습 비전 트랜스포머 백본은 종 다양성이 높고 데이터가 부족한 식물상에서 세분화된 식별을 위한 효과적이고 실용적으로 배포 가능한 전략이다. 이 시스템은 공개 웹 애플리케이션(New Guinea Orchid Identifier)으로 공개되었으며, 다른 초다양성(hyperdiverse)의 미문서화된 분류군에도 적용 가능한 실용적인 템플릿을 제공한다.

arXiv:2607.12881v1cs.CV공통 태그 image-classification, Image Classification

억제적 셀프-어텐션: 비전 트랜스포머에서 초점 선명화

Inhibited Self-Attention: Sharpening Focus in Vision Transformers

비전 트랜스포머(ViT)는 컴퓨터 비전(CV) 과제에서 뛰어난 성능을 보여 왔다. 그러나 셀프-어텐션 메커니즘은 종종 배경 영역 전반에 초점을 분산시키며, 객체 관련 단서보다는 가짜 상관관계에 의존하는 경향이 있다. 생물학적 시각 시스템에서 관찰되는 억제 메커니즘에서 영감을 받아, 억제 신호를 통합하여 특징 선택성을 높이고 가짜 반응을 억제하는 새로운 셀프-어텐션인 억제적 셀프-어텐션(ISA)을 제안한다. 소프트맥스 정규화로 인해 양의 어텐션 값에만 의존하는 기존 셀프-어텐션과 달리, 우리 접근법은 음의 어텐션 점수를 유지하고 활용하여 무관한 특징을 억제하고 관심 객체에 대한 초점을 선명하게 한다. ImageNet-1k와 COCO를 포함한 여러 데이터셋과 여러 견고성 벤치마크에 걸친 실험은 ISA가 객체 중심 선택성을 높이고, 지름길 의존을 줄이며, 분포 외 일반화를 개선함을 보여 준다. 관련성 맵 분석은 ISA를 적용한 ViT가 객체 관련 영역에 더 선명하고 국소화된 초점을 보이면서 무관한(배경) 특징으로부터의 방해를 줄여 더 신뢰할 수 있는 모델을 가능하게 함을 확인한다. 코드는 https://github.com/prdvanderwal/inhibited-self-attention 에서 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.