arXiv:2111.00754

Few-shot learning with improved local representations via bias rectify module

Chao Dong, Qi Ye, Wenchao Meng, Kaixiang Yang

제출 2021-11-01

원문 초록

Recent approaches based on metric learning have achieved great progress in few-shot learning. However, most of them are limited to image-level representation manners, which fail to properly deal with the intra-class variations and spatial knowledge and thus produce undesirable performance. In this paper we propose a Deep Bias Rectify Network (DBRN) to fully exploit the spatial information that exists in the structure of the feature representations. We first employ a bias rectify module to alleviate the adverse impact caused by the intra-class variations. bias rectify module is able to focus on the features that are more discriminative for classification by given different weights. To make full use of the training data, we design a prototype augment mechanism that can make the prototypes generated from the support set to be more representative. To validate the effectiveness of our method, we conducted extensive experiments on various popular few-shot classification benchmarks and our methods can outperform state-of-the-art methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02704v1cs.AI공통 태그 Metric Learning, Few-Shot Learning

대규모 환경에서의 레이블 효율적 시계열 분류: 반사실적 귀속을 적용한 이중 스트림 OSSE-LSTM

Label-Efficient Time Series Classification at Scale: A Dual-Stream OSSE-LSTM with Counterfactual Attribution

시계열 데이터는 산업 장비, 웨어러블 기기, 전력망, 임상 모니터 등에서 엄청난 규모로 끊임없이 생성되지만, 주석 작업은 여전히 수작업에 의존하며 비용이 많이 들고 전문가를 필요로 합니다. 따라서 대규모 시계열 분석의 결정적인 병목은 데이터 양이 아니라 레이블의 양이며, 실무자가 마주하는 질문은 구체적입니다. 즉, 분류기가 실용성을 갖추려면 클래스당 몇 개의 예시에 레이블을 지정해야 하는가입니다. 본 연구에서는 레이블 공간이 고정되어 사전에 알려져 있으며, 클래스당 단 K개의 레이블된 예시만으로 결정 규칙을 구성해야 하는 조건에서 이 문제를 직접 탐구합니다. 우리는 데이터셋별 커널 튜닝 없이도 다중 스케일 모티프 추출을 수행하는 Squeeze-and-Excitation 재보정 결합 Omni-Scale CNN과, 전역적 시간적 맥락을 포착하는 양방향 LSTM을 결합한 에피소드식 메트릭 학습(metric learning) 프레임워크인 Dual-Stream OSSE-LSTM을 제안합니다. 두 스트림은 독립적으로 정규화된 후 프로토타입 지향 임베딩으로 융합됩니다. 또한 소수의 레이블로부터 도출된 결정은 설명 가능해야 하므로, 개별 분류기 로짓 대신 타깃 클래스와 반대 클래스 간의 프로토타입 마진을 귀속시키고 그 결과 맵을 인코더 업데이트 없이 테스트 시점 프로토타입 개선을 위한 소프트 마스크로 재사용하는 반사실적 통합 그래디언트(C-IG)를 도입합니다. 19개의 단변량 UCR 데이터셋에서 OSSE-LSTM은 모든 서포트 크기에서 가장 높은 평균 정확도와 데이터셋별 승수를 달성했으며, 해당 범위 전반에 걸쳐 정확도가 0.36%포인트 범위(96.36-96.72%) 내에서 안정적으로 유지되었습니다. 가장 낮은 성능의 구성조차 비교 대상 기준선 모델이 임의의 K에서 기록한 최고 결과(93.99%)를 상회합니다.

arXiv:2609.22323v1cs.CV공통 태그 Metric Learning, Few-Shot Learning

ALPINE: 매개변수 및 샘플 효율적인 퓨샷 학습을 위한 적응형 위치 추정

ALPINE: Adaptive Localization for Parameter- and Sample-Efficient Few-Shot Learning

퓨샷 학습(Few-shot learning) 연구는 대규모 연산 자원이 없는 실무자들에게 현실적인 제약인 정확도 도달에 필요한 매개변수 및 학습 샘플 예산에 대한 관심은 제한적인 채, 주로 정확도만으로 평가됩니다. 본 논문에서는 고정된 가보르(Gabor) 에지 에너지 유도와 윈도우 기반의 콘텐츠 적응형 패치 위치 추정기(patch locator)를 결합한 퓨샷 이미지 분류를 위한 초경량(22,249-34,917개 매개변수) 공간-관계형 아키텍처를 제시합니다. 엄격하게 통제된 동일 에피소드 예산(iso-episode-budget) 프로토콜(250회 메타 학습 에피소드, 5개 표준 시드, 시드당 600회 평가 에피소드) 하에서, 본 아키텍처는 CIFAR-FS와 MiniImageNet 모두에서 Prototypical Networks, Relation Networks, MAML 대비 모든 5개 시드에 걸쳐 일관된 5-샷(5-shot) 정확도 향상을 달성하는 동시에, 어떠한 기준선보다 27-53% 적은 매개변수를 사용합니다. 또한 더 적은 학습 에피소드에서 수렴하고, 접하지 않은 세분화된 도메인(CUB-200-2011 조류, 재학습 없음)으로 더 잘 일반화되며, 세 기준선 모두에 비해 50% 폐색(occlusion) 및 25% 공간 이동(spatial translation)에 더욱 견고합니다. 추론 시 관계 토큰을 0으로 설정하거나 관계 토큰을 완전히 배제하고 재학습하는 일련의 반증 절제 연구(falsification ablations)를 통해 아키텍처의 쌍별(pairwise) 관계 연산이 존재하긴 하지만 성능의 주된 동인은 아니며, 콘텐츠 적응형 패치 위치 추정기가 핵심 동인임을 보여줍니다. 우리는 약 22-35k 매개변수 근처에서 진정한 정확도 안정 상태(plateau)를 나타내는 용량 탐색(capacity sweep) 결과와 함께 이를 솔직하게 보고하며, 재현성을 위해 전체 시드 수준의 결과와 체크포인트 해시를 공개합니다.

arXiv:2609.23758v1cs.CV공통 태그 Metric Learning, Few-Shot Learning

교차 도메인 퓨샷 분류를 위한 학습이 필요 없는 스펙트럴 트랜스덕티브 정제

Training-Free Spectral Transductive Refinement for Cross-Domain Few-Shot Classification

고정된(frozen) 시각적 특징을 사용하는 퓨샷 인식(few-shot recognition)은 도메인 시프트(domain shift)와 원샷(one-shot) 지도 학습 상황에서 특히 취약한데, 이 경우 레이블이 지정된 단일 이미지만으로는 해당 클래스에 대한 신뢰할 수 있는 추정을 하기 어렵다. 우리는 인코더를 재학습하거나 소스 도메인을 증강하지 않고, 순전히 테스트 시점에서만 이러한 취약성을 얼마나 줄일 수 있는지를 탐구한다. 우리는 전체 서포트-쿼리 에피소드(support-query episode)의 기하학적 구조를 활용하는, 학습이 필요 없는 트랜스덕티브 추론 규칙인 스펙트럴 트랜스덕티브 정제(Spectral Transductive Refinement, STR)를 제안한다. 고정된 임베딩(embedding)이 주어지면, STR은 결합된 k-최근접 이웃(k-nearest-neighbour) 그래프를 구성하고, 에피소드를 정규화된 라플라시안(normalized-Laplacian) 스펙트럴 좌표계로 매핑한 뒤, 레이블이 지정된 서포트로부터 클래스 대표값을 초기화하고, 의사 레이블(pseudo-label)이 부여된 쿼리를 이용해 이를 반복적으로 정제한다. 우리는 두 가지 프로토콜 하에서 STR을 평가한다. 고정된 ResNet-18 특징을 사용한 통제된 구성 요소 연구(component study)에서, 스펙트럴 정제는 다섯 개의 시프트된 도메인 전반에 걸쳐 단일 프로토타입 스펙트럴 초기화 대비 일관되게 성능을 향상시키며, 서포트 추정치가 가장 취약한 원샷 환경에서 가장 큰 성능 향상을 보인다. 이어서 우리는 표준 miniImageNet 사전학습(pre-training) ResNet-10 백본을 사용하여 8개의 확립된 타깃 도메인에 걸쳐 STR을 최근의 교차 도메인 퓨샷 학습(Cross-Domain Few-Shot Learning, CD-FSL) 기법들과 비교 벤치마킹한다. 전적으로 추론 시점에서만 동작함에도 불구하고, STR은 비교 대상 기법들 중 가장 높은 1샷 평균 성능을 달성하며, 5샷에서도 소스 도메인에 대한 대규모 메타 학습 증강(meta-training augmentation)에 의존하는 접근법들과 견줄 만한 경쟁력 있는 성능을 유지한다. STR이 트랜스덕티브 방식이라는 점을 고려하여, 우리는 해당 설정을 명시적으로 보고한다. 진단 분석(diagnostics) 결과, STR의 성능 향상은 추가된 프로토타입 용량(prototype capacity)이 아니라 스펙트럴 좌표에서의 반복적 정제에 기인하며, 프로토타입 용량은 우리의 설정에서 비활성 상태로 유지된다.

arXiv:2607.08374v1cs.CL공통 태그 Metric Learning, Few-Shot Learning

성격 인식에서 프로토타입 네트워크를 위한 이론-무관 적응적 메트릭 정렬에서의 LLM-as-a-Judge

Large-Language-Models-as-a-Judge in Theory-Agnostic Adaptive Metric-Alignment for Prototypical Networks in Personality Recognition

성격 인식(Personality Recognition)은 전통적으로 이론-의존적 공식화에 의해 제한되어 왔으며, 이 방식에서는 모델이 공유된 기저 행동 구조를 발견하기보다는 사전 정의된 심리학적 분류 체계에 맞게 학습된다. 성격 자체는 이론-불변적(theory-invariant)으로 이해하는 것이 더 적합하지만, 기존 어노테이션은 동일한 잠재 특성에 대해 부분적이고 때로는 일관되지 않은 관점만을 반영하므로, 이는 일반화를 제한한다. 본 연구에서는 JAM((J)udge for (A)daptive (M)etric-Alignment)을 제안한다. JAM은 이론-무관 프레임워크로, 사전 정의된 성격 이론에 적응하는 학습 방식에서 벗어나 공유된 심리 구조를 포착하는 통합된 잠재 의사-세부 요인(pseudo-facets)을 발견하는 방향으로 학습을 전환한다. 학습 또는 추론 과정에서 모델을 특정 성격 분류 체계에 제한하는 대신, 이 프레임워크는 일반화 가능한 심리적 표현을 학습하고, 이론별 레이블 없이 텍스트 샘플로부터 직접 개인의 잠재 심리 프로파일을 추론할 수 있다. JAM은 임베딩 공간에서의 클러스터링을 통해 구조화된 표현을 학습하는 어텐션-풀링 그래프 프로토타입 네트워크(Attention-Pooled Graph Prototypical Network)와, 사전 정의된 레이블에 의존하지 않고 이종 데이터셋을 통합하기 위해 (i) 인간 유도 연결(Human-Guided Linkage)과 (ii) 기계 유도 합의(Machine-Induced Consensus)를 통합하는 교차-이론 조화(Cross-Theory Harmonization, CTH) 접근법을 통해 이를 달성한다. 강건성과 데이터 품질을 더욱 향상시키기 위해, (i) LLM-before-the-loop와 (ii) LLM-in-the-loop의 두 가지 구성으로 동작하는 LLM-as-a-judge 메커니즘을 도입하며, 이는 적응적 메트릭 학습을 유도하기 위해 모호한 샘플을 식별한다. 실험 결과, JAM은 교차-프레임워크 일반화 및 성능을 향상시켜 이론-무관 성격 추론을 향한 중요한 진전을 이루고 저자원(low-resource) 성격 이론을 지원함을 확인하였다. 관련 코드 저장소, 모델 가중치 및 아티팩트는 https://research.jingjietan.com/JAM 에서 확인할 수 있다.

arXiv:2606.26452v1cs.CL공통 태그 Metric Learning, Few-Shot Learning

AnySimLite: 온디바이스 음성 인접(Speech-Adjacent) 분류를 위한 경량 퓨샷 유사도 인코더

AnySimLite: A Lightweight Few-Shot Similarity Encoder for On-Device Speech-Adjacent Classification

스마트폰과 같은 엣지 디바이스에서 프라이버시 우려와 추론 지연을 최소화하려면, 경량 온디바이스 모델이 최종 사용자 애플리케이션에서 여전히 중요하다. 이러한 애플리케이션 다수는 자연어 분류를 포함하지만, 여러 특화 모델을 배포하면 메모리 점유 문제가 발생한다. 우리는 다음을 탐구한다: 단일 경량 아키텍처가 정교한 텍스트 유사도 공식화로 환원함으로써 여러 음성 인접(Speech-Adjacent, SA) 분류 태스크를 해결할 수 있는가? 우리는 단어 수준(word-level) 및 문자 수준(character-level) 채널을 결합하는 경량 유사도 인코더인 AnySimLite를 제안한다. 데이터셋 변환 전략과 함께 여러 SA 분류 태스크에서 AnySimLite를 평가한 결과, 낮은 메모리 점유를 유지하면서 퓨샷 설정에서 일관되게 최고 수준(state-of-the-art, SOTA) 또는 SOTA 경쟁력 있는 성능을 달성함을 보인다. 최악의 경우에도 성능 저하는 7% 미만으로 유지되며, SOTA 기준선인 qLLaMA_LoRA-7B 모델 크기의 $\frac{1}{250}$에 불과하다.

arXiv:2606.26710v1cs.AI공통 태그 Metric Learning, Few-Shot Learning

복합화력 가스터빈의 퓨샷 고장 탐지를 위한 칼만 프로토타입 네트워크

Kalman Prototypical Networks for Few-shot Fault Detection in Combined Cycle Gas Turbines

복합화력(Combined Cycle) 가스터빈(CCGT)은 높은 효율과 환경 영향 저감을 제공하여 현대 전력 생산에서 핵심적인 역할을 한다. 그러나 복잡한 열유체(thermo-fluid) 및 기계적 상호작용으로 인해, 특히 라벨이 지정된 고장 데이터가 부족할 때 고장 탐지가 어려워진다. 본 논문에서는 CCGT 고장 진단을 위해 특화된 메트릭 기반(metric-based) 퓨샷 학습(FSL) 프레임워크인 칼만 프로토타입 네트워크(KPN, Kalman Prototypical Network)를 제안한다. 클래스 프로토타입의 진화를 동적 시스템에서 잠재 확률적 상태로 모델링하여 에피소드 간 분산을 줄이고 임베딩 표현의 견고성을 향상시킨다. 해상 CCGT 시스템의 고충실도(high-fidelity) Modelica 기반 동적 시뮬레이션으로 생성된 합성 데이터셋을 사용하여, 과도(transient) 조건 하에서 정상 운전과 점진적 누설 고장을 모두 시뮬레이션했다. 제안된 프레임워크를 시뮬레이션된 누설 고장 탐지 태스크에 적용한 결과, 다양한 support 및 query 구성에서 KPN이 Matching Networks, Relation Networks, MAML과 같은 기존 FSL 방법들을 정확도와 안정성 모두에서 능가함을 보여준다. 제안된 프레임워크는 클래스 표현을 안정화함으로써 학습 수렴과 일반화를 크게 개선하여, 라벨 데이터가 제한적인 실세계 CCGT 고장 탐지에 잘 적합하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.