arXiv:2004.02034

Optimization of Image Embeddings for Few Shot Learning

Arvind Srinivasan, Aprameya Bharadwaj, Manasa Sathyan, S. Natarajan

제출 2020-04-04

원문 초록

In this paper we improve the image embeddings generated in the graph neural network solution for few shot learning. We propose alternate architectures for existing networks such as Inception-Net, U-Net, Attention U-Net, and Squeeze-Net to generate embeddings and increase the accuracy of the models. We improve the quality of embeddings created at the cost of the time taken to generate them. The proposed implementations outperform the existing state of the art methods for 1-shot and 5-shot learning on the Omniglot dataset. The experiments involved a testing set and training set which had no common classes between them. The results for 5-way and 10-way/20-way tests have been tabulated.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27710v3cs.CV공통 태그 Few-Shot Learning, Graph Neural Network

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2609.05253v2cs.LG공통 태그 Few-Shot Learning, Graph Neural Network

GLASS: 전이 가능한 그래프 수준 이상치 탐지를 위한 구면 점수화 기반 그래프-언어 정렬

GLASS: Graph-Language Alignment with Spherical Scoring for Transferable Graph-Level Anomaly Detection

본 논문에서는 단위 초구(unit hypersphere) 상의 그래프-언어 정렬을 통해 강력한 도메인 간 전이 가능성(cross-domain transferability)을 달성하는 그래프 수준 이상치 탐지(GLAD) 프레임워크인 GLASS를 소개합니다. GLASS는 다중 슬라이스 소프트 코사인 목적 함수(multi-slice soft cosine objective)를 통해 구조 인지 그래프 인코더와 지시 인지(instruction-aware) 텍스트 임베딩을 정렬하여 통합된 표현 공간을 구축합니다. 본 프레임워크는 국소적, 전역적, 의미론적 그래프 속성을 압축된 그래프 기술자 프롬프트(GraphDP)로 직렬화하여 도메인에 구애받지 않는 이상치 점수화를 가능하게 하는 텍스트 가교를 만듭니다. 마트료시카 표현 슬라이스(Matryoshka representation slices)를 통해 다중 스케일 일관성을 강제함으로써, 모델은 다양한 입도 수준에서 이상 편차를 포착합니다. 우리는 이상치 탐지를 정렬된 초구 상에서의 밀도 추정 문제로 정식화하고, 그래프 및 텍스트 임베딩 공간 모두에서 폰 미제스-피셔(von Mises-Fisher) 커널 밀도 추정기를 인스턴스화하는 구면 멀티모달 점수화(SMS)를 도입합니다. 이러한 확률론적 정식화는 고밀집 극한(high-concentration limit)에서 각도 기반 1-최근접 이웃 점수화를 복원하고, 실용적인 평균 k-최근접 이웃 점수 계산기에 이론적 동기를 부여하며, 구조적 및 의미론적 이상 신호의 원칙적인 융합을 제공합니다. 공유된 텍스트 임베딩 공간은 도메인 간 가교 역할도 수행합니다. 타깃 도메인 학습 데이터 없이도 타깃 도메인의 GraphDP를 인코딩하여 제로샷(zero-shot) 이상치 탐지를 수행하며, 소수의 정상 예시만으로 참조 세트 보정(reference-set calibration)을 통한 퓨샷(few-shot) 적응을 수행합니다. 프라이버시에 민감한 배포 환경을 위해, 우리는 프라이빗 타깃 참조와 무관하게 인코더를 고정한 상태로 유지하면서 그래프 레코드 차분 프라이버시(differential privacy)를 제공하는 유계 결합 그래프-텍스트 커널 요약으로 참조 세트 보정을 확장합니다. 12개의 벤치마크와 3개의 메타 도메인에 걸친 실험에서, GLASS는 최신 고급 GLAD 베이스라인들과 비교해 최고의 평균 AUROC 및 순위를 달성하며 효과적인 도메인 간 전이를 가능하게 합니다.

arXiv:2607.21004v1cs.CV공통 태그 Few-Shot Learning, Graph Neural Network

AUCH-Net: 교차 도메인 퓨샷 얼굴 표정 인식을 위한 액션 유닛 기반 일관성 인식 하이퍼그래프 네트워크

AUCH-Net: Action Unit-Based Consistency-Aware Hypergraph Network for Cross-Domain Few-Shot Facial Expression Recognition

최근 교차 도메인 퓨샷 얼굴 표정 인식(CF-FER)이 상당한 관심을 받고 있다. 그러나 기존 CF-FER 방법의 성능은 여전히 불만족스러운데, 이는 큰 도메인 차이와 제한된 타깃 샘플 하에서 이전 가능한 특징 학습이 미흡하기 때문이다. 다행히 액션 유닛(AU)은 서로 다른 얼굴 근육의 움직임을 나타내며, 도메인 내외에서 표정을 기술하는 데 일관된 개념적 의미론을 제공한다. 이에 영감을 받아, AU에 일관성 인식 하이퍼그래프를 구성하는 새로운 액션 유닛 기반 일관성 인식 하이퍼그래프 네트워크(AUCH-Net)를 CF-FER를 위해 제안한다. 구체적으로, AUCH-Net은 새로운 AU 특징 학습(AFL) 모듈과 새로운 시각적 특징 학습(VFL) 모듈을 제시한다. AFL 모듈은 새로운 관계 일관성 손실과 AU 정규화 손실의 지침 하에 AU 특징을 학습하고, VFL 모듈은 관계 일관성 손실과 분류 손실의 감독 하에 시각적 특징을 학습한다. 일관된 AU 특징을 학습함으로써 AUCH-Net은 AU와 표정 범주 간의 연결을 효과적으로 모델링한다. 그 결과, 세밀한 얼굴 변화와 고수준 표정 범주 사이의 간극을 메울 수 있어, 이전 가능한 특징 표현의 학습을 크게 촉진한다. 실험실(in-the-lab) 및 실세계(in-the-wild) 데이터셋 모두에서의 광범위한 실험은 우리 방법이 여러 최신(state-of-the-art) 방법보다 일관되게 우수한 성능을 보임을 나타낸다. 우리 결과는 AU 간의 관계를 모델링하는 것이 교차 도메인 퓨샷 시나리오에서 FER에 상당한 잠재력을 지님을 분명히 보여준다.

arXiv:2607.11374v1cs.LG공통 태그 Few-Shot Learning, Graph Neural Network

그래프-테이블 정렬을 통한 놀랍도록 단순하고 효과적인 다중 도메인 그래프 파운데이션 모델

Surprisingly Simple and Effective Multi-Domain Graph Foundation Model through Graph-to-Table Alignment

그래프 파운데이션 모델(GFM)은 다양한 그래프 도메인에 걸쳐 전이 가능한 표현을 학습하는 유망한 패러다임으로 부상하고 있다. GFM의 최근 발전은 그래프 신경망(neural network)과 대규모 언어 모델(LLM) 기반 방법이라는 두 패러다임이 주도해 왔다. 그러나 이러한 방법들은 제한된 데이터로의 학습(training)과 텍스트 속성에 대한 과도한 의존 사이의 근본적인 딜레마에 직면하는 경우가 많다. 테이블형 파운데이션 모델(TFM)은 노드(node) 피처와 표현을 자연스럽게 테이블 형태로 구성할 수 있다는 점에서 잠재적인 대안을 제공한다. 그러나 TFM이 그래프의 구조적 정보를 효과적으로 포착할 수 있도록 하는 방법은 아직 충분히 탐구되지 않았다. 핵심 과제는 TFM의 그래프 구조 이해를 가능하게 하는 그래프-테이블 정렬 메커니즘을 학습하는 것이다. 이를 해결하기 위해 우리는 텍스트 불필요 그래프 파운데이션 모델을 위한 놀랍도록 단순하면서도 효과적인 그래프-테이블 정렬 프레임워크인 GTAlign을 제안한다. 구체적으로, 먼저 다양한 그래프를 통합된 잠재 공간에 매핑하여 도메인 불가지론적 그래프 표현을 포착하는 그래프 인코더를 사전학습(pre-training)한다. 그래프 위상과 테이블형 표현 공간 사이의 간극을 추가로 좁히기 위해, 그래프 커뮤니티에서 도출된 의사 레이블을 사용하여 퓨샷(few-shot) 예측 에피소드를 구성하는 커뮤니티 유도 연속 사전학습을 제안한다. 마지막으로 그래프 인코더를 미지의 타깃 도메인에 적응시키고 문맥 내 학습(ICL) 방식으로 추론(inference)을 수행한다. 5개의 벤치마크 데이터셋에 대한 광범위한 실험을 통해 GTAlign이 노드 및 그래프 분류(classification) 모두에서 최신 기준 모델(baseline)을 크게 능가함을 보여주며, 단순하고 효과적인 텍스트 불필요 GFM 모델임을 입증한다. 코드는 논문 게재 승인 후 공개될 예정이다.

arXiv:2607.08374v1cs.CL공통 태그 Few-Shot Learning, Graph Neural Network

성격 인식에서 프로토타입 네트워크를 위한 이론-무관 적응적 메트릭 정렬에서의 LLM-as-a-Judge

Large-Language-Models-as-a-Judge in Theory-Agnostic Adaptive Metric-Alignment for Prototypical Networks in Personality Recognition

성격 인식(Personality Recognition)은 전통적으로 이론-의존적 공식화에 의해 제한되어 왔으며, 이 방식에서는 모델이 공유된 기저 행동 구조를 발견하기보다는 사전 정의된 심리학적 분류 체계에 맞게 학습된다. 성격 자체는 이론-불변적(theory-invariant)으로 이해하는 것이 더 적합하지만, 기존 어노테이션은 동일한 잠재 특성에 대해 부분적이고 때로는 일관되지 않은 관점만을 반영하므로, 이는 일반화를 제한한다. 본 연구에서는 JAM((J)udge for (A)daptive (M)etric-Alignment)을 제안한다. JAM은 이론-무관 프레임워크로, 사전 정의된 성격 이론에 적응하는 학습 방식에서 벗어나 공유된 심리 구조를 포착하는 통합된 잠재 의사-세부 요인(pseudo-facets)을 발견하는 방향으로 학습을 전환한다. 학습 또는 추론 과정에서 모델을 특정 성격 분류 체계에 제한하는 대신, 이 프레임워크는 일반화 가능한 심리적 표현을 학습하고, 이론별 레이블 없이 텍스트 샘플로부터 직접 개인의 잠재 심리 프로파일을 추론할 수 있다. JAM은 임베딩 공간에서의 클러스터링을 통해 구조화된 표현을 학습하는 어텐션-풀링 그래프 프로토타입 네트워크(Attention-Pooled Graph Prototypical Network)와, 사전 정의된 레이블에 의존하지 않고 이종 데이터셋을 통합하기 위해 (i) 인간 유도 연결(Human-Guided Linkage)과 (ii) 기계 유도 합의(Machine-Induced Consensus)를 통합하는 교차-이론 조화(Cross-Theory Harmonization, CTH) 접근법을 통해 이를 달성한다. 강건성과 데이터 품질을 더욱 향상시키기 위해, (i) LLM-before-the-loop와 (ii) LLM-in-the-loop의 두 가지 구성으로 동작하는 LLM-as-a-judge 메커니즘을 도입하며, 이는 적응적 메트릭 학습을 유도하기 위해 모호한 샘플을 식별한다. 실험 결과, JAM은 교차-프레임워크 일반화 및 성능을 향상시켜 이론-무관 성격 추론을 향한 중요한 진전을 이루고 저자원(low-resource) 성격 이론을 지원함을 확인하였다. 관련 코드 저장소, 모델 가중치 및 아티팩트는 https://research.jingjietan.com/JAM 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.