arXiv:2104.07841

Pareto Self-Supervised Training for Few-Shot Learning

Zhengyu Chen, Jixie Ge, Heshen Zhan, Siteng Huang, Donglin Wang

제출 2021-04-16

원문 초록

While few-shot learning (FSL) aims for rapid generalization to new concepts with little supervision, self-supervised learning (SSL) constructs supervisory signals directly computed from unlabeled data. Exploiting the complementarity of these two manners, few-shot auxiliary learning has recently drawn much attention to deal with few labeled data. Previous works benefit from sharing inductive bias between the main task (FSL) and auxiliary tasks (SSL), where the shared parameters of tasks are optimized by minimizing a linear combination of task losses. However, it is challenging to select a proper weight to balance tasks and reduce task conflict. To handle the problem as a whole, we propose a novel approach named as Pareto self-supervised training (PSST) for FSL. PSST explicitly decomposes the few-shot auxiliary problem into multiple constrained multi-objective subproblems with different trade-off preferences, and here a preference region in which the main task achieves the best performance is identified. Then, an effective preferred Pareto exploration is proposed to find a set of optimal solutions in such a preference region. Extensive experiments on several public benchmark datasets validate the effectiveness of our approach by achieving state-of-the-art performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13660v1cs.LG공통 태그 Few-Shot Learning, Inductive Bias

ARC를 위한 사전학습과 테스트 시점 학습 예산의 중요성: VARC와 TRM에 대한 통제 연구

Pretraining and Test-Time Training Budgets Matter for ARC: A Controlled Study of VARC and TRM

추상화 및 추론 코퍼스(Abstraction and Reasoning Corpus, ARC)는 신경망이 적은 수의 시연(demonstration)으로부터 과제별 변환을 추론할 수 있는지를 평가하는 데 점점 더 많이 사용되고 있다. 최근의 ARC 모델들은 아키텍처뿐만 아니라 사전학습 데이터, 데이터 증강, 테스트 시점 설정, 최적화 예산을 포함한 더 넓은 학습 및 평가 프로토콜에서도 차이를 보이며, 이로 인해 아키텍처의 이점에 대한 결론이 논쟁의 여지가 있다. 본 연구에서는 ARC-AGI-1에 대한 공통된 귀납적 프로토콜 하에서, 비전에서 영감을 받은 VARC 모델과 재귀 기반 TRM 모델의 성능이 사전학습 및 테스트 시점 학습(test-time training, TTT) 예산에 의해 어떻게 영향을 받는지를 연구한다. 각 테스트 과제에 대해 다섯 가지 사전학습 예산과 네 가지 TTT 예산을 교차시킨다. 각 예산은 과제 변형 수와 총 샘플 제시 횟수를 지정하며, 이를 통해 통제된 학습 예산을 정의한다. TTT 샘플 제시 횟수를 늘리면 두 모델 모두에서 모든 설정에서 표준 ARC pass@2 지표가 향상되는 것을 관찰하였다. TTT 과제 변형 수를 늘리는 것은 TRM에만 일관되게 도움이 되는 반면, VARC는 변형 수가 더 적을 때 더 좋은 성능을 보이는 경우가 많다. 또한 VARC는 사전학습 없이도 경쟁력을 유지하는 반면, TRM은 사전학습으로부터 훨씬 더 많은 이점을 얻는다. 이러한 결과는 사전학습과 TTT 예산이 ARC 평가에 영향을 미친다는 것을 보여주며, 비교 가능한 예산 수준에서 결과를 보고할 필요성을 제기한다.

arXiv:2609.22323v1cs.CV공통 태그 Few-Shot Learning, Inductive Bias

ALPINE: 매개변수 및 샘플 효율적인 퓨샷 학습을 위한 적응형 위치 추정

ALPINE: Adaptive Localization for Parameter- and Sample-Efficient Few-Shot Learning

퓨샷 학습(Few-shot learning) 연구는 대규모 연산 자원이 없는 실무자들에게 현실적인 제약인 정확도 도달에 필요한 매개변수 및 학습 샘플 예산에 대한 관심은 제한적인 채, 주로 정확도만으로 평가됩니다. 본 논문에서는 고정된 가보르(Gabor) 에지 에너지 유도와 윈도우 기반의 콘텐츠 적응형 패치 위치 추정기(patch locator)를 결합한 퓨샷 이미지 분류를 위한 초경량(22,249-34,917개 매개변수) 공간-관계형 아키텍처를 제시합니다. 엄격하게 통제된 동일 에피소드 예산(iso-episode-budget) 프로토콜(250회 메타 학습 에피소드, 5개 표준 시드, 시드당 600회 평가 에피소드) 하에서, 본 아키텍처는 CIFAR-FS와 MiniImageNet 모두에서 Prototypical Networks, Relation Networks, MAML 대비 모든 5개 시드에 걸쳐 일관된 5-샷(5-shot) 정확도 향상을 달성하는 동시에, 어떠한 기준선보다 27-53% 적은 매개변수를 사용합니다. 또한 더 적은 학습 에피소드에서 수렴하고, 접하지 않은 세분화된 도메인(CUB-200-2011 조류, 재학습 없음)으로 더 잘 일반화되며, 세 기준선 모두에 비해 50% 폐색(occlusion) 및 25% 공간 이동(spatial translation)에 더욱 견고합니다. 추론 시 관계 토큰을 0으로 설정하거나 관계 토큰을 완전히 배제하고 재학습하는 일련의 반증 절제 연구(falsification ablations)를 통해 아키텍처의 쌍별(pairwise) 관계 연산이 존재하긴 하지만 성능의 주된 동인은 아니며, 콘텐츠 적응형 패치 위치 추정기가 핵심 동인임을 보여줍니다. 우리는 약 22-35k 매개변수 근처에서 진정한 정확도 안정 상태(plateau)를 나타내는 용량 탐색(capacity sweep) 결과와 함께 이를 솔직하게 보고하며, 재현성을 위해 전체 시드 수준의 결과와 체크포인트 해시를 공개합니다.

arXiv:2609.23881v1cs.CV공통 태그 Self-Supervised Learning, Inductive Bias

MotionJEPA: 잠재 공간에서 시각적 변화를 포착하여 시간적 특징 붕괴 방지하기

MotionJEPA: Preventing Temporal Feature Collapse by Capturing Visual Changes in Latent Space

Joint Embedding Predictive Architecture(JEPA)는 시각적 재구성(visual reconstruction) 없이 과제 무관(task-agnostic) 잠재 월드 모델을 학습(training)하기 위한 유망한 패러다임입니다. 그러나 표준 JEPA 학습은 느린 특징(slow feature)에 대한 강한 귀납적 바이어스(inductive bias)를 보여, 특징 억제와 잠재 표현(latent representation)의 붕괴를 초래합니다. 역동역학(inverse dynamics)은 시간적 붕괴 방지(temporal anti-collapse)를 제공하지만, 행동 레이블(action label)에 의존하며 레이블이 없는 일반적인 역동학을 임베딩(embedding)하도록 유도하는 효과는 미미합니다. 본 논문에서는 픽셀 재구성 손실(pixel reconstruction loss) 없이 시간적 차영상 임베딩을 예측하는 역동역학 스타일 모듈을 기반으로 하여 정적 및 동적 특징 학습의 균형을 맞추는 새로운 정규화(regularization) 기법인 Difference Image and Single image embedding Regularization(DISReg)을 소개합니다. DISReg는 이미지 임베딩의 분포를 형성하고 느린 특징을 유도하는 정적 항과, 임베딩에 직접 정규화를 적용하는 방식과 달리 이미지 임베딩의 형태나 분포에 제약을 가하지 않고 동적 특징이 존재하도록 유도하기만 하는 동적 항으로 구성됩니다. 이 정규화 기법을 표준 JEPA에 통합하여 새로운 아키텍처인 MotionJEPA를 구축합니다. 잠재 프로빙(latent probing)을 통해 MotionJEPA가 다른 방식들보다 더 완전한 표현을 생성함을 입증하며, 궤적 분석(trajectory analysis)을 통해 곡률(curvature)이 낮은 기하학적으로 단순한 잠재 임베딩을 유지함을 보여줍니다. 나아가 4개의 환경에서 MotionJEPA가 정적 배경 방해 요소(static-background distractors)가 존재하는 상황에서도 다운스트림 플래닝(planning) 성공률을 향상시킴을 보입니다.

arXiv:2607.22408v1cs.LG공통 태그 Self-Supervised Learning, Few-Shot Learning

LunarFM: 달 표면의 공유 다중모달 표현

LunarFM: A Shared Multimodal Representation of the Moon's Surface

현장 자원 활용(in-situ resource utilization)과 달에 대한 지속적인 인간 거주 전망에 힘입어 달 탐험이 다시 전 세계적 관심을 받으면서, 달 표면의 정확하고 대규모적인 특성화에 대한 수요가 증가하고 있다. 궤도 원격 탐사 데이터가 방대하게 수집되었음에도, 이질적인 다중 계측기 관측, 희소 라벨, 맞춤형 과제별 모델링 워크플로로 인해 과학적 분석과 자원 매핑은 여전히 파편화되어 있다. 본 연구에서는 다양한 궤도 측정으로부터 달 표면의 일반적 표현을 학습하는 다중모달 파운데이션 모델 LunarFM을 소개한다. LunarFM은 세 개의 달 임무에서 여섯 개 계측기의 관측을 통합하여 18개 입력 채널을 공유 임베딩 공간에 매핑한다. 이 임베딩 공간이 유사도 검색, 퓨샷(few-shot) 자원 매핑, 광물 함량 회귀, 지질 단위 분류 등 다양한 다운스트림 응용을 지원함을 보여, 효율적인 과학적 조사와 자원 중심 분석을 가능하게 한다. 위도 70°S에서 70°N에 걸친 공동 등록(co-registered) 다중모달 관측의 머신러닝 준비 데이터셋, 사전학습된 다중모달 마스크드 오토인코더, 그리고 달 표면 특성의 결합 768차원 표현을 제공하는 동반 임베딩 데이터셋을 함께 제공한다. 모든 코드와 데이터는 https://lunarfm.trillium.tech/ 에서 이용할 수 있다.

arXiv:2607.22508v1cs.LG공통 태그 Self-Supervised Learning, Few-Shot Learning

bag-of-waves를 이용한 해석 가능한 EEG 바이오마커: 저데이터 환경을 위한 공간·시간 파형 사전

Interpretable EEG biomarkers with bag-of-waves: Spatial and temporal waveform dictionaries for low-data regimes

EEG(전기뇌파)는 신경학적 질환 진단에 널리 사용되지만, 그 분석은 보통 사전 정의된 스펙트럼 특징이나 심층 신경망에 의존한다. 사전 정의된 특징은 정보적 가치가 있는 것을 미리 고정하기 때문에 강한 바이어스를 수반하며, 심층 신경망과 파운데이션 모델은 해석하기 어렵고 대량의 데이터와 연산 자원이 필요하다. 우리는 bag-of-waves를 제안한다. 이는 레이블 없이 shift-invariant k-means를 사용하여 반복되는 EEG 파형 템플릿(atom이라고 함)의 작은 사전을 학습하는 해석 가능한 프레임워크이다. 연속 EEG 신호는 atom 토큰의 시퀀스로 변환되며, 그 토큰의 빈도는 간단한 하류 분류기 또는 클러스터링 단계에 입력된다. 이 표현을 두 가지 방식으로 확장한다: 시간적 구조를 포착하기 위해 atom 간 전이(n-gram이라고 부름)를 추가하고, 다채널 경우를 위해 단일 채널 atom에서 지역 및 채널 간 공간 atom으로 확장한다. 세 가지 상호 보완적인 데이터셋에서 방법을 검증한다. 각 데이터셋은 서로 다른 측면을 탐구한다: 동물 16마리만으로 수행한 단일 채널 마우스 유전형 클러스터링(저데이터 및 시간적 사례), 휴식 상태 치매 분류(공간적 사례), 그리고 임상 EEG 이벤트의 6분류를 위한 TUEV 벤치마크(강력한 심층 및 파운데이션 기준선과의 고데이터 비교). 세 데이터셋 모두에서 bag-of-waves는 최첨단 심층 및 파운데이션 모델과 경쟁력 있는 성능을 달성한다. 그러나 매개변수 수의 극히 일부만으로 동작하며 완전한 해석 가능성을 제공한다. 모든 atom이 검사 가능한 파형에 대응하기 때문에, 이 방법은 신경생리학자가 직접 검증할 수 있는 알려진 임상 형태학을 명시적으로 복원한다. 주요 장점은 더 무거운 모델이 적합하지 않은 저데이터 환경에서도 잘 작동한다는 점이다.

arXiv:2607.12463v3cs.AI공통 태그 Self-Supervised Learning, Inductive Bias

코딩 에이전트 기반 모델의 중간 학습을 위한 함수 인식 중간 채우기(FIM)

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

코딩 에이전트는 진행 중인 추론에 외부 도구의 반환값을 통합해야 하며, 이 능력은 코드에 대한 표준 좌→우 사전학습(pre-training)에서 전방 방향으로만 드러납니다. 우리는 코딩 에이전트의 행동-관측-지속(action-observation-continuation) 루프가 구조적으로 함수 호출 지점과 동형(isomorphic)이라는 점을 관찰합니다. 호출자(caller)가 인자를 바인딩하고, 피호출자(callee)가 다른 곳에서 계산된 값을 반환하며, 하위 코드가 그 값을 소비합니다. 이러한 조건화(conditioning) 구조는 일반 코드에서 인터넷 규모로 존재합니다. 우리는 함수 인식 중간 채우기(FIM) 중간 학습을 통해 이를 활용합니다. 이는 프로그램 의존성 그래프 분석과 복잡도-추론 가능성(complexity-inferability) 이중 기준을 통해 선택된 함수를 마스킹하는 자기지도(self-supervised) 목적 함수입니다. Qwen2.5-Coder-Instruct(7B/14B)와 Qwen3-8B를 968개 GitHub 저장소에서 수집한 26억 토큰 규모의 오염 제거(decontaminated) 코퍼스로 중간 학습한 뒤, 기존 에이전트형 사후 학습 파이프라인을 적용합니다. 중간 학습은 7B/14B에서 SWE-Bench-Verified를 +2.8/+3.0, Qwen3-8B에서 +3.2 향상시킵니다. SWE-Bench-Lite에서는 동일 모델에서 +3.7/+4.0/+5.4의 향상을 얻습니다. 이 향상은 두 가지 사후 학습 파이프라인(R2E-Gym, SWE-Smith)과 비 Qwen2.5 기반(Qwen3-8B with SWE-Lego)에서도 유지됩니다. 도메인 내 이득을 넘어, 중간 학습은 에이전트형 사후 학습이 그렇지 않으면 비에이전트 코딩(예: LiveCodeBench) 및 비코딩 도구 사용 벤치마크(tau-bench, BFCL)에 가하는 능력 침식을 완화합니다. 중간 학습 코퍼스는 Python 코드만 포함하지만, 함수 호출 귀납적 바이어스(inductive bias)는 사후 학습 후에도 유지되어 일관된 향상을 가져옵니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.