Solving Semi-Supervised Few-Shot Learning from an Auto-Annotation Perspective
원문 초록
Semi-supervised few-shot learning (SSFSL) resembles real-world applications such as auto-annotation, as it aims to learn a model from a few labeled and abundant unlabeled task-specific examples to annotate the unlabeled ones. Despite the availability of powerful open-source Vision-Language Models (VLMs) and open-world data, existing SSFSL literature largely neglects these resources. In contrast, the related area few-shot learning (FSL) has already exploited them to boost performance. Arguably, to solve real-world auto-annotation, SSFSL should leverage such open resources. To bridge this gap, we explore established SSL methods to finetune a VLM. Unexpectedly, they significantly underperform FSL baselines that do not use unlabeled data. Our in-depth analysis reveals the root cause of failure: VLMs produce flat distributions of softmax probabilities, resulting in zero utilization of unlabeled data and weak supervision signals. To address this challenge, we propose an embarrassingly simple solution that uses temperatures to sharpen the softmax output, which not only increases the confidence scores of pseudo-labels to improve the utilization of unlabeled data, but also strengthens training supervision for effective finetuning. Furthermore, we exploit task-relevant open data, e.g., those retrieved from VLMs' publicly available pretraining set. To mitigate the imbalance and domain gaps in retrieved data, we employ a stage-wise training strategy. Building on the successful finetuning of VLMs and the exploitation of open data, we present a simple yet effective SSFSL method, Stage-Wise Finetuning with Temperatures (SWIFT). Across five benchmarks, SWIFT outperforms recent FSL and SSL methods by $\sim$5 accuracy points. SWIFT even rivals supervised learning, which finetunes a VLM assuming unlabeled data having ground-truth labels!
요약
비전-언어 모델(VLM) 파인튜닝 시 발생하는 평탄한(flat) softmax 확률 분포 문제를 원인으로 지목하고, 온도(temperature) 파라미터로 softmax 출력을 날카롭게 만들어 미레이블 데이터 활용률과 학습 감독 신호를 강화하는 반지도 퓨샷 학습(SSFSL) 방법인 SWIFT를 제안한다. SWIFT는 VLM 파인튜닝과 단계별 오픈 데이터 검색을 결합하여 5개 벤치마크에서 기존 FSL 및 SSL 방법 대비 약 5%p 높은 정확도를 달성하며 완전 지도학습에 근접하는 성능을 보인다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2512.10244v3제출 시각 미확인
- arXiv:2512.10244v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
약하게 주석된 바이오이미징 데이터를 위한 모델 무관 지식 증강 머신러닝
Model-agnostic Knowledge Augmented Machine Learning for Weakly Annotated Bioimaging Data
현미경 및 세포형태학 이미지와 같이 약하게 주석된(weakly annotated) 바이오이미징 데이터로부터 자동 특징 추출을 수행하기 위해 머신러닝 모델의 활용이 점차 증가하고 있습니다. 그러나 자동 특징 추출에만 전적으로 의존하기 때문에, 기존 기법들은 약하게 주석된 데이터셋 전반에서 일관되지 않은 분류 성능을 보입니다. 본 연구에서는 머신러닝 모델이 자동 특징 추출로 포착할 수 있는 범위를 넘어 도메인 지식을 활용할 수 있도록 지원하는 모델 무관(model-agnostic) 지식 증강 기법을 제안합니다. 제안된 접근 방식은 7가지 머신러닝 아키텍처 전반에서 분류 성능을 향상시킵니다. 마스크 오토인코더(MAE) 기반 자기지도학습과 통합했을 때 본 기법은 전반적으로 가장 강력한 성능을 달성하여, 3개의 사내 현미경 데이터셋에서 차순위 방식 대비 정밀도를 2.9% 향상시켰으며 3개의 공개 세포형태학 벤치마크에서는 평균 6.8% 향상시켰습니다. 본 연구에서는 인간 유도만능줄기세포 유래 운동 신경세포에 대한 세 가지 독립적인 현미경 데이터셋을 활용하여, 근위축성 측삭 경화증(ALS)과 연관된 표현형인 핵에서 세포질로의 TAR DNA 결합 단백질 43(TDP-43) 이소(mislocalization) 현상을 기반으로 세포핵 수준의 분류를 수행합니다. 대규모 환경에서 이 표현형을 정확히 정량화하는 것은 여전히 어려우며, 이는 연구 간 불일치를 초래하는 원인이 될 수 있습니다. 성능이 가장 우수한 모델을 이들 현미경 데이터셋에 적용한 결과, 프로테아좀 스트레스원인 MG132와 산화 스트레스원인 아비산나트륨(SA)이 TDP-43 이소에 미치는 농도 의존적 영향, 산발성 및 가족성 ALS 공여자의 운동 신경세포에서 나타나는 다양한 병리 양상, 그리고 약리학 화합물인 에다라본과 니클로사마이드가 SA 유도 TDP-43 이소에 대해 보호 효과를 제공하지 못한다는 점 등을 포함하여 ALS와 관련된 생물학적 해석을 도출했습니다. 종합적으로, 본 파이프라인은 생체 외(in-vitro) 세포 이미지 분석을 가능하게 하여 ALS 관련 병리와 잠재적 치료법에 대한 이해를 증진하는 데 기여합니다.
어디를 볼 것인가가 중요하다: 3D 의료 자기지도학습에서의 서브 볼륨 샘플링 재고
Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning
3D 의료 영상에서의 자기지도학습(self-supervised learning)은 일반적으로 사전학습(pre-training) 중 무작위 서브 볼륨(sub-volume) 샘플링에 의존합니다. 그러나 무작위 크롭(random cropping)은 해부학적 사전 지식과 공간적 중복성으로 인해 영역 간 표현 학습(representation learning) 가치가 본질적으로 불균등함에도 불구하고, 모든 공간 영역을 관찰할 가치가 동일한 것으로 암묵적으로 취급합니다. 이를 위해, 본 연구는 먼저 제어된 크롭 품질 조작 실험을 통해 더 나은 서브 볼륨이 더 우수한 다운스트림 전이(transfer)로 이어진다는 점을 보임으로써, 관찰 정책(observation policy)이 3D 의료 SSL에서 간과되어 온 병목 현상임을 밝힙니다. 이러한 발견에 착안하여 서브 볼륨 샘플링을 어디를 볼 것인가(\emph{where-to-look})의 문제로 재검토합니다. 우리는 무작위 크롭을 해부학 인식(\textit{anatomy-awareness}), 정보성(\textit{informativeness}), 다양성(\textit{diversity})에 기반한 오프라인 조-세밀(coarse-to-fine) 프로브 뱅크로 대체하는 플러그 앤 플레이 프레임워크인 \textbf{\method}를 제안합니다. 경량 볼륨 내재적 사전 지식만으로 충분한지, 혹은 더 풍부한 의미론적 단서가 신뢰할 수 있는 추가적인 가치를 제공하는지 검증하기 위해 기하학적 및 영상 통계적 단서를 활용하는 경량 변형인 \lite와 고정된 시각적 특징을 활용하는 진단 변형인 \feat로 \method를 구현합니다. 여러 3D 의료 SSL 백본 및 다운스트림 태스크에 걸친 광범위한 실험을 통해, \method-\lite가 무작위 샘플링 대비 전이 성능을 일관되게 향상시킴을 입증합니다. 나아가 메커니즘 분석을 통해 이러한 이득이 해부학적으로 더 타당하고 정보성이 높은 관찰, 감소된 공간적 중복성, 더 효율적인 학습 역학(learning dynamics), 그리고 더 구조화된 표현에 기인함을 밝힙니다.
의약품 식별을 위한 생성적 특징 증강 기반 하이브리드 머신러닝 보조 라만 분광법
Hybrid Machine Learning-Assisted Raman Spectroscopy with Generative Feature Augmentation for Pharmaceutical Identification
의약품 잔류물의 신속하고 신뢰성 있는 식별은 공중보건을 보호하고 식품 안전을 보장하며 실용적인 라만(Raman) 기반 스크리닝을 가능하게 하는 데 중요하다. 본 연구에서는 심층 스펙트럼 특징 추출, 생성 모델, 전통적인 머신러닝 분류기를 결합한 하이브리드 라만 분광법 프레임워크인 HyMLRaman을 제안하여 아목시실린(amoxicillin), 클로람페니콜(chloramphenicol), 시프로플록사신(ciprofloxacin), 테트라사이클린(tetracycline), 이부프로펜(ibuprofen), 파라세타몰(paracetamol)을 포함한 6종의 의약품 화합물을 식별한다. 라만 스펙트럼은 스펙트럼 이미지로 변환되어 여러 심층 신경망 백본(backbone)으로 인코딩되며, 이 중 EfficientNet-B3가 가장 효과적인 표현을 제공한다. 이렇게 얻어진 1536차원 임베딩은 SVM, KNN, 로지스틱 회귀(logistic regression), 랜덤 포레스트(random forest), XGBoost, ANN을 포함한 다운스트림 분류기를 계층화 10-폴드 교차 검증(stratified 10-fold cross-validation) 방식으로 학습시키는 데 사용된다. 하이브리드 EfficientNet-B3-SVM 구성은 96.31%의 정확도와 96.36%의 매크로-F1(macro-F1) 점수를 달성하여 가장 우수한 기준선 성능을 보이며, 단독 CNN 기준선을 능가한다. 제한된 데이터 조건을 해결하기 위해, PCA로 차원을 축소한 EfficientNet-B3 잠재 공간(latent space)에서 DDPM 기반 특징 증강이라는 생성 모델을 도입한다. 저데이터(low-data) 어블레이션(ablation) 결과는 DDPM 증강이 선택적인 이점을 제공하며, 특히 학습 데이터 비율이 줄어든 상황에서 KNN에 효과적이지만 그 효과는 분류기에 따라 달라짐을 보여준다. 마지막으로, 애플리케이션 수준의 라만 의약품 분석기(Raman Pharmaceutical Analyzer)는 학습된 모델을 대화형 라만 분석 워크플로우에 통합할 수 있음을 보여준다. 이러한 결과는 HyMLRaman이 신속한 라만 기반 의약품 스크리닝을 위한 실용적이고 해석 가능한 방법을 제공함을 시사한다.
ViTok: PHI-S 및 마스크드 이미지 모델링을 활용한 AM-RADIO 스타일 다중 교사 지식 증류에서의 조밀한 의미론 개선
ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling
본 연구에서는 전역 인식(global recognition)과 조밀한 의미론(dense semantics)을 함께 보존하는 단일 다중 교사 지식 증류(multi-teacher distillation) 레시피로 현재의 ViTok 성과를 통합하는 방법을 연구합니다. 본 연구의 출발점은 SigLIP2와 DINOv3-L로부터 지식 증류된 AM-RADIO 스타일의 학생 모델(student)이며, 여기서 SigLIP2는 강력한 전역 의미론을 제공하고 DINOv3-L은 더 강력한 조밀한 특징(feature)을 제공합니다. 핵심적인 실증적 문제는 동일한 레시피가 모든 목표를 동등하게 잘 최적화하지 못한다는 점입니다. 즉, ImageNet-1K kNN 정확도를 향상시키는 변경 사항이 ADE20K 분할(segmentation) 성능을 여전히 저하시킬 수 있습니다. 우리는 이러한 트레이드오프를 보다 명확하고 다루기 쉽게 만드는 일련의 수정 사항들을 정리합니다: CLS 및 패치 토큰(patch token)을 위한 분할 어댑터 헤드, 비대칭 코사인/MSE 손실, DINOv3-L 체크포인트(checkpoint)로부터의 초기화(initialization), 교사 가중치 재조정, 마스크드 이미지 모델링(MIM), 그리고 PHI-S 특징 밸런싱. 그 결과 모델은 패치 kNN 83.2와 CLS kNN 85.2에 도달하여 ImageNet-1K kNN 분류(classification)에서 DINOv3-L 교사 모델을 소폭 능가하는 한편, PHI-S는 ADE20K 성능을 46.5/58.1에서 48.5/61.0 mIoU/mAcc로 회복하여 이 조밀한 벤치마크에서 교사 모델과 동등한 수준을 달성했습니다. 또한 우리는 부정적인 결과(negative results)도 함께 정리합니다: 지식 증류를 ImageNet-1K에서 ImageNet22K로 확장하는 것이 일관된 도움을 주지 못하며, SAM3이나 HOG 특징과 같은 추가 교사를 단순하게 추가하는 것은 간섭을 유발합니다. 본 논문은 최종 레시피를 주장하기보다는 현재의 프로젝트 상태를 간결한 실증적 스토리와 향후 반복 연구를 위한 구체적인 교훈으로 정리하여 제시합니다.
항공 화재 위험 분류를 위한 SigLIP2
SigLIP2 for aerial fire risk classification
본 연구에서는 사전학습(pre-training)된 SigLIP2 이미지 인코더를 항공 영상 기반의 7개 클래스 화재 위험 분류(classification)로 전이(transfer)하는 과정을 살펴봅니다. 공개 FireRisk 학습(training) 미러의 재현 가능한 분할과 데이터 출처(provenance), 전처리 및 모델(model) 선택을 기록하는 구현을 소개합니다. 초기 두 번의 실험에서는 고정된(frozen) 인코더 프로브와 전체 모델 적응(adaptation)을 비교합니다. 검증(validation) 분할에서 전체 모델 적응은 63.05%의 정확도와 58.94%의 매크로 F1을 달성한 반면, 프로브는 55.95% 및 50.19%를 기록했습니다. 두 실험 모두 단일 학습 시드를 사용하며 동일한 검증 분할에서 체크포인트(checkpoint)를 선택합니다. 이러한 개발 단계의 결과는 SigLIP2에 대한 추가적인 평가를 뒷받침하지만, 독립적인 테스트 세트나 미확인 지역에서의 성능을 입증하지는 않습니다. 함께 제공되는 코드는 반복 실험 및 추가적인 시각 인코더와의 비교를 위한 공통 프레임워크를 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.