arXiv:2212.12206

Understanding and Improving Transfer Learning of Deep Models via Neural Collapse

Xiao Li, Sheng Liu, Jinxin Zhou, Xinyu Lu, Carlos Fernandez-Granda, Zhihui Zhu, Qing Qu

제출 2022-12-23

원문 초록

With the ever-increasing complexity of large-scale pre-trained models coupled with a shortage of labeled data for downstream training, transfer learning has become the primary approach in many fields, including natural language processing, computer vision, and multi-modal learning. Despite recent progress, the fine-tuning process for large-scale pre-trained models in vision still mostly relies on trial and error. This work investigates the relationship between neural collapse (NC) and transfer learning for classification problems. NC is an intriguing while prevalent phenomenon that has been recently discovered in terms of the final-layer features and linear classifiers of trained neural networks. Specifically, during the terminal phase of training, NC implies that the variability of the features within each class diminishes to zero, while the means of features between classes are maximally and equally distanced. In this work, we examine the NC attributes of pre-trained models on both downstream and source data for transfer learning, and we find strong correlation between feature collapse and downstream performance. In particular, we discovered a systematic pattern that emerges when linear probing pre-trained models on downstream training data: the more feature collapse of pre-trained models on downstream training data, the higher the transfer accuracy. Additionally, we also studied the relationship between NC and transfer accuracy on the source data. Moreover, these findings allow us to develop a principled, parameter-efficient fine-tuning method that employs skip-connection to induce the last-layer feature collapse on downstream data. Our proposed fine-tuning methods deliver good performances while reducing fine-tuning parameters by at least 90% and mitigating overfitting in situations especially when the downstream data is scarce.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24125v1cs.CV공통 태그 Self-Supervised Learning, Data Augmentation, Transfer Learning

양성 쌍 기하학의 중요성: 시각적 표현의 대조 학습을 위한 최적 수송

Positive Pair Geometry Matters: Optimal Transport for Contrastive Learning of Visual Representations

대조 자기지도학습(contrastive self-supervised learning)은 동일한 이미지의 여러 증강된 뷰(view)로부터 표현을 학습하여 뛰어난 성능을 달성해 왔습니다. 그러나 기존의 대부분 방법들은 독립적으로 샘플링된 확률적 증강을 사용하여 양성 쌍(positive pair)을 구성하므로, 시맨틱 콘텐츠를 변형시키고 데이터 분포의 본질적인 기하학(geometry)을 무시할 수 있습니다. 본 연구에서는 기하학적으로 일관된 양성 샘플을 생성하는, 표현의 대조 학습을 위한 최적 수송(optimal transport) 인식 프레임워크인 OTCLR을 제안합니다. 무작위로 증강된 두 뷰를 직접 대조하는 대신, 엔트로피 최적 수송 변위 보간(entropic optimal-transport displacement interpolation)을 통해 원본 이미지와 증강 변형 사이의 중간 뷰들을 구성합니다. 이렇게 수송 보간된 샘플들은 공간적 분포 기하학을 명시적으로 모델링하면서 이미지 구조를 더욱 잘 보존하는 양성 뷰 역할을 합니다. 매끄러운 표현 학습을 더욱 촉진하기 위해, 수송 보간된 뷰들이 끝점 이미지들과 일관성을 유지하도록 유도하는 보조 Sinkhorn 정규화 항을 평가합니다. 제안된 방법은 인코더 아키텍처를 수정하지 않고도 표준 대조 학습 파이프라인에 통합될 수 있습니다. 여러 벤치마크 데이터셋에 대한 실험을 통해, 본 접근법이 기존 증강 기반 대조 학습 베이스라인에 비해 표현 품질과 전이학습 성능을 향상시킴을 보여줍니다.

arXiv:2610.13915v1cs.CV공통 태그 Self-Supervised Learning, Transfer Learning

어디를 볼 것인가가 중요하다: 3D 의료 자기지도학습에서의 서브 볼륨 샘플링 재고

Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning

3D 의료 영상에서의 자기지도학습(self-supervised learning)은 일반적으로 사전학습(pre-training) 중 무작위 서브 볼륨(sub-volume) 샘플링에 의존합니다. 그러나 무작위 크롭(random cropping)은 해부학적 사전 지식과 공간적 중복성으로 인해 영역 간 표현 학습(representation learning) 가치가 본질적으로 불균등함에도 불구하고, 모든 공간 영역을 관찰할 가치가 동일한 것으로 암묵적으로 취급합니다. 이를 위해, 본 연구는 먼저 제어된 크롭 품질 조작 실험을 통해 더 나은 서브 볼륨이 더 우수한 다운스트림 전이(transfer)로 이어진다는 점을 보임으로써, 관찰 정책(observation policy)이 3D 의료 SSL에서 간과되어 온 병목 현상임을 밝힙니다. 이러한 발견에 착안하여 서브 볼륨 샘플링을 어디를 볼 것인가(\emph{where-to-look})의 문제로 재검토합니다. 우리는 무작위 크롭을 해부학 인식(\textit{anatomy-awareness}), 정보성(\textit{informativeness}), 다양성(\textit{diversity})에 기반한 오프라인 조-세밀(coarse-to-fine) 프로브 뱅크로 대체하는 플러그 앤 플레이 프레임워크인 \textbf{\method}를 제안합니다. 경량 볼륨 내재적 사전 지식만으로 충분한지, 혹은 더 풍부한 의미론적 단서가 신뢰할 수 있는 추가적인 가치를 제공하는지 검증하기 위해 기하학적 및 영상 통계적 단서를 활용하는 경량 변형인 \lite와 고정된 시각적 특징을 활용하는 진단 변형인 \feat로 \method를 구현합니다. 여러 3D 의료 SSL 백본 및 다운스트림 태스크에 걸친 광범위한 실험을 통해, \method-\lite가 무작위 샘플링 대비 전이 성능을 일관되게 향상시킴을 입증합니다. 나아가 메커니즘 분석을 통해 이러한 이득이 해부학적으로 더 타당하고 정보성이 높은 관찰, 감소된 공간적 중복성, 더 효율적인 학습 역학(learning dynamics), 그리고 더 구조화된 표현에 기인함을 밝힙니다.

arXiv:2610.02224v1cs.LG공통 태그 Data Augmentation, Transfer Learning

의약품 식별을 위한 생성적 특징 증강 기반 하이브리드 머신러닝 보조 라만 분광법

Hybrid Machine Learning-Assisted Raman Spectroscopy with Generative Feature Augmentation for Pharmaceutical Identification

의약품 잔류물의 신속하고 신뢰성 있는 식별은 공중보건을 보호하고 식품 안전을 보장하며 실용적인 라만(Raman) 기반 스크리닝을 가능하게 하는 데 중요하다. 본 연구에서는 심층 스펙트럼 특징 추출, 생성 모델, 전통적인 머신러닝 분류기를 결합한 하이브리드 라만 분광법 프레임워크인 HyMLRaman을 제안하여 아목시실린(amoxicillin), 클로람페니콜(chloramphenicol), 시프로플록사신(ciprofloxacin), 테트라사이클린(tetracycline), 이부프로펜(ibuprofen), 파라세타몰(paracetamol)을 포함한 6종의 의약품 화합물을 식별한다. 라만 스펙트럼은 스펙트럼 이미지로 변환되어 여러 심층 신경망 백본(backbone)으로 인코딩되며, 이 중 EfficientNet-B3가 가장 효과적인 표현을 제공한다. 이렇게 얻어진 1536차원 임베딩은 SVM, KNN, 로지스틱 회귀(logistic regression), 랜덤 포레스트(random forest), XGBoost, ANN을 포함한 다운스트림 분류기를 계층화 10-폴드 교차 검증(stratified 10-fold cross-validation) 방식으로 학습시키는 데 사용된다. 하이브리드 EfficientNet-B3-SVM 구성은 96.31%의 정확도와 96.36%의 매크로-F1(macro-F1) 점수를 달성하여 가장 우수한 기준선 성능을 보이며, 단독 CNN 기준선을 능가한다. 제한된 데이터 조건을 해결하기 위해, PCA로 차원을 축소한 EfficientNet-B3 잠재 공간(latent space)에서 DDPM 기반 특징 증강이라는 생성 모델을 도입한다. 저데이터(low-data) 어블레이션(ablation) 결과는 DDPM 증강이 선택적인 이점을 제공하며, 특히 학습 데이터 비율이 줄어든 상황에서 KNN에 효과적이지만 그 효과는 분류기에 따라 달라짐을 보여준다. 마지막으로, 애플리케이션 수준의 라만 의약품 분석기(Raman Pharmaceutical Analyzer)는 학습된 모델을 대화형 라만 분석 워크플로우에 통합할 수 있음을 보여준다. 이러한 결과는 HyMLRaman이 신속한 라만 기반 의약품 스크리닝을 위한 실용적이고 해석 가능한 방법을 제공함을 시사한다.

arXiv:2610.02353v1cs.LG공통 태그 Transfer Learning, parameter-efficient fine-tuning

모든 사용자에게 개별 LoRA가 필요한가? 개인화와 사용자별 적응의 분리

Does Every User Need a Private LoRA? Decoupling Personalization from Per-User Adaptation

개인화된 대규모 언어 모델(LLM)은 종종 각 사용자에 대해 완전한 적응(adaptation) 상태를 필요로 합니다. 그러나 이러한 패러다임은 사용자 수가 증가함에 따라 확장성이 떨어집니다. 본 연구에서는 개인화 용량 할당(personalization capacity allocation)이라는 관점에서 이러한 설계를 재검토합니다. 즉, 사용자 간에 얼마나 많은 적응 용량을 공유할 수 있는지, 공유된 용량을 어떻게 구성해야 하는지, 그리고 얼마나 많은 부분이 사용자 전용으로 남아 있어야 하는지를 탐구합니다. 우리는 세 가지 상호보완적인 실증 분석을 통해 이에 답합니다. 독립적인 사용자 어댑터에는 상당한 수준의 사용자 간 재사용 가능한 구조가 포함되어 있고, 재사용 가능한 방향의 유용성은 사용자 관련성과 쿼리 전반의 변동성을 모두 반영하며, 사용자 이력은 컴팩트한 개별 보정을 위한 전이 가능한 신호를 제공한다는 점을 발견했습니다. 이러한 발견에 착안하여, 우리는 LINEUP을 제안합니다. 이 방법은 재사용 가능한 저랭크(low-rank) 개인화 팩터 뱅크를 학습하고, 사용자 조건부 재현율(recall) 및 쿼리 의존적 캘리브레이션을 통해 이를 구성하며, 대상 사용자 적응을 공유 보정 공간 상의 극소형 사용자 코드로 제한합니다. 이러한 설계는 표현력 있는 개인화 용량을 사용자별 학습 가능 상태와 분리합니다. 모든 공유 컴포넌트가 고정된 상태에서 각 대상 사용자는 단 8개의 스칼라만을 최적화합니다. 이에 비해 평가된 프라이빗 LoRA 구성은 사용자당 419만 개의 파라미터를 사용합니다. 우리의 이론적 분석은 유한 스텝, 유한 이력 위험 한계(risk bound)와 사용자 코드 개선이 이력 초기화(initialization)보다 향상되기 위한 충분조건을 제시합니다. 개인화 분류(classification), 예측, 생성을 아우르는 6개 태스크에서 LINEUP은 3회의 독립적인 실행을 거쳐 평균화된 12개 지표 모두에서 우위를 점했습니다(예: 가장 강력한 기준선(baseline) 대비 LaMP-3 RMSE 11.4% 감소). 또한 제한된 이력 환경에서도 우위를 유지합니다. 이러한 결과는 풍부한 개인화가 주로 재사용 가능하고 조건부로 구성된 공유 용량에 의해 지원될 수 있으며, 독립적인 사용자 적응은 아주 작은 보정 상태로만 국한되어도 충분함을 보여줍니다.

arXiv:2610.02517v1cs.LG공통 태그 Self-Supervised Learning, Data Augmentation

잠재 구조 학습: 그래프 데이터 증강을 위한 특징 중심 접근법

Learning the Latent Structure: A Feature-Centric Approach to Graph Data Augmentation

그래프 구조 데이터는 복잡한 관계를 모델링하는 데 핵심적인 역할을 합니다. 그러나 실제 그래프는 데이터 수집 및 관측의 제약으로 인해 불완전한 경우가 많으며, 이는 현대 그래프 학습 파이프라인의 효과를 심각하게 제한합니다. 기존 그래프 데이터 증강(Graph Data Augmentation, GDA) 방식들은 다운스트림 성능 향상을 위해 그래프 구조를 정제하고자 시도하지만, 대개 레이블 의존적이고 계산 비용이 많이 들며 본질적으로 트랜스덕티브(transductive)하여 실제 환경에서의 적용 가능성이 제한됩니다. 본 연구에서는 명시적인 구조 모델링을 우회하고 임베딩(embedding) 공간에서 직접 작동하는 새로운 특징(feature) 중심 그래프 데이터 증강 프레임워크를 제안합니다. 자기지도 역마스킹(inverse masking) 과정을 통해, 본 방법은 관측된 그래프와 완전한 그래프 사이의 잠재적 연결을 포착하여 정제된 노드(node) 표현을 통해 관측되지 않은 구조적 신호를 복원할 수 있도록 합니다. 노이즈가 많고 희소한 지도 신호 하에서의 강건성을 향상하기 위해, 효과적인 학습(training)과 일반화를 위한 메시지 정규화기(message regularizer) 및 부트스트랩 전략을 도입합니다. 여러 도메인에 걸친 10개의 그래프 데이터셋에서 평가한 결과, 우리의 접근 방식인 SelfAug는 인덕티브(inductive) 및 콜드 스타트(cold-start) 설정 모두에서 정확도와 효율성 측면에서 최첨단(SOTA) 방법들을 일관되게 능가하며, 실제 그래프 학습 시나리오를 위한 확장 가능하고 일반화 가능한 솔루션으로서의 잠재력을 입증합니다.

arXiv:2609.24031v2cs.CV공통 태그 Self-Supervised Learning, Transfer Learning

Video-STLayout 사전학습

Video-STLayout Pre-training

최근 몇 년간 사전학습(pre-training)은 효과적인 비디오 표현을 학습하는 데 핵심적인 요소로 자리 잡았으며, 이를 통해 다운스트림 과제로의 강력한 전이가 가능해졌다. 사전학습에서 널리 쓰이는 프레임워크는 비디오 인코더의 특징을 언어나 오디오와 같은 다른 모달리티의 특징과 정렬하는 방식이다. 우리는 객체 바운딩 박스의 시공간적 레이아웃(spatio-temporal layout) 정보를 활용하여 풍부한 비디오 표현을 얻기 위한 새로운 전략인 Video-STLayout 사전학습을 제안한다. 객체 레이아웃은 비디오 프레임에 기성(off-the-shelf) 객체 검출기를 적용하여 손쉽게 얻을 수 있다. 우리의 방법은 대조 손실(contrastive loss)을 사용하여 비디오 특징을 학습된 레이아웃 인코더의 레이아웃 특징과 정렬한다. 우리는 복잡한 장면에서의 행동 인식(activity recognition) 과제를 통해 본 접근법의 효과를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.