MOMA:Distill from Self-Supervised Teachers
원문 초록
Contrastive Learning and Masked Image Modelling have demonstrated exceptional performance on self-supervised representation learning, where Momentum Contrast (i.e., MoCo) and Masked AutoEncoder (i.e., MAE) are the state-of-the-art, respectively. In this work, we propose MOMA to distill from pre-trained MoCo and MAE in a self-supervised manner to collaborate the knowledge from both paradigms. We introduce three different mechanisms of knowledge transfer in the propsoed MOMA framework. : (1) Distill pre-trained MoCo to MAE. (2) Distill pre-trained MAE to MoCo (3) Distill pre-trained MoCo and MAE to a random initialized student. During the distillation, the teacher and the student are fed with original inputs and masked inputs, respectively. The learning is enabled by aligning the normalized representations from the teacher and the projected representations from the student. This simple design leads to efficient computation with extremely high mask ratio and dramatically reduced training epochs, and does not require extra considerations on the distillation target. The experiments show MOMA delivers compact student models with comparable performance to existing state-of-the-art methods, combining the power of both self-supervised learning paradigms. It presents competitive results against different benchmarks in computer vision. We hope our method provides an insight on transferring and adapting the knowledge from large-scale pre-trained models in a computationally efficient way.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
어디를 볼 것인가가 중요하다: 3D 의료 자기지도학습에서의 서브 볼륨 샘플링 재고
Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning
3D 의료 영상에서의 자기지도학습(self-supervised learning)은 일반적으로 사전학습(pre-training) 중 무작위 서브 볼륨(sub-volume) 샘플링에 의존합니다. 그러나 무작위 크롭(random cropping)은 해부학적 사전 지식과 공간적 중복성으로 인해 영역 간 표현 학습(representation learning) 가치가 본질적으로 불균등함에도 불구하고, 모든 공간 영역을 관찰할 가치가 동일한 것으로 암묵적으로 취급합니다. 이를 위해, 본 연구는 먼저 제어된 크롭 품질 조작 실험을 통해 더 나은 서브 볼륨이 더 우수한 다운스트림 전이(transfer)로 이어진다는 점을 보임으로써, 관찰 정책(observation policy)이 3D 의료 SSL에서 간과되어 온 병목 현상임을 밝힙니다. 이러한 발견에 착안하여 서브 볼륨 샘플링을 어디를 볼 것인가(\emph{where-to-look})의 문제로 재검토합니다. 우리는 무작위 크롭을 해부학 인식(\textit{anatomy-awareness}), 정보성(\textit{informativeness}), 다양성(\textit{diversity})에 기반한 오프라인 조-세밀(coarse-to-fine) 프로브 뱅크로 대체하는 플러그 앤 플레이 프레임워크인 \textbf{\method}를 제안합니다. 경량 볼륨 내재적 사전 지식만으로 충분한지, 혹은 더 풍부한 의미론적 단서가 신뢰할 수 있는 추가적인 가치를 제공하는지 검증하기 위해 기하학적 및 영상 통계적 단서를 활용하는 경량 변형인 \lite와 고정된 시각적 특징을 활용하는 진단 변형인 \feat로 \method를 구현합니다. 여러 3D 의료 SSL 백본 및 다운스트림 태스크에 걸친 광범위한 실험을 통해, \method-\lite가 무작위 샘플링 대비 전이 성능을 일관되게 향상시킴을 입증합니다. 나아가 메커니즘 분석을 통해 이러한 이득이 해부학적으로 더 타당하고 정보성이 높은 관찰, 감소된 공간적 중복성, 더 효율적인 학습 역학(learning dynamics), 그리고 더 구조화된 표현에 기인함을 밝힙니다.
사전학습 없이 픽셀로부터: 단일 모델에서의 생성 및 자기지도 표현 동시 학습
From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model
강력한 이미지 생성 모델은 클래스 레이블로 조건화되거나, 고정된(frozen) 사전학습 인코더에 정렬되거나, 별도로 학습된 오토인코더를 기반으로 구축됩니다. 이는 효과적이지만 생성 성능이 지도학습이나 사전학습(pre-training)에 의존하게 됩니다. 즉, 레이블에 주석을 달아야 하며 타깃 도메인을 위해 인코더나 오토인코더를 사전학습해야 합니다. 본 연구에서는 단일 모델에서 생성 학습과 자기지도 표현 학습(self-supervised representation learning)을 동시에 수행하여, 레이블이나 사전학습 모델 없이도 자체 조건화된(self-conditioned) 생성을 가능하게 하는 방안을 탐구합니다. 이는 두 학습 목표가 서로 불일치하기 때문에 까다롭습니다. 대조 학습(contrastive learning)은 노이즈가 없는 증강 뷰(view)를 사용하여 대략적이고 불변하는 의미적 특징을 선호하는 반면, 플로우 매칭(flow matching)은 노이즈가 포함된 이미지를 입력받아 대조 학습이 버리는 미세한 디테일과 공간 배치를 보존해야 합니다. 본 연구에서는 플로우 타임스텝 및 임베딩(embedding)으로 조건화되는 단일 픽셀 공간 인코더를 핵심으로 하는 SCION(Self-conditioned Generation on Self-supervised representation)을 제안합니다. 표현 학습을 위해 이 조건화 임베딩은 이미지 전반에서 공유되는 학습 가능한 글로벌 벡터로 설정되며, 인코더의 [CLS] 토큰(token)은 대조 손실(loss)로 학습된 의미론적 표현을 산출합니다. 생성 학습(training)을 위해 조건화 임베딩은 해당 이미지 고유의 [CLS] 표현으로 주어지며, 패치 토큰들은 디코더를 거쳐 이미지를 예측합니다. 추론(inference) 시 참조 이미지 없이 샘플링할 수 있도록 임베딩에 대한 사전 분포(prior)도 함께 학습합니다. 그래디언트(gradient) 노름 밸런싱과 스톱 그래디언트(stop-gradient) 메커니즘을 통해 단일 실행으로 공동 최적화(optimization)가 가능합니다. SCION은 레이블이나 사전학습 모델이 전혀 필요 없는 자기지도 방식이자 독립적인(self-contained) 프레임워크입니다. ImageNet 256x256에서 JiT-B 레시피 및 표현 가이던스(guidance) 없이 SCION은 8.92 FID를 달성하여, 사전학습된 DINOv2에 정렬하는 클래스 무조건부 iREPA(46.44)와 이에 조건화되는 RCG(14.27)를 능가했습니다. JiT-L을 사용할 경우 SCION은 가이던스 없이 5.89 FID, 표현 가이던스 적용 시 3.47 FID를 기록하여 ADM 레시피를 적용한 RCG(6.24)의 성능을 뛰어넘었습니다.
지문 인식을 위한 하이브리드 양자-고전 자기지도학습의 너비 일치 비교
A Width-Matched Comparison of Hybrid Quantum-Classical Self-Supervised Learning for Fingerprint Recognition
지문 인식은 널리 배포된 생체 인식 기술이지만, 지도학습(supervised training)에는 대규모의 라벨링된 등록 데이터셋이 필요합니다. 자기지도학습(SSL)은 이러한 요구 조건을 없애주며, 학습된 표현을 풍부하게 만들기 위해 하이브리드 양자-고전(hybrid quantum-classical) 모델이 제안되었습니다. 기존의 양자 SSL 연구들은 단일 대조 목적식(contrastive objective)만을 고려했기 때문에, 보고된 이점이 목적식에 따른 것인지 아니면 양자 회로에 기인한 것인지 불분명합니다. 본 연구에서는 대조 방식인 SimCLR 및 MoCo v2와 비대조 방식인 BYOL 등 세 가지 SSL 프레임워크에 QuFeX 양자 특징 추출 모듈을 삽입하고, 인코더 특징에 대한 k-최근접 이웃(k-nearest-neighbor) 식별을 사용하여 SOCOFing 지문 데이터셋 및 CIFAR-10 대조군에서 일치된 표현 너비(8 큐비트와 동일한 8개 특징)로 각 하이브리드 모델을 고전적 대응 모델과 비교합니다. 단일 실행 실험에서 하이브리드 모델은 두 대조 목적식 모두에서 분명히 더 높은 점수를 기록한 반면, BYOL의 경우 다중 시드(multi-seed) 분석에서 유의미한 차이가 나타나지 않아 어떠한 이점이든 SSL 목적식에 따라 달라짐을 시사합니다. 하드웨어 효율적인 회로(QNet)는 동일한 성능 향상을 보이지 않았습니다. 회로 아키텍처, 학습 가능한 매개변수 수, 비선형성 및 8-큐비트 회로의 고전적 시뮬레이션 가능성을 고려하여 이러한 성능 향상이 양자 회로에 기인한 것인지 검토합니다.
IPCL: Iterative Pseudo-Supervised Contrastive Learning to Improve Self-Supervised Feature Representation
Multi-modal Siamese Network for Entity Alignment
Self-Supervised Learning for Multimedia Recommendation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.