arXiv:2303.05066

Distortion-Disentangled Contrastive Learning

Jinfeng Wang, Sifan Song, Jionglong Su, S. Kevin Zhou

제출 2023-03-09

원문 초록

Self-supervised learning is well known for its remarkable performance in representation learning and various downstream computer vision tasks. Recently, Positive-pair-Only Contrastive Learning (POCL) has achieved reliable performance without the need to construct positive-negative training sets. It reduces memory requirements by lessening the dependency on the batch size. The POCL method typically uses a single loss function to extract the distortion invariant representation (DIR) which describes the proximity of positive-pair representations affected by different distortions. This loss function implicitly enables the model to filter out or ignore the distortion variant representation (DVR) affected by different distortions. However, existing POCL methods do not explicitly enforce the disentanglement and exploitation of the actually valuable DVR. In addition, these POCL methods have been observed to be sensitive to augmentation strategies. To address these limitations, we propose a novel POCL framework named Distortion-Disentangled Contrastive Learning (DDCL) and a Distortion-Disentangled Loss (DDL). Our approach is the first to explicitly disentangle and exploit the DVR inside the model and feature stream to improve the overall representation utilization efficiency, robustness and representation ability. Experiments carried out demonstrate the superiority of our framework to Barlow Twins and Simsiam in terms of convergence, representation quality, and robustness on several benchmark datasets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27382v1cs.SD공통 태그 Self-Supervised Learning, Representation Learning, Disentanglement, Contrastive Learning

얽힘이 격차의 하한을 규정할 때: 오디오 이해 모델의 인구통계적 공정성 감사 및 보정

When Entanglement Lower-Bounds Disparity: Auditing and Repairing Demographic Fairness in Audio Understanding Models

음성 기술은 일부 목소리에 불리하게 작용한다. 흑인 화자에 대해서는 인식 오류가 거의 두 배 더 자주 발생하며, 제2언어 억양과 고령 화자에 대해서는 정확도가 떨어진다. 우리는 TRIAD를 제안한다. 이는 제어 가능한 텍스트 음성 변환을 통해 120개 텍스트, 24개의 렌더링된 인구통계적 음성 프로파일(성별, 연령대, 억양), 10가지 표현 스타일을 교차하는 감사 그리드로, 콘텐츠 및 affect와 지각된 인구통계 속성을 분리한다. 10개의 오픈 가중치(open-weights) 인코더에 대해 축 충실도(axis-fidelity) 함수적, 부분공간 간 주각(principal-angle) 누출, 그룹 조건부 격차를 정의한다. 한 명제는 평균 프로브(probe) 격차가 우리가 측정하는 동일한 집계 음성-의미 누출 $\Lambda$와 함께 증가함을 증명하고, 한 따름 정리는 최대 누출이 활성 영역 내 최악의 경우 격차를 강제함을 보인다. 측정된 평균제곱 프로브 격차는 $\Lambda$를 추적한다(Pearson r = 0.93), 블랙박스 프로토콜은 두 개의 폐쇄형(closed-source) 모델에서 동일한 특성을 드러낸다. ORCA는 축별 대조(contrastive) 헤드, 직交성(orthogonality) 페널티, 그룹 균형 샘플링을 결합한 어댑터로, 누출을 72% 줄이고 격차를 대략 절반으로 줄인다.

arXiv:2610.05711v1cs.LG공통 태그 Self-Supervised Learning, Representation Learning, Contrastive Learning

사전학습 없이 픽셀로부터: 단일 모델에서의 생성 및 자기지도 표현 동시 학습

From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model

강력한 이미지 생성 모델은 클래스 레이블로 조건화되거나, 고정된(frozen) 사전학습 인코더에 정렬되거나, 별도로 학습된 오토인코더를 기반으로 구축됩니다. 이는 효과적이지만 생성 성능이 지도학습이나 사전학습(pre-training)에 의존하게 됩니다. 즉, 레이블에 주석을 달아야 하며 타깃 도메인을 위해 인코더나 오토인코더를 사전학습해야 합니다. 본 연구에서는 단일 모델에서 생성 학습과 자기지도 표현 학습(self-supervised representation learning)을 동시에 수행하여, 레이블이나 사전학습 모델 없이도 자체 조건화된(self-conditioned) 생성을 가능하게 하는 방안을 탐구합니다. 이는 두 학습 목표가 서로 불일치하기 때문에 까다롭습니다. 대조 학습(contrastive learning)은 노이즈가 없는 증강 뷰(view)를 사용하여 대략적이고 불변하는 의미적 특징을 선호하는 반면, 플로우 매칭(flow matching)은 노이즈가 포함된 이미지를 입력받아 대조 학습이 버리는 미세한 디테일과 공간 배치를 보존해야 합니다. 본 연구에서는 플로우 타임스텝 및 임베딩(embedding)으로 조건화되는 단일 픽셀 공간 인코더를 핵심으로 하는 SCION(Self-conditioned Generation on Self-supervised representation)을 제안합니다. 표현 학습을 위해 이 조건화 임베딩은 이미지 전반에서 공유되는 학습 가능한 글로벌 벡터로 설정되며, 인코더의 [CLS] 토큰(token)은 대조 손실(loss)로 학습된 의미론적 표현을 산출합니다. 생성 학습(training)을 위해 조건화 임베딩은 해당 이미지 고유의 [CLS] 표현으로 주어지며, 패치 토큰들은 디코더를 거쳐 이미지를 예측합니다. 추론(inference) 시 참조 이미지 없이 샘플링할 수 있도록 임베딩에 대한 사전 분포(prior)도 함께 학습합니다. 그래디언트(gradient) 노름 밸런싱과 스톱 그래디언트(stop-gradient) 메커니즘을 통해 단일 실행으로 공동 최적화(optimization)가 가능합니다. SCION은 레이블이나 사전학습 모델이 전혀 필요 없는 자기지도 방식이자 독립적인(self-contained) 프레임워크입니다. ImageNet 256x256에서 JiT-B 레시피 및 표현 가이던스(guidance) 없이 SCION은 8.92 FID를 달성하여, 사전학습된 DINOv2에 정렬하는 클래스 무조건부 iREPA(46.44)와 이에 조건화되는 RCG(14.27)를 능가했습니다. JiT-L을 사용할 경우 SCION은 가이던스 없이 5.89 FID, 표현 가이던스 적용 시 3.47 FID를 기록하여 ADM 레시피를 적용한 RCG(6.24)의 성능을 뛰어넘었습니다.

arXiv:2610.10865v1cs.CL공통 태그 Self-Supervised Learning, Representation Learning, Disentanglement

경로 지정 희소 오토인코더를 통한 언어적 정보와 준언어적 정보의 얽힘 분리

Disentangling Linguistic and Paralinguistic Information with Routed Sparse Autoencoders

자기지도 학습(self-supervised learning) 기반 음성 인코더는 공유되고 얽힌 표현 공간 내에 언어적 정보와 준언어적(paralinguistic) 정보를 함께 포함합니다. 본 연구에서는 TopK 희소 오토인코더(sparse autoencoder)를 경로별 지도(route-specific supervision) 및 교차 요인 적대적 학습(cross-factor adversaries)과 결합합니다. 동결된 SPEAR 및 WavLM 인코더 전반에서 독립적인 프로브(probe)를 통해 요인별 유지 및 억제를 확인했습니다. 언어적 정보는 언어 경로에서 더 강하게 유지되는 반면, 화자 신원, 감정, 운율을 포함한 준언어적 요인은 준언어 경로에 유지되고 언어 경로에서는 대폭 감소합니다. LibriSpeech에서 학습된 경로 구성은 표현 측 재학습 없이도 MSP-Podcast에서도 지속됩니다. 특징(feature) 공간에서의 경로 개입은 변경되지 않은 경로가 전달하는 정보를 대부분 보존하면서 교체된 요인을 추가로 전이합니다. 이러한 결과는 인코더, 말뭉치(corpora), 독립 프로브 및 표현 수준 개입 전반에서 일관된 경로 선택적 분리가 이루어짐을 보여줍니다.

arXiv:2609.39172v2quant-ph공통 태그 Self-Supervised Learning, Representation Learning, Contrastive Learning

지문 인식을 위한 하이브리드 양자-고전 자기지도학습의 너비 일치 비교

A Width-Matched Comparison of Hybrid Quantum-Classical Self-Supervised Learning for Fingerprint Recognition

지문 인식은 널리 배포된 생체 인식 기술이지만, 지도학습(supervised training)에는 대규모의 라벨링된 등록 데이터셋이 필요합니다. 자기지도학습(SSL)은 이러한 요구 조건을 없애주며, 학습된 표현을 풍부하게 만들기 위해 하이브리드 양자-고전(hybrid quantum-classical) 모델이 제안되었습니다. 기존의 양자 SSL 연구들은 단일 대조 목적식(contrastive objective)만을 고려했기 때문에, 보고된 이점이 목적식에 따른 것인지 아니면 양자 회로에 기인한 것인지 불분명합니다. 본 연구에서는 대조 방식인 SimCLR 및 MoCo v2와 비대조 방식인 BYOL 등 세 가지 SSL 프레임워크에 QuFeX 양자 특징 추출 모듈을 삽입하고, 인코더 특징에 대한 k-최근접 이웃(k-nearest-neighbor) 식별을 사용하여 SOCOFing 지문 데이터셋 및 CIFAR-10 대조군에서 일치된 표현 너비(8 큐비트와 동일한 8개 특징)로 각 하이브리드 모델을 고전적 대응 모델과 비교합니다. 단일 실행 실험에서 하이브리드 모델은 두 대조 목적식 모두에서 분명히 더 높은 점수를 기록한 반면, BYOL의 경우 다중 시드(multi-seed) 분석에서 유의미한 차이가 나타나지 않아 어떠한 이점이든 SSL 목적식에 따라 달라짐을 시사합니다. 하드웨어 효율적인 회로(QNet)는 동일한 성능 향상을 보이지 않았습니다. 회로 아키텍처, 학습 가능한 매개변수 수, 비선형성 및 8-큐비트 회로의 고전적 시뮬레이션 가능성을 고려하여 이러한 성능 향상이 양자 회로에 기인한 것인지 검토합니다.

arXiv:2609.28199v1cs.LG공통 태그 Self-Supervised Learning, Representation Learning, Contrastive Learning

종단적 혈당 표현을 위한 전이 가능한 근거 재구성

Transferable Evidence Reconstruction for Longitudinal Glucose Representations

긴 생체 신호 기록에는 일상적인 측정값이 다수 포함되어 있지만, 예측 정보는 희귀 사건, 지속적인 부담, 반복적인 시계열 패턴에 집중되어 있는 경우가 많습니다. 마스크드 오토인코딩(masked autoencoding)은 측정값을 복원하고, 대조 학습(contrastive learning)은 뷰(view)를 정렬합니다. 본 연구에서는 구조화된 신호 근거를 명시적으로 우선시하는 자기지도학습(self-supervision)을 연구합니다. 저자들은 레이블이 지정되지 않은 기록에서 근거를 구축하고, 한 기록 그룹에 새로운 저용량 리더(reader)를 적합(fit)시킨 뒤, 해당 리더가 재적합 없이 다른 그룹에서도 동일한 근거를 복원하도록 요구하는 전이 가능한 근거 재구성(transferable evidence reconstruction, TER)을 도입합니다. 이러한 교차 그룹 테스트를 통해 역전파 미분을 수행함으로써 전이 가능한 근거 디코딩 규칙을 갖는 표현을 학습하며, 이때 근거는 자기지도학습을 유도하지만 다운스트림 특징(feature)으로는 사용되지 않습니다. 연속 혈당 측정(CGM)을 위해 관측 인지 일간 인코더와 시계 인지 다일 메모리는 최대 7일간의 기록을 정리하면서 혈당 수치 및 변화를 기록된 시간과 결합합니다. 14개 작업으로 구성된 리더보드에서 TER은 기존 최강 모델의 전반적인 PR-AUC/ROC-AUC/Macro-F1 점수를 각각 5.51/4.43/2.80%포인트 향상시키고 12/14개 작업에서 최고 지표를 경신했습니다. 이러한 리더보드 성능 향상은 상위 두 베이스라인 간 격차의 각각 2.0~2.9배에 달합니다. 공개 사전학습(pre-training) 데이터, 폴드, 선형 프로브(linear probe) 조건을 일치시켰을 때, TER은 저자들이 재현한 GlucoFM 대비 6.09/5.52/2.72포인트 더 우수한 성능을 보였습니다. 타깃 리더 소거 연구(ablation), 동일 이력 대조군, 교차 개인 판독 실험은 구조화된 근거, 교차 그룹 리더 적합, 학습된 다일 정리의 결합을 뒷받침합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.