arXiv:1711.09163

JADE: Joint Autoencoders for Dis-Entanglement

Ershad Banijamali, Amir-Hossein Karimi, Alexander Wong, Ali Ghodsi

제출 2017-11-24

원문 초록

The problem of feature disentanglement has been explored in the literature, for the purpose of image and video processing and text analysis. State-of-the-art methods for disentangling feature representations rely on the presence of many labeled samples. In this work, we present a novel method for disentangling factors of variation in data-scarce regimes. Specifically, we explore the application of feature disentangling for the problem of supervised classification in a setting where few labeled samples exist, and there are no unlabeled samples for use in unsupervised training. Instead, a similar datasets exists which shares at least one direction of variation with the sample-constrained datasets. We train our model end-to-end using the framework of variational autoencoders and are able to experimentally demonstrate that using an auxiliary dataset with similar variation factors contribute positively to classification performance, yielding competitive results with the state-of-the-art in unsupervised learning.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2605.12567v4cs.CV공통 태그 Disentanglement

합성 개구 초음파의 적응형 IQ 신호 잡음 제거를 위한 일관성 유도 피라미드 자기 대조 분리

Coherence-Guided Pyramid Self-Contrastive Disentanglement for Adaptive IQ Signal Denoising in Synthetic Aperture Ultrasound

합성 개구 초음파(SAU)는 배열의 인접한 소자들을 부개구로 묶어 순차적으로 송신하고, 수신된 모든 신호를 합성하여 양방향 집속을 달성한다. 그러나 고유한 전자 잡음, 사이드로브, 스페클 잡음은 여전히 SAU 영상의 임상적 해석을 어렵게 한다. 기존 잡음 제거 방법은 명시적인 잡음 가정에 의존하거나 제한된 영상 도메인에서 사전 학습되어, 복잡한 \textit{in vivo} 잡음 조건에서 불가피한 도메인 이동에 직면한다. 본 연구는 B-모드 영상 형성 이전에 개구 의존적 열화를 억제하는 적응형 IQ 신호 잡음 제거 방법을 제안한다. 각 SAU 획득에서의 부개구 이벤트를 다중 잡음 측정으로 모델링하고, 개구 간 일관성을 피라미드 자기 대조 분리(PSCD) 프레임워크에서 대조 학습의 비평자로 확장한다. PSCD는 원시 IQ 텐서를 분리된 일관적 잠재 공간과 비일관적 잠재 공간으로 인코딩한 뒤, 전자로부터만 깨끗한 IQ 신호를 복원하여 일관적인 조직 정보를 유지하면서 비일관적 잡음을 억제한다. 개구 대 개구 대리 과제가 이중 도메인에서 복원을 자기 지도한다. 전체 프레임워크는 사전 학습이나 깨끗한 레이블 없이 단일 샷 데이터를 사용하여 테스트 시점에 최적화할 수 있다. 0에서 30 dB의 잡음 수준을 포함한 시뮬레이션에서 SNR 69.3$\%$, CNR 34.4$\%$의 향상을 보였다. 여섯 가지 심초음파 단면과 복부 영상을 포함한 \textit{in vivo} 실험에서는 두 개의 부개구만으로 SNR 84.8$\%$, CNR 25.7$\%$의 향상을 보였다. 또한 PSCD는 고주파 세부 정보를 보존하면서 더 높은 영상 해상도와 경계 선명도를 달성했다. 이러한 결과는 개구 간 측정 중복성을 활용하는 적응형 IQ 신호 잡음 제거가 도메인 이동과 사전 학습 비용 없이 정밀한 해부학적 시각화를 가능하게 함을 뒷받침한다.

arXiv:2609.38840v3cs.LG공통 태그 Disentanglement

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

arXiv:2606.28228v3cs.LG공통 태그 Disentanglement

연속 시간 잠재 동역학의 얽힘 풀기: 확산 변화를 통한 잠재 SDE의 식별가능성

Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts

시계열을 위한 인과 표상 학습(causal representation learning)은 이산 시간 잠재 인과 모델에서 강력한 식별가능성(identifiability) 결과를 발전시켜 왔으나, 연속 시간 잠재 확률미분방정식(SDE) 모델에서의 식별가능성은 여전히 대부분 미해결 상태로 남아 있습니다. 본 연구에서는 환경에 의해 유도된 확산 공분산(diffusion covariance)의 변화를 활용하여 이 간극을 해결합니다. 저자들은 공유된 드리프트(drift)를 가지지만 환경별로 서로 다른 확산 공분산을 갖는, 미지의 비선형 미분동형사상(diffeomorphism)을 통해 관측되는 가산 노이즈 잠재 SDE를 연구합니다. 드리프트에 대한 어떠한 희소성(sparsity) 가정 없이도, 좌표별 분산 비율이 서로 다른 두 개의 대각 확산 영역(regime)이 주어지면 치환(permutation), 좌표별 스케일링, 그리고 가능한 상수 이동(constant shift) 수준까지 잠재 좌표를 식별할 수 있음을 보입니다. 먼저 선형 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 시스템에 대해 이 결과를 증명한 후, 이를 일반적인 가산 노이즈 잠재 SDE로 확장합니다. 완만한 매끄러움(smoothness) 조건 하에서, 순간적인 드리프트-야코비안(drift-Jacobian) 인과 그래프 또한 동일한 치환 수준까지 식별 가능합니다. 저자들은 잠재 표현 얽힘 풀기(disentanglement) 및 선택적 그래프 복원을 위한 2단계 추정기를 제안합니다. 합성 시스템에 대한 실험을 통해 예측된 식별가능성 경계를 확인하였으며, 하르당에르교(Hardanger Bridge) 모니터링 데이터에 적용하여 실제 센서 궤적에 대한 접근법의 효용성을 입증합니다.

arXiv:2601.21688v3cs.LG공통 태그 Disentanglement

XFACTORS: 대조 지도를 통한 분리된 정보 병목

XFACTORS: Disentangled Information Bottleneck via Contrastive Supervision

분리 표현 학습(disentangled representation learning)은 변화의 독립적 요인들을 독립적인 표현 구성 요소에 매핑하는 것을 목표로 한다. 순수 비지도 방법은 완전히 분리된 합성 데이터에서는 성공적이었지만, 강한 귀납적 편향 없이는 실제 데이터에서 의미적 요인을 복원하는 데 실패한다. 반면 지도 방법은 적대적 목적 함수나 보조 분류기에 의존하기 때문에 불안정하고 대규모 속성 집합으로 확장하기 어렵다. 우리는 선택된 요인 집합을 분리하고 그에 대한 명시적 제어를 제공하는 약지도(weakly-supervised) VAE 프레임워크인 XFactors를 소개한다. 분리 정보 병목(Disentangled Information Bottleneck) 관점을 바탕으로, 표현을 잔차 부분 공간 $\mathcal{S}$와 요인별 부분 공간 $\mathcal{T}_1,\ldots,\mathcal{T}_K$ 및 잔차 부분 공간 $\mathcal{S}$로 분해한다. 각 목표 요인은 대조 지도를 통해 할당된 $\mathcal{T}_i$에 인코딩된다. 즉, InfoNCE 손실이 동일한 요인 값을 공유하는 잠재 벡터들을 가깝게 당기고, 불일치 쌍을 밀어낸다. 동시에 KL 정규화는 $\mathcal{S}$와 집계된 요인 부분 공간 모두에 가우시안 구조를 부여하여, 비목표 요인에 대한 추가 지도나 적대적 학습 및 분류기 없이도 기하 구조를 구성한다. 고정된 하이퍼파라미터로 여러 데이터셋에 걸쳐 XFactors는 최첨단 분리 점수를 달성하고, 해당 부분 공간에서 일관된 정성적 요인 정렬을 보여주며, 잠재 교체를 통한 제어된 요인 교환을 가능하게 한다. 또한 잠재 용량 증가에 따라 우리 방법이 올바르게 확장됨을 입증하고, 실세계 데이터셋 CelebA에서 평가한다. 코드는 github.com/ICML26-anon/XFactors에서 확인할 수 있다.

arXiv:2607.09767v2eess.SP공통 태그 Disentanglement

특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화

Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction

이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.

arXiv:2607.14817v2cs.LG공통 태그 Disentanglement

인식론적 불확실성 평가: OOD 탐지와 능동 학습을 넘어서

Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning

현재 인식론적 불확실성의 평가는 분포 외 탐지, 능동 학습, 선택적 예측과 같은 과제에 의존한다. 그러나 상호 정보량이나 예측의 분산과 같은 일반적인 인식론적 불확실성 점수는 후회(regret), 즉 예측기가 베이즈 최적 예측기에 비해 갖는 초과 오류를 추정한다. 본 논문은 인식론적 거부 옵션 프레임워크를 바탕으로, 후회를 식별하는 능력으로 인식론적 불확실성을 평가하고 이 평가를 다른 과제들과 비교한다. 반복된 사람 레이블이 있는 데이터셋에서 표준 방법들을 벤치마킹한 결과, 과제마다 방법의 순위가 다르게 나타나며, 한 기준에서는 최상위이고 다른 기준에서는 최하위인 방법 간의 쌍별 순위 역전도 포함된다. 이러한 불일치는 각 과제가 서로 다른 점수를 요구하는 최적 상태에서 이미 나타난다. 선택적 예측을 커버리지, 기대 위험, 후회에 대한 제약 최적화로 정식화하여, 최적 점수가 실제 우연적 불확실성과 인식론적 불확실성의 볼록 결합임을 증명하며, 따라서 선택적 예측과 후회 과제는 하나의 과제 족의 두 끝점이 된다. 이에 분포 외 탐지, 능동 학습, 후회 과제는 어떤 방법이 인식론적 불확실성의 좋은 추정기인지에 대해 이론적으로나 경험적으로 서로 일치하지 않으며, 선택적 예측은 실제 위험과 후회가 입력의 순서를 다르게 매기는 지점에서 후회 과제와 갈라진다. 따라서 연구자들은 모델의 무지에 대한 일반적 개념에 의존하는 대신, 인식론적 불확실성 추정이 지원하고자 하는 하위 의사결정을 명시해야 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.