Hölder++: 멀티모달 VAE에서의 품질-일관성 트레이드오프 개선
Hölder++: Improving the Quality-Coherence Trade-off in Multimodal VAEs
한국어 초록
멀티모달 변분 오토인코더(VAE)에 대한 기존 접근법들은 생성 품질과 일관성 사이의 트레이드오프에 직면합니다. 즉, 모달리티 간에 의미적으로 일관되면서 동시에 현실적이고 다양한 샘플을 생성하는 데 어려움을 겪습니다. 최근 연구에 따르면, 집계 방법으로 Hölder 풀링의 간단한 근사를 사용하는 것이 모든 모달리티에 걸쳐 단일 공유 표현을 가정함에도 불구하고 최신 성능(SOTA)의 MMVAE+보다 일관성을 향상시키는 것으로 나타났습니다. 그러나 이는 샘플 다양성을 약간 저해합니다. 이러한 통찰에 영감을 받아, 우리는 다음을 통해 생성 품질-일관성 트레이드오프를 개선하는 새로운 멀티모달 VAE인 Hölder++를 제안합니다: (i) 멀티모달 VAE를 위한 근사 없는 Hölder 풀링의 최초 구현; (ii) 구별되는 공유 및 개별(즉, 모달리티 특이적) 표현을 모델링하는 확장된 아키텍처(Hölder+); (iii) 공유 및 개별 표현 사이의 분리(디스엥글먼트)를 더욱 강화하는 계층적 추론(Hölder++). 실험 결과, Hölder++는 생성 품질-일관성 트레이드오프를 일관되게 개선하고, 더 구조화된 잠재 공간을 만들어내며, 하류 작업에 유용한 공유 표현을 학습함을 입증했습니다.
원문 초록
Existing approaches for multimodal variational autoencoders (VAEs) face a trade-off between generative quality and coherence-i.e., they struggle to generate realistic and diverse samples that, at the same time, are semantically consistent across modalities. A recent work shows that using a simple approximation to Hölder pooling as an aggregation method improves coherence over the SOTA MMVAE+, despite assuming a single shared representation across all modalities. Yet, it slightly compromises sample diversity. Inspired by this insight, we propose Hölder++, a novel multimodal VAE that improves the generative quality-coherence trade-off through: (i) the first implementation of Hölder pooling without any approximation for multimodal VAEs; (ii) an extended architecture that models distinct shared and private (i.e., modality-specific) representations (Hölder+); and (iii) hierarchical inference that further enhances the disentanglement between the shared and private representations (Hölder++). Our experiments corroborate that Hölder++ consistently improves the generative quality-coherence trade-off, yields more structured latent spaces, and learns shared representations that are informative for downstream tasks.
요약
멀티모달 VAE가 생성 품질과 모달 간 의미적 일관성 사이에서 겪는 트레이드오프 문제를 해결하기 위해, 근사 없는 Hölder 풀링과 공유 및 개별 표현을 위한 계층적 추론 아키텍처를 제안합니다. 제안된 방법은 생성 품질과 일관성 간의 균형을 개선하고 하류 작업에 유용한 구조화된 잠재 공간을 학습하는 것으로 확인되었습니다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13381v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
사후 위험을 활용한 불확실성 분리를 위한 정답 프레임워크
A Ground-Truth Framework for Uncertainty Disentanglement with Posterior Risk
안전성이 중요한 응용 분야에서는 신뢰할 수 있는 불확실성 추정이 필수적이다. 이러한 추정치가 실제로 유용하려면 모델의 불확실성을 유발하는 근본적인 원인을 이해해야 하며, 이는 전체 불확실성을 인식론적 불확실성(epistemic uncertainty)과 우발적 불확실성(aleatoric uncertainty)으로 분리(disentanglement)하도록 유도한다. 기존의 불확실성 개념들은 포착하는 원인이 서로 다르며, 그에 따라 우발적 불확실성과 인식론적 불확실성에 대한 정의도 달라 보편적으로 받아들여지는 정의가 존재하지 않는다. 본 논문에서는 관측된 표본이 주어졌을 때 타당한 정답 함수들의 분포 하에서 예측기의 기대 손실로 정의되는 표본 조건부 점별 사후 위험(sample-conditional pointwise posterior risk)을 통해 불확실성을 정의한다. 이 정의는 확률론적 불확실성 개념과 위험 기반 불확실성 개념을 통합한다. 최신 불확실성 분리 방법들을 평가하기 위해, 주로 사후 위험으로 정의된 정답 불확실성 및 흔히 사용되는 대안적 불확실성 정의들과 추정치를 직접 비교하는 프레임워크를 개발한다. 실험 결과, Spectral-normalized Neural Gaussian Processes와 Variational Latent Gaussian Processes가 정답 불확실성을 가장 근접하게 복원하는 반면, 대부분의 방법은 사후 위험보다 사후 분산을 더 밀접하게 추적하여 예측기의 바이어스를 놓치는 것으로 나타났다. 방법론의 순위 비교를 넘어, 추정된 우발적 불확실성과 인식론적 불확실성이 얼마나 강하게 얽혀 있는지, 그리고 불확실성의 품질이 모델링 선택에 얼마나 민감한지 조사하여 불확실성 분리를 위한 실용적인 지침을 제시한다. 추가적인 방법 개발 및 검증을 지원하기 위해, 사후 분포가 알려져 있어 정답 불확실성 계산이 가능한 13개의 준합성(semi-synthetic) UCI/OpenML 데이터셋을 공개한다. 코드와 데이터는 논문 채택 시 공개될 예정이다.
CASL-VAE: 비쌍 데이터로부터 구조화된 잠재 변수 학습을 통한 준지도 클러스터링 및 쌍 샘플 생성
CASL-VAE: Learning Structured Latent Variables from Unpaired Data for Semi-supervised Clustering and Paired Sample Generation
참조 집단 대비 대상 집단의 변동성을 정량화하는 것은 많은 과학적·임상적 문제(예: 질환 집단 대 건강 집단)의 핵심 과제다. 그러나 쌍 데이터가 없고 대상 집단의 변동이 이질적인 상황에서 기존 방법들은 대상 특이적 변동의 여러 양상을 분리하는 데 어려움을 겪는다. 본 논문에서는 비쌍 데이터로부터 구조화된 잠재 생성 요인을 학습하는 심층 대조 잠재 변수 모델인 CASL-VAE를 제안한다. CASL-VAE는 변동을 집단 간 공유되는 연속형 공통 잠재 요인과, 대상 특이적 이질성을 이산 서브타입 및 서브타입 내 연속 변동으로 모델링하는 계층적 현저 잠재 요인으로 분해한다. 변분 추론을 활용하여 비쌍 데이터만으로 참조 도메인과 대상 도메인에 대한 근사 결합 가능도 최적화를 수행하는 방법을 제시하며, 이는 쌍 샘플 생성 및 도메인 간 분석을 위한 원칙적 기반을 제공한다. 반합성 신경영상 데이터에서 CASL-VAE를 검증한 결과, 기준선 클러스터링 및 생성 모델들과 비교해 서브타입 복원 및 쌍 샘플 생성 성능이 향상되었음을 입증한다. 또한 알츠하이머병에서 생물학적으로 타당한 이질성을 드러내는 능력도 검증한다.
$\mathbf{λ}$-VAE: 사후 붕괴 해소를 위한 분산 균등화
$\mathbfλ$-VAE: Variance Equalization for Posterior Collapse
변분 오토인코더(VAE)는 근사 사후 분포가 사전 분포로 수렴하여 잠재 코드가 정보를 담지 못하는 실패 모드인 사후 붕괴(posterior collapse)로 자주 어려움을 겪는다. 광범위한 연구에도 불구하고, 붕괴가 발생하는 이유에 대한 통합적인 설명은 여전히 미해결 과제로 남아 있다. 우리는 논리적으로 독립적이지만 상호 결합된 두 가지 원인을 식별하고 형식화한다. \emph{그래디언트 불균형}은 사후 분포가 넓어질수록 디코더의 재구성 신호가 $\mathbb{KL}$ 정규화 압력보다 빠르게 소멸될 때 발생한다. \emph{정보 격차}는 확률적 샘플링 단계가 인코더의 계산된 표현에서 상당한 비율을 버려 디코더 민감도를 약화시키고 붕괴를 저비용으로 만들 때 발생한다. 두 원인은 동일한 붕괴 궤적을 공유하며, 우리는 정보 격차가 집합 사후 분포(aggregate posterior)와 사전 분포 간의 불일치와 대수적으로 동치임을 보여 두 병리를 통합한다. 이를 바탕으로 우리는 $λ$-VAE를 소개하며, 이는 재매개변수화(reparameterization) 단계에 대한 단일 수정을 통해 두 원인을 모두 해결한다: 샘플링 노이즈는 차원별 지수로 스케일링되는 반면, $\mathbb{KL}$ 페널티는 원래 사후 분산을 유지한다. 이 비대칭성은 안정적인 학습 어트랙터를 퇴화된 붕괴 상태에서 멀어지게 이동시켜 모든 잠재 차원이 동일한 평형으로 향하도록 유도하며, 우리는 이를 \emph{분산 균등화}라 명명한다. 차원별 닫힌 형식의 최적 지수는 순 정보 이득 목적함수로부터 도출되며, 단일 하이퍼파라미터가 재구성-생성 트레이드오프를 제어한다. 우리는 표준 벤치마크(Binary MNIST, Binary Omniglot, CIFAR-10, CelebA-64)에서 검증하여, 붕괴된 차원의 일관된 감소, 최대 $2.8\times$ nats의 정보 용량 향상, 그리고 최대 $+0.33$ BPD의 재구성 품질 개선을 보인다.
잠재 요인 불확정성에 대한 관점과 데이터 표현에 대한 함의
Perspectives on Latent Factor Indeterminacy and its Implications for Data Representation
공통 요인 분석 모델(common factor analytic model)은 Helmholtz 머신 및 Boltzmann 머신과 관련되어 있으며, 선형 오토인코더로 개념화되거나 단일 은닉층 생성 신경망으로 이해될 수 있다. 따라서 우리는 이를 (심층) 생성 모델 아키텍처의 근본적인 특성을 연구하기 위한 최소 모델로 활용할 수 있는 기저 생성 표현 학습기로 간주한다. 우리는 잠재 요인 투영에서의 불확정성이라는 근본적인 문제에 초점을 맞춘다. 이 불확정성은, 잠재 벡터의 내재적 차원이 알려져 있고, 정규성 조건이 충족되며, 회전 불확정성이 해소된 경우에도, 원인적 잠재 소스의 복원에 내재적인 불명확성이 남아 있음을 의미한다: 이들은 불확실하고, 분포적으로 편차가 있으며, 비유일하다. 이는 데이터 표현에 중대한 함의를 가질 수 있지만, 요인 모델에 정통한 실무자와 이론가들에게도 여전히 파악하기 어려운 문제이다. 더욱이, 이 고전적인 심리측정학(Psychometrics) 문제는 심층 생성 모델링을 위한 변분 오토인코더(variational autoencoder) 프레임워크에서의 잠재 변수 붕괴(latent variable collapse)라는 현대적 문제와 복잡하게 연결되어 있다. 여기서 우리는 다양한 관점에서 이 불확정성을 평가하고, 이들이 수학적·개념적으로 어떻게 관련되는지를 보이며, 심리측정학, 통계학, 인공지능(AI) 커뮤니티에 대한 후속 함의를 논의한다. 우리는 특징 차원이 무한대로 증가할 때 모든 측면에서 잠재 요인 결정성(latent factor determinacy)이 성립함을 보인다. 이는 특징 수가 매우 크게 증가하는 표본의 경우에 본질적으로 분포 무관(distribution-free) 추정 접근법으로 이어진다. 이러한 특성들이 스케일에서의 창발적(emergent) 특성임을 고려하여, 우리는 요인 모델이 초고차원 데이터의 표현 학습에 적합하다는 결론을 내린다.
타협 없는 비지도 분리: 기능적 직교성이 식별 가능성을 어떻게 보장하는가
Unsupervised Disentanglement Without Compromises : How Functional Orthogonality Enforces Identifiability
이 논문은 기능적 관점에서 비지도 분리 표현 학습을 탐구한다. 우리는 잠재 개념을 관측에 국소적으로 직교하는 방향을 통해 영향을 미치는 요인으로 정의하며, 이를 생성 매핑의 야코비안에 대한 직교성 제약으로 형식화한다. 잠재 영역이 요인 값의 모든 조합을 허용하는 한, 이 조건은 통계적 독립성이나 인과적 가정을 요구하지 않고도 일반적인 비선형 생성 모델의 식별 가능성을 제공함을 증명한다. 직교성 정규화를 적용한 normalizing flows 실험은 이론을 실증적으로 확인하고, ground-truth 요인의 신뢰할 수 있는 복원을 보여주며, VAE의 성공에 대한 통찰을 제공한다. 이러한 발견은 비지도 분리에 대한 지배적인 불가능성 주장에 도전하며, 원칙적인 대안적 기반을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.