단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
원격탐사(RS)에서 하이퍼스펙트럴 데이터 아카이브가 급격히 증가함에 따라 저장 및 전송을 위한 효과적인 압축 방법이 필요해지고 있다. 학습 기반 하이퍼스펙트럴 영상(HSI) 압축 분야의 최근 발전은 복원 충실도와 압축 효율성을 모두 크게 향상시켰다. 그러나 기존 방법들은 일반적으로 자연 영상을 위해 설계된 변분 영상 압축 모델을 그대로 적용할 뿐, HSI에 내재된 독특한 공간-분광 중복성을 충분히 고려하지 않는다. 특히, 이들은 공간적 특징과 분광적 특징 학습의 균형을 맞추기 위한 명시적인 아키텍처 설계가 부족하여, RS에서 하이퍼스펙트럴 데이터의 고유한 특성을 효과적으로 활용하는 능력이 제한된다. 이 문제를 해결하기 위해, 본 논문에서는 RS 분야에서 최초로 공간-분광 특징 학습이 변분 HSI 압축의 율-왜곡(RD) 성능에 미치는 영향을 연구한다. 이를 위해, 변분 HSI 압축 내에서 구성 가능한(configurable) 공간 및 분광 특징 학습 블록을 사용할 것을 제안한다. 이를 달성하기 위해, HSI 압축을 위한 구성 가능한 변분 오토인코더(VAE)인 공간-분광 변분 하이퍼스펙트럴 영상 압축 아키텍처(HyVIC)를 소개한다. 두 개의 벤치마크 데이터셋에 대한 광범위한 실험을 통해 공간적 특징 학습과 분광적 특징 학습 간의 트레이드오프가 복원 충실도에 결정적임을 입증한다. 이에 착안하여, 제안된 모델의 하이퍼파라미터를 체계적으로 선택하기 위한 메트릭 주도 전략도 제시한다. 구체적으로, HyVIC는 다양한 압축률(CR) 범위에서 높은 공간 및 분광 복원 충실도를 달성하며, BD-PSNR 기준으로 최대 4.66dB까지 최신 기술(state of the art)을 개선한다. 코드와 사전학습된 모델 가중치는 https://git.tu-berlin.de/rsim/hyvic 에서 공개되어 있다.
자기공명 핑거프린팅(MRF)과 같은 정량적 영상 기법은 신호 변화로부터 생체물리학적 조직 매개변수(parameter)를 추정하여 해석 가능한 병리학적 바이오마커를 추출하는 것을 목표로 합니다. 그러나 이러한 역문제(inverse problem)에 사용되는 패턴 매칭 알고리즘이나 신경망은 원리적인 불확실성 정량화가 결여된 경우가 많아, 임상 적용에 필수적인 신뢰성과 투명성을 제한합니다. 본 논문에서는 복셀 단위의 다중 매개변수 사후 확률 분포(posterior distribution)를 신속하게 추출하도록 설계된 물리 구조화 변분 오토인코더(PS-VAE)를 제시합니다. 본 접근법은 미분 가능한 스핀 물리 시뮬레이터와 자기지도학습(self-supervised learning)을 통합하며, 잠재 생체물리학적 공간의 매개변수 간 상관관계를 포착하는 완전한 공분산(full covariance)을 제공합니다. 본 방법은 체외(in-vitro) 팬텀, 종양 보유 마우스, 건강한 인간 지원자, 교모세포종 환자에 걸친 다중 양성자 풀 화학 교환 포화 전이(CEST) 및 준고체 자화 전이(MT) 분자 MRF 연구에서 검증되었습니다. 도출된 다중 매개변수 사후 확률 분포는 전수 베이즈 분석(brute-force Bayesian analysis)으로 계산된 결과와 잘 일치하면서도, 전뇌(whole brain) 정량화에서 수치 차수(orders-of-magnitude) 단위의 속도 향상을 제공합니다. 아울러 점진적으로 획득되는 신호에 걸쳐 다중 매개변수 사후 확률 분포의 동역학을 모니터링하는 것이 프로토콜 최적화를 위한 실질적인 통찰을 제공하며 실시간 적응형 데이터 획득을 촉진할 수 있음을 입증합니다.
정규-역감마(Normal-Inverse-Gamma, NIG) 잠재 계층 구조는 네 개의 매개변수를 가지지만, 이로 인해 유도된 잠재 법칙은 이 네 개를 모두 식별하지는 못한다. $\sigma^2\sim\mathrm{InvGamma}(\alpha,\beta)$, $\mu\mid\sigma^2\sim\mathcal{N}(\gamma,\sigma^2/\nu)$, 그리고 $z\mid\mu,\sigma^2\sim\mathcal{N}(\mu,\sigma^2)$에 대해, $z$의 주변 법칙(marginal law)은 $c=\beta(1+1/\nu)$를 통해서만 $(\nu,\beta)$에 의존한다. 따라서 재구성 관점에서 가시적인 매개변수 공간은 1차원 파이버 자유도를 갖는 3차원 몫 공간 $(\gamma,\alpha,c)$이다. 고정된 계층적 변분 목적식에 대해 완전한 NIG 사전분포로의 순방향 KL 발산(divergence)을 정확하게 부분 최소화하면 각 파이버에서 사전분포에 상대적인 고유한 대표값을 선택하게 되며, 이는 4개 좌표 목적식과 동일한 최적값을 갖는 정확한 3개 좌표 축소를 산출한다. $\rho_0=2\beta_0/\nu_0$ 및 $T=c/\{\alpha[(\gamma-\gamma_0)^2+\rho_0]\}$로 표기할 때, 역 표준 할당(inverse canonical allocation) $1/\nu_{\rm can}$이 $T$의 명시적인 강단조 증가 함수임을 보인다. 따라서 $\alpha>1$인 경우 비율 $u_{\rm epi}/u_{\rm var}=1/\nu_{\rm can}$은 몫 상태와 사전분포에 의해 결정되며, 공통 보정(calibration) 하에서 순위만을 사용하는 경우 $T$는 좌표별로 동일한 서열 정보를 포함한다. 잔여 사전분포 게이지는 제거되기보다는 특성화된다. 즉, $(\gamma_0,\rho_0)$는 서열 의존성을 지배하고, $(\nu_0,\alpha_0)$는 수치적 보정과 $1/\nu_{\rm can}$의 해석적 상한을 결정한다.
벡터 심볼릭 대수(Vector Symbolic Algebras, VSA)는 무작위로 생성된 원자 벡터 심볼과 실수값 데이터의 분수 거듭제곱 인코딩(fractional power encoding)에 벡터 대수를 적용하여, 데이터 구조를 초고차원 벡터 공간으로 사영한다. 비정형 데이터를 임베딩하는 문제는 여전히 해결되지 않은 과제로 남아 있다. 본 논문에서는 임의의 차원에서 데이터를 Clifford 토러스(Clifford torus)로 사영하는 방법을 학습하는 변분 오토인코더(variational autoencoder)인 \textit{Clifford-VAE}를 제안한다. MNIST, FashionMNIST, CIFAR-10 데이터셋을 사용한 실험 결과, Clifford-VAE는 준지도 분류(semi-supervised classification) 과제에서 Gaussian VAE 및 Hyperspherical VAE가 생성하는 표현과 대등한 수준의 표현을 생성하는 동시에, 자기 바인딩 및 언바인딩(self-binding and unbinding), 역할-채움자 복원(role-filler recovery), 번들 용량(bundle capacity)에 대한 VSA 벤치마크 테스트에서는 Gaussian 및 Hyperspherical 대응 모델보다 우수한 성능을 보인다. Clifford-VAE는 지각 데이터(perceptual data)를 심볼릭 추론 프레임워크에 그라운딩(grounding)하기 위한 원리적인 기법을 제공하며, VSA 문헌에서 오랫동안 이어져 온 문제에 대한 새로운 접근법을 제시한다.
ill-posed 역문제는 해 공간을 타당한 결과 쪽으로 제약하기 위해 사전(prior)이 필요하다. 역 렌더링(inverse rendering)에서는 자연 조명의 분포를 모델링하는 학습된 사전이 장면 속성 복원을 개선한다. 그러나 기존 모델들은 조명을 원거리(far-field) 환경 맵(environment map)으로 표현하는 원거리 조명(distant-illumination) 가정에 의존한다. 이는 유한 거리 방출체, 가시성 변화, 시차(parallax)로 인해 조명이 공간적으로 크게 변하는 실내 장면에서는, 단일 환경 맵으로는 이를 잘 근사할 수 없어 적용이 제한된다. 이를 해결하기 위해, 우리는 실세계 실내 파노라마와 그 추정 깊이(depth)로 학습한 공간 인식 조명 사전을 제안한다. 변분 오토인코더(VAE) 모델은 HDR radiance와 depth로 디코딩되는 compact하고 최적화 가능한 잠재 공간을 학습하며, 표준 미분 가능 렌더링(differentiable rendering) 파이프라인에 직접 통합할 수 있는 area light 방출체를 매개변수화한다. 이 설계는 학습된 사전의 타당성 보장과 하류 최적화에 필요한 그래디언트 흐름을 연결한다. 무엇보다 radiance와 depth를 공동으로 모델링함으로써, 우리 사전은 광원을 무한히 먼 것으로 취급하는 대신 실내 조명의 공간 구조를 포착한다. 이 formulation이 공간적으로 변하는 조명 모델링을 가능하게 하고, 기존 접근법 대비 실내 조명 복원에서 더 높은 충실도를 달성함을 보인다. Project page: https://andreead-a.github.io/RoomLight
변분 오토인코더(VAE)는 역문제에 대한 상환 베이지안 추론(inference)을 효율적으로 수행하는 접근을 제공하지만, 역문제에 약하게 식별되는 매개변수 방향이 포함될 때 특히 사후 정확도는 변분 정규화(regularization) 선택에 크게 의존할 수 있다. 본 연구는 세 가지 목적함수를 조사한다: 역 Kullback–Leibler 형식(VAE-KL), 비대칭 Jensen–Shannon 형식(VAE-JS), 그리고 역 Kullback–Leibler 정규화항을 제곱 2-Wasserstein 거리로 대체하면서 순방향 Kullback–Leibler 사후 지도는 유지하는 Jensen–Shannon–Wasserstein 형식(VAE-JSWA). 상환 사후 추론에는 full-covariance 가우시안 인코더와 사전학습된 물리 기반 서로게이트(surrogate)를 사용한다. 일반화 Fisher 기저에서의 국소 선형–가우시안 분석을 개발하여 세 목적함수의 분산 의존 기울기를 특성화한다. 이 형식들은 먼저 알려진 사후 해가 있는 선형–가우시안 벤치마크로 평가한 뒤, 선형 ODE에 의해 지배되는 역문제 하나와 PDE 제약 역문제 두 개를 포함한 비선형 물리 기반 역문제에서 검증한다. 세 접근 모두 유사한 사후 근사를 내놓는 잘 조건화(well-conditioned)된 벤치마크에서는 VAE-KL이 다른 형식들보다 약간 더 나은 성능을 보이는 반면, 강하게 ill-conditioned된 벤치마크에서는 VAE-JSWA가 사후 오차를 현저히 더 낮춘다. 비선형 물리 기반 문제에서도 유사한 조건화 의존 경향이 나타나며, 사후 ill-conditioning이 커질수록 JS 기반 형식이 더 큰 이득을 제공한다. 이러한 결과는 사후 조건화(posterior conditioning)가 변분 목적함수 선택에 중요한 요인임을 시사하며, 베이지안 역문제를 위한 기하학 적응형 변분 추론을 동기 부여한다.
고충실도 3D 생성 모델링은 점점 더 잠재 확산(latent diffusion) 패러다임에 의존하고 있으며, 여기서 기반 3D VAE의 재구성 품질이 주요 병목이 된다. 기존 접근법은 크게 두 가지 패러다임을 따른다. 희소 복셀(sparse voxel) 기반 표현은 강력한 재구성 품질을 달성하지만 상당한 메모리 및 계산 오버헤드를 유발하는 반면, 집합(set) 기반 표현은 컴팩트하고 연속적이지만 잠재 희소성과 과도한 전역 평활화로 인해 일반적으로 충실도에서 뒤처진다. 우리는 MSVS-VAE를 제안한다. 이는 컴팩트함을 희생하지 않고 이러한 충실도 격차를 해소하는 계층적 집합 기반 VAE이다. 핵심 아이디어는 계층적 point-shuffle 업샘플링을 통해 앵커 VecSet 잠재 표현을 점진적으로 밀도화하여, 세밀한 기하 모델링을 위한 공간 용량을 늘리는 것이다. 밀도화된 계층으로부터 효율적으로 디코딩하기 위해, 전역 크로스 어텐션(cross-attention)을 AVS-Conv로 대체한다. AVS-Conv는 전체 잠재 집합이 아닌 지역 이웃 내에서 동작하는 기하 인식 지역 집계 연산자이다. 또한 다중 스케일 쿼리 디코딩을 도입하여 거친-세밀(coarse-to-fine) 잠재 특징을 융합한다. 거친 스케일은 안정적인 전역 컨텍스트를 제공하고, 세밀한 스케일은 국소화된 기하를 정제하여 과도하게 지역적인 수용 영역(receptive field)으로 인한 아티팩트를 줄인다. Objaverse, ABO, 실환경(in-the-wild) 벤치마크에 대한 광범위한 실험은 MSVS-VAE가 기존 집합 기반 및 복셀 기반 VAE를 일관되게 능가하며, 기존 집합 기반 방법 대비 약 10배 빠른 디코딩과 복셀 기반 베이스라인 대비 약 10배 높은 컴팩트함을 제공함을 보여준다.
종단 종양 측정치, 중도 탈락 정보, 유전 공변량은 치료 반응에 대한 상보적 정보를 제공하지만, 이러한 데이터 소스를 단일 모집단 모델링 프레임워크 내에서 통합하는 것은 여전히 어렵다. 본 연구는 경험적 베이즈 변분 오토인코더(EB-VAE) 프레임워크를 종단 및 time-to-event 공동 모델링으로 확장하고 종양 성장 데이터에서 이를 평가했다. 이 프레임워크는 공변량 조건 경험적 베이즈 사전분포에 의해 정규화된 잠재 개인 효과를 사용해 개인 간 변이성을 표현하며, 디코더가 이러한 잠재 효과를 종양 부피 궤적으로 매핑한다. 정보성 중도 탈락(informative dropout)을 반영하기 위해 디코더에 위험도 모델을 추가하여 종양 성장과 탈락까지의 시간에 대한 공동 예측을 생성했다. 또한 완전 신경망형과 하이브리드 반-기계론적 디코더 공식화를 비교했으며, 유전체 공변량을 유전체 조건 사전분포 적응을 통해 통합했다. 하이브리드 디코더는 신경망 디코더에 필적하는 사전 예측 성능을 달성하면서, 이전에 보고된 비선형 혼합효과 추정치와 대체로 일치하는 치료 효과 매개변수를 복원했다. 공동 모델은 홀드아웃 개체에서 종양 부피 분포와 탈락 패턴을 모두 재현했으며, 유전체 조건화는 피부 흑색종 및 유방암 실험 모두에서 개인 수준 사전 예측을 개선했다. 안정성 선택(stability selection)은 BRAF, NRAS, NF1, MDM2의 변이를 포함해 여러 생물학적으로 타당한 유전 지표를 식별했다. 이러한 결과는 EB-VAE가 약력학적 응용에서 신경 동역학, 기계론적 구조, time-to-event 모델링, 고차원 공변량을 결합하는 유연한 확률적 프레임워크를 제공함을 보여준다.
과학 사용자 시설(scientific user facilities)은 전통적인 워크플로가 처리할 수 있는 속도보다 빠르게 X-ray 산란 데이터를 생성한다. 우리는 오프라인 데이터셋 탐색과 실시간(on-the-fly) 분석이라는 두 가지 설정에서 이 과제를 다룬다. 우리는 150만 장의 X-ray 산란 영상에 대해 도메인 특화 어텐션 기반 Convolutional Variational Autoencoder(C-VAE)를 학습하여, 다양한 실험 조건 전반의 구조적 변이를 포착하는 저차원 표현을 학습한다. 학습된 잠재 공간(latent space)은 실험 진행을 반영하는 잘 조직된 클러스터와 매끄러운 궤적을 드러낸다. 또한 다양한 구조 상태에 걸친 제어된 합성 산란 영상 생성을 지원한다. 재학습 없이 배포했을 때, 해당 모델은 두 synchrotron 시설에서의 시간 분해(time-resolved) 필름 형성 실험을 해석 가능한 잠재 구조로 조직한다. 범용 비전 기반 모델(general-purpose vision foundation model)인 DINOv3(ViT-7B)와의 벤치마킹을 통해, 도메인 특화 학습이 산란 데이터에 대해 더 해석 가능한 잠재 조직을 제공함을 보인다. 두 워크플로는 MLExchange 플랫폼의 구성 요소인 Latent Space Explorer에 통합되어, 아카이브된 데이터셋과 실시간 실험 전반에 걸친 대화형 구조 탐색을 지원한다.
네트워크 침입 탐지 시스템(NIDS)은 네트워크 공격 및 침입을 탐지하는 데 필수적인 도구입니다. 공격 탐지 및 특성 분석을 위한 지도 학습(supervised Machine Learning) 활용에 관한 연구가 광범위하게 이루어져 왔으나, 이러한 방법들은 정확하게 레이블링된 데이터셋을 필요로 하며 이를 확보하는 데 매우 높은 비용이 소요됩니다. 또한 기존의 공개 데이터셋은 공격 유형이 제한적이거나 최신성이 부족하고, 상당수가 잘못 레이블링된 데이터 문제를 겪고 있습니다. 레이블링된 데이터에 대한 의존도를 줄이기 위해, 본 논문에서는 이종 변분 그래프 오토인코더(Heterogeneous Variational Graph Autoencoder) 기반의 새로운 비지도 이상 탐지 접근법인 AutoGraphAD를 제안합니다. AutoGraphAD는 네트워크 활동을 나타내는 연결 노드와 IP 노드로 구성된 이종 그래프(heterogeneous graph) 위에서 동작합니다. 이 모델은 레이블링된 데이터에 의존하지 않고 비지도 학습과 대조 학습(contrastive learning)을 통해 학습됩니다. 모델의 손실값들은 가중 합산되어 이상 탐지에 사용되는 이상 점수(anomaly score)로 결합됩니다. 전반적으로 AutoGraphAD는 Anomal-E와 동등하거나 일부 경우 더 우수한 성능을 달성하면서도, 비용이 높은 다운스트림 이상 탐지기를 필요로 하지 않습니다. 그 결과 AutoGraphAD는 약 1.18 자릿수 빠른 학습 속도와 약 1.03 자릿수 빠른 추론 속도를 달성하며, 이는 운영 환경 배포에 있어 중요한 이점을 나타냅니다.
참조 집단 대비 대상 집단의 변동성을 정량화하는 것은 많은 과학적·임상적 문제(예: 질환 집단 대 건강 집단)의 핵심 과제다. 그러나 쌍 데이터가 없고 대상 집단의 변동이 이질적인 상황에서 기존 방법들은 대상 특이적 변동의 여러 양상을 분리하는 데 어려움을 겪는다. 본 논문에서는 비쌍 데이터로부터 구조화된 잠재 생성 요인을 학습하는 심층 대조 잠재 변수 모델인 CASL-VAE를 제안한다. CASL-VAE는 변동을 집단 간 공유되는 연속형 공통 잠재 요인과, 대상 특이적 이질성을 이산 서브타입 및 서브타입 내 연속 변동으로 모델링하는 계층적 현저 잠재 요인으로 분해한다. 변분 추론을 활용하여 비쌍 데이터만으로 참조 도메인과 대상 도메인에 대한 근사 결합 가능도 최적화를 수행하는 방법을 제시하며, 이는 쌍 샘플 생성 및 도메인 간 분석을 위한 원칙적 기반을 제공한다. 반합성 신경영상 데이터에서 CASL-VAE를 검증한 결과, 기준선 클러스터링 및 생성 모델들과 비교해 서브타입 복원 및 쌍 샘플 생성 성능이 향상되었음을 입증한다. 또한 알츠하이머병에서 생물학적으로 타당한 이질성을 드러내는 능력도 검증한다.
변분 오토인코더(VAE)의 사후 붕괴(posterior collapse)를 야기하는 두 독립 원인인 그래디언트 불균형과 정보 격차를 수식으로 규명하고, 재매개변수화 단계에서 샘플링 노이즈를 차원별 지수로 스케일링하는 λ-VAE를 제안해 분산 균등화(variance equalization)를 달성한다. Binary MNIST, CIFAR-10 등 표준 벤치마크에서 붕괴 차원을 대폭 감소시키고 정보 용량을 최대 2.8× 향상시키며 재구성 품질을 최대 +0.33 BPD 개선하는 성과를 보인다.
딥러닝의 통계적 유연성과 고정수익(fixed-income) 모델링의 차익거래 무결성 사이의 충돌을 해소하기 위해, Student-t 조건부 변분 오토인코더(CVAEsT+LS)로 수익률 곡선 다양체를 추출하고 무차익거래 PDE로 제약된 신경 확률 미분방정식(Neural SDE)으로 잠재 동역학을 모델링하는 2단계 프레임워크를 제안한다. USD, GBP, JPY 국채 데이터에서 6.58 bps의 샘플 외 예측 오차를 달성하며 고전적 HJM 모델 대비 극단적 거시경제 국면에서의 제로 하한 위반 문제를 성공적으로 극복함을 실증한다.
구조 건전성 모니터링(SHM)에서 진동 기반 손상 식별의 불량 조건 역문제를 해결하기 위해, 미분 가능한 수치 고유값 솔버를 VAE 아키텍처에 직접 임베딩하고 잠재 변수 간 공간 교차 상관관계를 포착하는 가우시안 코퓰라를 적용한 물리 정보 기반 과학적 머신러닝(SciML) 프레임워크 PI-GCVAE를 제안한다. 단순 지지 교량의 합성 데이터셋 실험에서 PI-GCVAE는 77.2%의 커버리지로 실제 사후 분포를 정확히 복원하며, 기존 순수 데이터 기반 VAE 대비 우수한 불확실성 정량화 성능을 보였다.
IoT 네트워크의 프라이버시 보존 침입 탐지를 위해 F-ACVAE라는 연합 적응형 조건부 변분 오토인코더(VAE) 프레임워크를 제안하며, 로컬 인코더는 비공개로 유지하고 디코더 등 공유 구성 요소만 집계하는 선택적 파라미터 집계 방식을 채택했다. 극심한 non-IID 데이터 환경에서의 안정성을 위한 제약 모멘텀 가우시안 집계(CMGA) 전략을 도입하여 N-BaIoT 데이터셋에서 정확도 및 매크로 F1-스코어 99%를 달성하는 동시에 통신 오버헤드를 약 62% 절감했다.
X-VAE는 변분 오토인코더(VAE)의 고정된 등방성 가우시안 사전분포를 사전학습된 오토인코더의 잠재 표현에서 추정한 데이터 적응형 가우시안 혼합 사전분포로 대체하여 사전분포-사후분포 불일치 문제를 완화한다. 추가 학습 파라미터 없이 KL 발산의 해석적 계산 가능성을 유지하면서, 생성 시 잠재 스케일링 인수 α를 통해 다양성과 충실도 간의 균형을 재학습 없이 제어할 수 있음을 MNIST, CelebA 벤치마크에서 검증하였다.
자기지도 학습(SSL)과 확산 모델은 각각 고차원 3D 시각 데이터에 대한 표현 학습과 생성 모델링을 발전시켜 왔지만, 종종 별개의 패러다임으로 개발된다. 다중 출처 이질성 하에서의 통합은 여전히 어려운 과제인데, 해부학적 내용은 분석을 위해 보존되어야 하는 반면 촬영 관련 스타일은 센터 간에 달라지며 합성에 영향을 미치기 때문이다. 본 논문에서는 변분 오토인코더 잠재 공간에서 3D 의료 영상 분리 통합 사전학습(3D Medical image Disentangled UnifiEd PreTraining) 프레임워크인 MeDUET를 제안한다. MeDUET는 통합 사전학습을 경험적 인자 식별 가능성 문제로 공식화하여, 해부학을 위한 도메인 불변 내용 인자와 외관을 위한 도메인 특이적 스타일 인자를 학습하는 것을 목표로 한다. 인자 분리를 개선하기 위해 MeDUET는 먼저 표준 적대적 도메인 정규화와 함께 토큰 디믹싱(token demixing)을 사용하여 기본적인 내용-스타일 특화를 확립하고, 더 나아가 Mixed Factor Token Distillation과 Swap-invariance Quadruplet Contrast를 도입하여 혼합 영역 인자 누출을 줄이고 인자별 불변성과 판별 가능성으로 인자 공간을 구조화한다. 이렇게 학습된 인자를 통해 MeDUET는 합성과 분석 모두에 효과적으로 전이되어, 합성에서는 더 높은 충실도, 더 빠른 수렴, 더 나은 제어 가능성을 제공하고, 다양한 데이터셋, 태스크, 모달리티에서 경쟁력 있거나 우수한 도메인 일반화와 레이블 효율성을 달성한다. 전반적으로 MeDUET는 다중 출처 이질성이 유용한 감독 신호로 활용될 수 있음을 보여주며, 분리(disentanglement)가 3D 의료 영상 합성과 분석을 통합하는 효과적인 인터페이스를 제공함을 시사한다. 코드는 https://github.com/JK-Liu7/MeDUET 에서 제공된다.
변분 오토인코더(VAE)를 독립 모델이 아닌 VAELinear 신경망 층으로 통합하고, 역전파 없이 층별로 학습하는 IFFCL과 다중모달 MVAE 목적함수를 결합한 학습 전략을 제안한다. MNIST 실험에서 세 층 모두 손실이 빠르게 감소했고, 10 에포크 기준 학습·테스트 정확도는 각각 53%와 55%에 도달했다.
우리는 PDE 유형의 주변(ambient) 데이터에 대해 기하학적 잠재 역학을 정규화하는 변분 자동인코더(VAE)를 위한 리만(Riemannian) 접근법을 개발하며, 이를 VAE-DLM, 즉 동역학적 잠재 다양체(manifold)를 갖는 VAE라고 부른다. 인코더와 디코더가 구성하는 중간 잠재 공간에서, 우리의 기하 흐름에 따르는 유클리드 공간에 임베딩된 다양체 기하학을 학습하도록 VAE 프레임워크를 재구성한다. 잠재 공간이 진화하는 기하 흐름을 맞춤 설계함으로써, 우리가 선택한 잠재 기하학적 성질을 유도하며, 이는 실증적 성능에 반영된다. 사전분포(prior)에 대한 신중한 선택과 함께 전통적인 증거 하한(ELBO) 손실을 재공식화한다. 정상 상태 정규화 항을 갖는 선형 기하 흐름을 개발한다. 이 흐름은 시간 도함수 하나에 대한 자동 미분만 필요하며, 물리 정보 기반(physics-informed) 접근법으로 중간 정도의 고차원에서 풀 수 있어, 더 표현력 있는 잠재 표현을 가능하게 한다. 이 흐름이 그래디언트 흐름으로 공식화될 수 있으며, 계량(metric) 특이점으로부터 엔트로피를 유지한다는 점을 논의한다. 고유값(eigenvalue) 페널티 조건과 함께, 이는 다양체가 측도(measure) 면에서 충분히 크고, 비퇴화(nondegenerate)하며, 정규(canonical) 기하학을 갖도록 보장하는 데 기여하여, 강건한 표현(representation)에 기여한다. 우리의 방법은 다양체 인코더-디코더를 위해 tanh 활성화를 갖는 수정된 다층 퍼셉트론(MLP) 아키텍처에 초점을 맞춘다. 관심 데이터셋에서 우리의 방법은 전통적인 VAE만큼 잘 수행되며, 종종 더 나은 성능을 보인다. 우리의 방법은 이를 및 우리가 제안한 아키텍처를 갖춘 VAE를 능가할 수 있으며, 선택된 데이터셋에서 분포 밖(OOD) 오류를 15%에서 35%까지 자주 줄인다. 후기 시간에 최소한의 변화를 유지하는 해를 갖는 주변 PDE에서 우리의 방법을 강조한다. VAE를 통한 외부 역학에 대한 강건 학습을 어떻게 개선할 수 있는지에 대한 실증적 근거를 제공한다.