arXiv:2104.10180

Robust Feature Disentanglement in Imaging Data via Joint Invariant Variational Autoencoders: from Cards to Atoms

Maxim Ziatdinov, Sergei Kalinin

제출 2021-04-20

원문 초록

Recent advances in imaging from celestial objects in astronomy visualized via optical and radio telescopes to atoms and molecules resolved via electron and probe microscopes are generating immense volumes of imaging data, containing information about the structure of the universe from atomic to astronomic levels. The classical deep convolutional neural network architectures traditionally perform poorly on the data sets having a significant orientational disorder, that is, having multiple copies of the same or similar object in arbitrary orientation in the image plane. Similarly, while clustering methods are well suited for classification into discrete classes and manifold learning and variational autoencoders methods can disentangle representations of the data, the combined problem is ill-suited to a classical non-supervised learning paradigm. Here we introduce a joint rotationally (and translationally) invariant variational autoencoder (j-trVAE) that is ideally suited to the solution of such a problem. The performance of this method is validated on several synthetic data sets and extended to high-resolution imaging data of electron and scanning probe microscopy. We show that latent space behaviors directly comport to the known physics of ferroelectric materials and quantum systems. We further note that the engineering of the latent space structure via imposed topological structure or directed graph relationship allows for applications in topological discovery and causal physical learning.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22919v1cs.CV공통 태그 Clustering, Disentanglement

텍스트 조건 변환을 통한 임베딩 공간 제어

Controlling Embedding Spaces with Text-Conditioned Transformations

CLIP과 같은 모델의 멀티모달 임베딩 공간은 의미적 유사도 검색 및 교차 모달 제로샷 분류와 같은 강력한 기능을 가능하게 한다. 이러한 임베딩은 고수준 의미를 단일 벡터로 압축하는데, 이는 주요 객체와 같은 지배적 의미를 주로 표현하면서 카메라 각도나 색조와 같은 다른 중요한 속성을 억제하는 대가를 치른다. 우리는 이러한 속성을 명시적으로 접근 가능하게 만드는 시각적 임베딩의 텍스트 조건 변환(text-conditioned transformation)을 제안한다. 속성 카테고리에 대한 자연어 설명(예: "색상" 또는 "예술 스타일")이 주어지면, 네트워크는 지정된 속성을 강조하는 아핀 변환(affine transformation)을 생성한다. 텍스트 조건화를 통해 많은 속성을 동시에 학습할 수 있으며, 추론 시 직관적인 인터페이스를 통해 이에 접근할 수 있다. 네트워크는 변환된 임베딩을 고정된 잠재 공간(latent space)과 정렬하도록 학습되어, 재인코딩 없이 기존 대규모 임베딩을 사용한 검색을 가능하게 한다. 전체 집합에 적용할 때, 동일한 메커니즘은 다중 클러스터링(multi-clustering)과 같은 속성 분리(attribute disentanglement) 작업을 위해 잠재 공간을 변환한다. 잠재 공간에서 직접 동작함으로써, 본 방법은 임베딩 공간을 제어하기 위한 통합적이고 효율적인 프레임워크를 제공하며, 거의 제로에 가까운 추론 비용으로 속성 기반 검색 및 다중 속성 조직화 작업 모두에서 최신(state-of-the-art) 성능을 보여준다. 프로젝트 페이지: https://joefioresi718.github.io/ControlEmbed_webpage/

arXiv:2607.10413v1cs.CV공통 태그 Clustering, Disentanglement

SPORT: 불완전 다중 뷰 클러스터링을 위한 구조 인식 프로토타입 분리

SPORT: Structure-Aware Prototype Disentanglement for Incomplete Multi-View Clustering

프로토타입 기반 불완전 다중 뷰 클러스터링(Incomplete Multi-view Clustering)은 최근 누락 뷰 대체(missing-view imputation)를 위한 의미론적 앵커로 프로토타입을 활용함으로써 점점 더 많은 주목을 받고 있다. 그러나 기존 방법들은 세 가지 측면에서 여전히 한계를 지닌다. 첫째, 기존 방법들은 일반적으로 뷰 간 프로토타입 일관성을 강제하는 데 집중하면서 프로토타입에 내재된 뷰별 정보를 무시하여 다중 뷰 표현력을 제한한다. 둘째, 대부분의 방법은 뷰 간 쌍을 이루는 샘플만 정렬하는 인스턴스 수준의 대조 학습에 의존하여 클러스터 수준의 관계 구조를 보존하지 못한다. 셋째, 누락 뷰 대체는 대개 전역 프로토타입만을 사용하여 수행되며 지역 기하학적 이웃 구조를 고려하지 않아 누락 표현의 부정확한 복구로 이어진다. 이러한 한계를 해결하기 위해 우리는 SPORT(Structure-aware PrOtotype disentanglement foR incomplete multi-view clusTering)라는 새로운 프레임워크를 제안한다. SPORT는 클러스터 수준의 관계 구조를 보존하면서 프로토타입의 공유 구성요소와 뷰별 구성요소를 명시적으로 분리한다. 구체적으로, 프로토타입을 직교하는 공유 구성요소와 뷰별 구성요소로 분리하여 공유 구성요소만 정렬해 합의 의미론을 포착하고, 뷰별 구성요소는 비상관화하여 보완적 정보를 보존한다. 한편, 구조 인식 대조 학습 메커니즘을 도입하여 뷰 간 표현 학습 중에 클러스터 수준의 관계를 명시적으로 모델링한다. 나아가, 하이브리드 대체 전략은 전역 프로토타입 매칭과 지역 이웃 매칭을 통합하여 누락 뷰 복구를 위한 의미론적 프로토타입과 매니폴드 구조의 공동 활용을 가능하게 한다. 여섯 개의 벤치마크 데이터셋에 대한 광범위한 실험을 통해 SPORT가 다양한 누락률 조건에서 최신 방법들을 능가하는 우수한 성능을 달성함을 보여준다.

arXiv:2607.08254v1cs.LG공통 태그 Clustering, Disentanglement

CASL-VAE: 비쌍 데이터로부터 구조화된 잠재 변수 학습을 통한 준지도 클러스터링 및 쌍 샘플 생성

CASL-VAE: Learning Structured Latent Variables from Unpaired Data for Semi-supervised Clustering and Paired Sample Generation

참조 집단 대비 대상 집단의 변동성을 정량화하는 것은 많은 과학적·임상적 문제(예: 질환 집단 대 건강 집단)의 핵심 과제다. 그러나 쌍 데이터가 없고 대상 집단의 변동이 이질적인 상황에서 기존 방법들은 대상 특이적 변동의 여러 양상을 분리하는 데 어려움을 겪는다. 본 논문에서는 비쌍 데이터로부터 구조화된 잠재 생성 요인을 학습하는 심층 대조 잠재 변수 모델인 CASL-VAE를 제안한다. CASL-VAE는 변동을 집단 간 공유되는 연속형 공통 잠재 요인과, 대상 특이적 이질성을 이산 서브타입 및 서브타입 내 연속 변동으로 모델링하는 계층적 현저 잠재 요인으로 분해한다. 변분 추론을 활용하여 비쌍 데이터만으로 참조 도메인과 대상 도메인에 대한 근사 결합 가능도 최적화를 수행하는 방법을 제시하며, 이는 쌍 샘플 생성 및 도메인 간 분석을 위한 원칙적 기반을 제공한다. 반합성 신경영상 데이터에서 CASL-VAE를 검증한 결과, 기준선 클러스터링 및 생성 모델들과 비교해 서브타입 복원 및 쌍 샘플 생성 성능이 향상되었음을 입증한다. 또한 알츠하이머병에서 생물학적으로 타당한 이질성을 드러내는 능력도 검증한다.

arXiv:2607.04064v1cs.CL공통 태그 Clustering, Disentanglement

음절 토큰화를 위한 화자 분리 청크 단위 회귀

Speaker-Disentangled Chunk-Wise Regression for Syllabic Tokenization

비지도 음절 토큰화는 원시 음성에서 잠재적 언어 내용 관련 구조를 포착하는 이산 음절 토큰을 학습하는 것을 목표로 한다. 최근의 음절 토큰화 방법들은 사전학습된 HuBERT의 교사-학생 지식 증류를 활용하여 잠재 음성 프레임 표현을 음절 세그먼트로 구성한다. 그러나 발화 수준의 교차 엔트로피 목적 함수로 학습할 경우, 모델이 언어 내용 대신 화자 정체성을 예측하게 되어 음절 토큰의 순도가 저하된다. 이 문제를 해결하기 위해, 우리는 고정 길이 청크 내에서 화자 섭동이 적용된 학생 표현을 깨끗한 교사 타깃으로 회귀시키는 화자 분리 음절 토크나이저를 제안한다. 실험 결과, 제안된 방법이 음절 경계 검출 및 음절 세그먼트 클러스터링에서 최첨단 성능을 달성함을 보인다. 또한 우리의 음절 토큰으로 학습된 음성 언어 모델은 음소 수준의 SpiRit-LM 대비 통사적 및 의미적 이해에서 7%의 상대적 성능 향상을 달성한다.

arXiv:2609.38840v3cs.LG공통 태그 Disentanglement

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.