arXiv:2305.06886

A Category-theoretical Meta-analysis of Definitions of Disentanglement

Yivan Zhang, Masashi Sugiyama

제출 2023-05-11

원문 초록

Disentangling the factors of variation in data is a fundamental concept in machine learning and has been studied in various ways by different researchers, leading to a multitude of definitions. Despite the numerous empirical studies, more theoretical research is needed to fully understand the defining properties of disentanglement and how different definitions relate to each other. This paper presents a meta-analysis of existing definitions of disentanglement, using category theory as a unifying and rigorous framework. We propose that the concepts of the cartesian and monoidal products should serve as the core of disentanglement. With these core concepts, we show the similarities and crucial differences in dealing with (i) functions, (ii) equivariant maps, (iii) relations, and (iv) stochastic maps. Overall, our meta-analysis deepens our understanding of disentanglement and its various formulations and can help researchers navigate different definitions and choose the most appropriate one for their specific context.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.20627v4cs.AI공통 태그 Navigate

모델 기반 플래닝을 위한 언어 기반 잠재 목표 예측

Latent Goal Prediction from Language for Model-Based Planning

결합 임베딩 예측 아키텍처(JEPA)를 통해 에이전트는 후보 행동의 결과를 상상함으로써 잠재 공간(latent space)에서 계획을 수립할 수 있지만, 여전히 태스크 명세(task specification)가 병목으로 남아 있습니다. 시각적 타깃은 정밀한 국소적 그래디언트를 제공하지만 장거리 유도에는 취약한 반면, 언어는 유연하지만 노이즈가 있는 크로스모달 정렬이나 별도의 대규모 생성 모델에 대한 의존성으로 인해 한계가 있습니다. 본 연구에서는 단일 예측기가 행동 조건부 역학(dynamics)을 예측하는 동시에 언어 지시를 일련의 중간 잠재 하위 목표(latent subgoal) 시퀀스로 그라운딩(grounding)하는 계층적 월드 모델인 LAGO(Latent Goal Prediction from Language)를 제안합니다. LAGO는 공유된 잠재 공간에서 단일 회귀 목적함수를 사용해 두 모드를 모두 학습합니다. 각 계획 수립 단계에서 LAGO는 언어 지시로부터 잠재 하위 목표 시퀀스를 예측하고, 고정된 경로를 강제하지 않으면서 하위 목표 근접성에 보상을 부여하는 소프트 최소(soft-minimum) 정렬 비용을 활용하여 행동 시퀀스를 최적화합니다. 하위 목표는 에이전트의 상태가 변함에 따라 재예측되어, 단일 장기 지시를 국소적으로 다루기 쉬운 일련의 목표 시퀀스로 전환합니다. 내비게이션 및 매니퓰레이션을 아우르는 환경 전반에서 LAGO는 평탄형(flat) 및 계층적 이미지 목표 플래너보다 우수한 성능을 보였으며, 곡선 형태의 위험 회피 경로가 있는 장기 내비게이션에서 가장 큰 폭의 향상을 달성하여 동일한 시연 데이터로 학습된 목표 조건부 행동 복제(behavior cloning) 정책의 성공률을 두 배 이상 끌어올렸습니다. 월드 모델 자체의 잠재 공간에 언어를 그라운딩하는 방식은 정답 역학(ground-truth dynamics)으로 계획을 수립하는 모델을 포함한 비전-언어(vision-language) 보상 모델보다도 우수한 성능을 보입니다.

arXiv:2609.38840v3cs.LG공통 태그 Disentanglement

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

arXiv:2606.28228v3cs.LG공통 태그 Disentanglement

연속 시간 잠재 동역학의 얽힘 풀기: 확산 변화를 통한 잠재 SDE의 식별가능성

Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts

시계열을 위한 인과 표상 학습(causal representation learning)은 이산 시간 잠재 인과 모델에서 강력한 식별가능성(identifiability) 결과를 발전시켜 왔으나, 연속 시간 잠재 확률미분방정식(SDE) 모델에서의 식별가능성은 여전히 대부분 미해결 상태로 남아 있습니다. 본 연구에서는 환경에 의해 유도된 확산 공분산(diffusion covariance)의 변화를 활용하여 이 간극을 해결합니다. 저자들은 공유된 드리프트(drift)를 가지지만 환경별로 서로 다른 확산 공분산을 갖는, 미지의 비선형 미분동형사상(diffeomorphism)을 통해 관측되는 가산 노이즈 잠재 SDE를 연구합니다. 드리프트에 대한 어떠한 희소성(sparsity) 가정 없이도, 좌표별 분산 비율이 서로 다른 두 개의 대각 확산 영역(regime)이 주어지면 치환(permutation), 좌표별 스케일링, 그리고 가능한 상수 이동(constant shift) 수준까지 잠재 좌표를 식별할 수 있음을 보입니다. 먼저 선형 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 시스템에 대해 이 결과를 증명한 후, 이를 일반적인 가산 노이즈 잠재 SDE로 확장합니다. 완만한 매끄러움(smoothness) 조건 하에서, 순간적인 드리프트-야코비안(drift-Jacobian) 인과 그래프 또한 동일한 치환 수준까지 식별 가능합니다. 저자들은 잠재 표현 얽힘 풀기(disentanglement) 및 선택적 그래프 복원을 위한 2단계 추정기를 제안합니다. 합성 시스템에 대한 실험을 통해 예측된 식별가능성 경계를 확인하였으며, 하르당에르교(Hardanger Bridge) 모니터링 데이터에 적용하여 실제 센서 궤적에 대한 접근법의 효용성을 입증합니다.

arXiv:2607.09767v2eess.SP공통 태그 Disentanglement

특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화

Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction

이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.

arXiv:2606.18634v2cs.RO공통 태그 Navigate

EffiNav: 효율적인 객체 목표 내비게이션을 위한 깊이와 비전-언어 융합

EffiNav: Fusing Depth and Vision-Language for Efficient Object Goal Navigation

미지의 환경을 탐험하며 대상 객체를 찾는 것은 자율 에이전트의 핵심 능력으로, 수색 및 구조부터 현장 로봇에 이르기까지 다양한 응용 분야가 있습니다. 이러한 작업의 단순화된 버전은 객체 목표 내비게이션(ObjNav)입니다. ObjNav에서 대상 객체에 성공적으로 도착하는 것은 성능의 기본 척도가 되지만, 내비게이션 궤적의 효율성 또한 에이전트가 얼마나 지능적으로 탐험하는지와 후속 작업에 얼마나 많은 시간이 남아있는지를 나타내므로 동등하게 중요합니다. 미지의 환경에서 효율적인 내비게이션의 핵심은 다음에 어디를 탐험할지 결정하는 데 있습니다. 많은 기존 연구가 이 핵심 과제를 해결하고 특정 설정에서 유망한 성능을 달성했으나, 최근의 학습 기반 모델과 비학습 프레임워크는 각각 일반화 및 효율성 문제로 인해 여전히 어려움을 겪고 있으며, 최악의 경우 이미 방문한 영역의 과도한 탐험이나 불필요한 왕복 움직임으로 이어질 수 있습니다. 우리는 널리 사용되는 두 시뮬레이션 벤치마크인 Habitat Matterport 3D(HM3D)와 Open-Vocabulary Object goal Navigation(OVON)에서 EffiNav를 평가하고, 실제 환경의 물리적 로봇에서 그 효과를 추가로 검증했습니다. 또한 대규모 시뮬레이션 에피소드에 대한 실패 분석을 수행했습니다. 최소한의 수정만으로 GOAT-BENCH 데이터셋의 메모리 증강 ObjNav 작업으로 EffiNav를 확장하여, 표준 ObjNav 설정을 넘어선 적응성을 입증했습니다. 성공률(SR)과 경로 길이 가중 성공(SPL)이라는 두 가지 표준 지표 전반에서 EffiNav는 최신 기준 모델과 대등하거나 이를 능가하는 성능을 보여, 효율성, 견고성 및 실용적 적용 가능성을 입증했습니다. 두 데이터셋의 서로 다른 강조점을 고려할 때, 이러한 성과는 해당 프레임워크가 효율적인 ObjNav에 있어 더 균형 잡혀 있고 일반화 가능함을 보여줍니다.

arXiv:2607.14817v2cs.LG공통 태그 Disentanglement

인식론적 불확실성 평가: OOD 탐지와 능동 학습을 넘어서

Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning

현재 인식론적 불확실성의 평가는 분포 외 탐지, 능동 학습, 선택적 예측과 같은 과제에 의존한다. 그러나 상호 정보량이나 예측의 분산과 같은 일반적인 인식론적 불확실성 점수는 후회(regret), 즉 예측기가 베이즈 최적 예측기에 비해 갖는 초과 오류를 추정한다. 본 논문은 인식론적 거부 옵션 프레임워크를 바탕으로, 후회를 식별하는 능력으로 인식론적 불확실성을 평가하고 이 평가를 다른 과제들과 비교한다. 반복된 사람 레이블이 있는 데이터셋에서 표준 방법들을 벤치마킹한 결과, 과제마다 방법의 순위가 다르게 나타나며, 한 기준에서는 최상위이고 다른 기준에서는 최하위인 방법 간의 쌍별 순위 역전도 포함된다. 이러한 불일치는 각 과제가 서로 다른 점수를 요구하는 최적 상태에서 이미 나타난다. 선택적 예측을 커버리지, 기대 위험, 후회에 대한 제약 최적화로 정식화하여, 최적 점수가 실제 우연적 불확실성과 인식론적 불확실성의 볼록 결합임을 증명하며, 따라서 선택적 예측과 후회 과제는 하나의 과제 족의 두 끝점이 된다. 이에 분포 외 탐지, 능동 학습, 후회 과제는 어떤 방법이 인식론적 불확실성의 좋은 추정기인지에 대해 이론적으로나 경험적으로 서로 일치하지 않으며, 선택적 예측은 실제 위험과 후회가 입력의 순서를 다르게 매기는 지점에서 후회 과제와 갈라진다. 따라서 연구자들은 모델의 무지에 대한 일반적 개념에 의존하는 대신, 인식론적 불확실성 추정이 지원하고자 하는 하위 의사결정을 명시해야 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.