arXiv:1905.12614

Unsupervised Model Selection for Variational Disentangled Representation Learning

Sunny Duan, Loic Matthey, Andre Saraiva, Nicholas Watters, Christopher P. Burgess, Alexander Lerchner, Irina Higgins

제출 2019-05-29

원문 초록

Disentangled representations have recently been shown to improve fairness, data efficiency and generalisation in simple supervised and reinforcement learning tasks. To extend the benefits of disentangled representations to more complex domains and practical applications, it is important to enable hyperparameter tuning and model selection of existing unsupervised approaches without requiring access to ground truth attribute labels, which are not available for most datasets. This paper addresses this problem by introducing a simple yet robust and reliable method for unsupervised disentangled model selection. Our approach, Unsupervised Disentanglement Ranking (UDR), leverages the recent theoretical results that explain why variational autoencoders disentangle (Rolinek et al, 2019), to quantify the quality of disentanglement by performing pairwise comparisons between trained model representations. We show that our approach performs comparably to the existing supervised alternatives across 5,400 models from six state of the art unsupervised disentangled representation learning model classes. Furthermore, we show that the ranking produced by our approach correlates well with the final task performance on two different domains.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13923v1cs.NI공통 태그 Fairness, Reinforcement Learning

강화학습을 통한 심우주 통신용 목표 지향적 번들 관리 및 흐름 제어

Goal-Oriented Bundle Management and Flow Control for Deep-Space Communications via Reinforcement Learning

심우주 통신은 간헐적인 연결성, 긴 전파 지연, 중계 노드의 저장 용량 제약 하에서 동작합니다. 이러한 네트워크에서 번들 프로토콜(Bundle Protocol)은 저장-운반-전달(store-carry-forward) 통신을 가능하게 하며, 중계 노드가 제한된 저장 공간과 희소한 접촉 기회를 관리하도록 요구합니다. 중계기 측의 스케줄링 및 폐기(dropping) 결정은 본질적으로 목표 지향적입니다. 즉, 다운스트림 임무 목표에 가장 가치 있는 번들에 전송 자원이 할당되어야 합니다. FIFO와 같은 기존 스케줄러는 작업 효용을 명시적으로 최적화하지 못하며, 이기종 행성 소스 간에 불공정한 서비스를 제공할 수 있습니다. 본 논문에서는 달과 화성의 업데이트가 공유 버퍼 중계기를 통해 지구로 전달되는 접촉 기반 심우주 네트워크에서 중계기 측 번들 및 흐름 관리를 위한 폐루프 모델링 및 학습 프레임워크를 제시합니다. 목적지 측의 정보 신선도를 초과 수명(excess age) $Δ_i^e(t)=[Δ_i(t)-d_i(t)]^+$를 사용하여 정량화합니다. 여기서 $Δ_i(t)$는 소스 $i$의 정보 수명(Age of Information)을 나타내고 $d_i(t)$는 소스에 따른 지연 기준선입니다. 이 지표를 바탕으로 소스별 비선형 페널티를 지원하는 목표 지향적 손실을 정의하여 임무 관련성에 따른 우선순위 지정을 가능하게 합니다. 중계기 제어를 제약 조건이 있는 준 마르코프 결정 과정(CSMDP)으로 정식화하고, 마스킹된 라그랑주 근접 정책 최적화(PPO)를 사용하여 이를 해결합니다. 실행 가능성 인식 액션 마스킹은 남은 접촉 윈도우 내에 완료할 수 있는 번들로 전송을 제한합니다. DTNSim 시뮬레이션 결과, 기존 기준선 스케줄러 대비 수명 기반 효용 및 흐름 간 공정성이 향상됨을 보여줍니다. 제안된 프레임워크는 이기종 소스 간의 명시적인 공정성을 고려하면서 접촉 기반 역학 하에서 중계기 측 번들 스케줄링, 폐기 및 흐름 제어를 공동으로 최적화합니다.

arXiv:2610.10722v1cs.CV공통 태그 Disentanglement, Attribute

LinSlot: 슬롯 기반 객체 표현에서 비지도 속성 발견을 위한 선형 표현 가설의 활용

LinSlot: Exploiting Linear Representation hypothesis for unsupervised attribute discovery from slot based object representation

본 논문에서는 가공되지 않은 비정형 이미지 데이터로부터 객체와 그 속성의 얽힘 해제된 표현(disentangled representation)을 학습하는 문제를 연구합니다. 슬롯 기반(slot-based) 방식은 이미지로부터 객체 표현을 비지도 학습하는 데 있어 상당한 성과를 보여주었습니다. 블록-슬롯 어텐션 기반 방식은 객체 표현이 속성으로 균일하게 분해(factorization)된다고 가정하여 이 프레임워크를 속성 표현으로 확장하지만, 이는 차선책일 수 있으며 결과적으로 학습된 표현의 품질을 제한할 수 있습니다. 이에 따라 저자들은 객체 및 속성 표현을 공동으로 발견하기 위한 프레임워크를 조사합니다. 본 연구의 핵심 기여는 구성 가능한 개념이 슬롯 표현 내에서 선형적으로 가산적인 부분공간으로 표현될 수 있다고 가정하는 선형 표현 가설(LRH)을 활용하는 것입니다. 이러한 통찰을 바탕으로 이미지, 슬롯(객체), 블록(속성)을 연결하는 확률적 모델을 제안합니다. 또한 블록 어텐션을 활용하여 속성 표현을 슬롯에 연결하고, 객체 및 속성 표현 공간 모두에 LRH를 통합하는 아키텍처를 제시합니다. 이 아키텍처는 제안된 그래피컬 모델의 증거 하한(ELBO)을 효과적으로 최적화합니다. 실험을 통해 (i) 얽힘 해제된 객체 및 속성 표현의 효과적인 발견, (ii) 슬롯 공간에서 LRH에 대한 실증적 증거, (iii) 학습된 표현의 얽힘 해제되고 해석 가능한 특성 덕분에 이미지 편집을 수행할 수 있는 능력을 입증합니다. 여러 데이터셋에 대한 실험 결과, 기존 최고 수준(SOTA) 방식 대비 DCI 점수에서 향상된 성능을 보여줍니다.

arXiv:2609.37786v2cs.CV공통 태그 Fairness, Disentanglement

CHOQOLATE: 쇼케 적분을 활용한 개념 병목 잠재 공간 구조화

CHOQOLATE: Organizing Concept Bottleneck Latent Spaces with Choquet Integrals

CLIP과 같은 비전-언어(vision-language) 모델을 기반으로 구축된 개념 병목 모델(CBM)은 잠재 공간을 인간이 이해할 수 있는 개념으로 표현합니다. 그러나 이러한 표현은 신뢰성이 떨어집니다(unfaithful). 서로 연관된 개념들이 얽혀 있어(entangled) 개별 점수가 본래 의도한 의미를 제대로 반영하지 못하기 때문입니다. 본 논문에서는 상관관계가 있는 개념들을 간결한 노드로 병합하는, 2-가법적 쇼케 적분(2-additive Choquet integrals) 기반의 해석 가능 설계 층(layer)인 CHOQOLATE를 제안합니다. 네 가지 데이터셋 전반에서 CHOQOLATE는 가중치 희소성(weight-sparse)과 의미론적 일관성을 갖춘 노드를 통해 유리한 정확도-해석 가능성 트레이드오프를 달성합니다. 실험을 통해 뒷받침된 닫힌 형태(closed-form)의 그래디언트 유도는 명시적인 지도 없이도 쇼케 층이 왜 이러한 구조화를 유도하는지 설명합니다. 또한 쇼케 가중치는 샤플리 값(Shapley values)에 직접 매핑되어 테스트 시점의 개입(test-time intervention)을 가능하게 합니다. 표준 바이어스 완화 벤치마크에서, 학습 후 가짜 개념(spurious concepts)을 억제하는 방식은 그룹 주석이나 재학습이 필요한 기존 방법들과 대등한 성능을 보이면서도 이 둘 모두를 필요로 하지 않습니다.

arXiv:2609.27382v1cs.SD공통 태그 Fairness, Disentanglement

얽힘이 격차의 하한을 규정할 때: 오디오 이해 모델의 인구통계적 공정성 감사 및 보정

When Entanglement Lower-Bounds Disparity: Auditing and Repairing Demographic Fairness in Audio Understanding Models

음성 기술은 일부 목소리에 불리하게 작용한다. 흑인 화자에 대해서는 인식 오류가 거의 두 배 더 자주 발생하며, 제2언어 억양과 고령 화자에 대해서는 정확도가 떨어진다. 우리는 TRIAD를 제안한다. 이는 제어 가능한 텍스트 음성 변환을 통해 120개 텍스트, 24개의 렌더링된 인구통계적 음성 프로파일(성별, 연령대, 억양), 10가지 표현 스타일을 교차하는 감사 그리드로, 콘텐츠 및 affect와 지각된 인구통계 속성을 분리한다. 10개의 오픈 가중치(open-weights) 인코더에 대해 축 충실도(axis-fidelity) 함수적, 부분공간 간 주각(principal-angle) 누출, 그룹 조건부 격차를 정의한다. 한 명제는 평균 프로브(probe) 격차가 우리가 측정하는 동일한 집계 음성-의미 누출 $\Lambda$와 함께 증가함을 증명하고, 한 따름 정리는 최대 누출이 활성 영역 내 최악의 경우 격차를 강제함을 보인다. 측정된 평균제곱 프로브 격차는 $\Lambda$를 추적한다(Pearson r = 0.93), 블랙박스 프로토콜은 두 개의 폐쇄형(closed-source) 모델에서 동일한 특성을 드러낸다. ORCA는 축별 대조(contrastive) 헤드, 직交성(orthogonality) 페널티, 그룹 균형 샘플링을 결합한 어댑터로, 누출을 72% 줄이고 격차를 대략 절반으로 줄인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.