arXiv:2410.00718

Pseudo-Non-Linear Data Augmentation via Energy Minimization

Pingbang Hu, Mahito Sugiyama

제출 2024-10-01

원문 초록

We propose a novel and interpretable data augmentation method based on energy-based modeling and principles from information geometry. Unlike black-box generative models, which rely on deep neural networks, our approach replaces these non-interpretable transformations with explicit, theoretically grounded ones, ensuring interpretability and strong guarantees such as energy minimization. Central to our method is the introduction of the backward projection algorithm, which reverses dimension reduction to generate new data. Empirical results demonstrate that our method achieves competitive performance with black-box generative models while offering greater transparency and interpretability.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09113v1quant-ph공통 태그 Dimensionality Reduction, Data Augmentation

불균형 테이블형 학습을 위한 양자 회로 본 머신을 활용한 양자 강화 합성 데이터 생성

Quantum-Enhanced Synthetic Data Generation Using Quantum Circuit Born Machines for Imbalanced Tabular Learning

데이터 부족과 클래스 불균형은 머신러닝에서 지속적인 과제로, 모델 일반화 성능을 저하시키고 예측 바이어스를 유발한다. 본 논문은 이러한 한계를 해결하기 위해 양자 회로 본 머신(QCBM)을 활용한 합성 데이터 생성용 하이브리드 양자-고전 프레임워크를 제안한다. 제안된 접근법은 매개변수화된 변분 양자 회로(parameterized variational quantum circuit) 내에서 양자역학적 특성인 중첩(superposition)과 얽힘(entanglement)을 활용하여, 고전적 생성 방법으로는 포착하기 어려운 복잡한 확률 분포를 모델링한다. 실험은 두 가지 테이블형 벤치마크 데이터셋인 Iris 데이터셋과 Telco Customer Churn 데이터셋을 대상으로 수행된다. 전처리 단계에서는 양자 회로의 효율적인 기저 인코딩(basis encoding)을 위해 정규화와 PCA 기반 차원 축소를 적용한다. QCBM은 그래디언트 기반 매개변수 이동 최적화 규칙(parameter-shift optimization rule)을 사용하여 실제 데이터와 생성 데이터 분포 간의 쿨백-라이블러(KL) 발산을 최소화하는 방식으로 학습된다. 소수 클래스의 40~50% 비율로 QCBM이 생성한 합성 샘플로 학습 데이터를 증강하면 F1 점수가 약 5~15% 향상되고 소수 클래스 재현율이 10~25% 개선된다. 교차 도메인 평가(합성 데이터로 학습 후 실제 데이터로 테스트; 실제 데이터로 학습 후 합성 데이터로 테스트)에서는 성능 차이가 3~10%에 불과하여 높은 분포 충실도(distributional fidelity)를 확인할 수 있다. SMOTE, Borderline-SMOTE, KMeansSMOTE, SVM-SMOTE 등 고전적 오버샘플링 방법과의 비교 분석에서 QCBM은 경쟁력 있는 분류 성능을 달성하고 Telco 데이터셋에서 더 낮은 최대 평균 불일치(Maximum Mean Discrepancy, MMD)를 보여, 특정 불균형 환경에서 구조적 유사성이 더 우수함을 시사한다. 이러한 결과는 QCBM이 클래스 불균형이 있는 저차원 구조화 테이블형 데이터에 대한 데이터 증강의 실용적인 보완 도구임을 입증한다.

arXiv:2609.38840v3cs.LG공통 태그 Dimensionality Reduction

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.