arXiv:2312.08075

TERM Model: Tensor Ring Mixture Model for Density Estimation

Ruituo Wu, Jiani Liu, Ce Zhu, Anh-Huy Phan, Ivan V. Oseledets, Yipeng Liu

제출 2023-12-13

원문 초록

Efficient probability density estimation is a core challenge in statistical machine learning. Tensor-based probabilistic graph methods address interpretability and stability concerns encountered in neural network approaches. However, a substantial number of potential tensor permutations can lead to a tensor network with the same structure but varying expressive capabilities. In this paper, we take tensor ring decomposition for density estimator, which significantly reduces the number of permutation candidates while enhancing expressive capability compared with existing used decompositions. Additionally, a mixture model that incorporates multiple permutation candidates with adaptive weights is further designed, resulting in increased expressive flexibility and comprehensiveness. Different from the prevailing directions of tensor network structure/permutation search, our approach provides a new viewpoint inspired by ensemble learning. This approach acknowledges that suboptimal permutations can offer distinctive information besides that of optimal permutations. Experiments show the superiority of the proposed approach in estimating probability density for moderately dimensional datasets and sampling to capture intricate details.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13550v1stat.ML공통 태그 Density Estimation, Ensemble Learning

조건부 분포의 유연한 추정을 위한 병렬 그래디언트 부스팅

Parallel gradient boosting for flexible estimation of conditional distributions

부스팅은 표준 분류 및 회귀 작업에서 가장 성공적인 학습 기법 중 하나이다. 다중 출력 예측 문제로의 확장은 최근 몇 년간 점점 더 많은 응용을 찾고 있다. 그중 하나는 단일 함수형량이 아닌 전체 조건부 분포의 예측이며, 이는 종종 다중 출력 회귀 문제로 표현될 수 있다. 예를 들어 다중 분위수 회귀(multiple quantile regression)가 그렇다. 이러한 문제를 부스팅의 고전적 구현으로 다루는 것은 계산적으로 어렵다. 왜냐하면 보통 매 반복마다 각 목표(target)마다 하나의 기저 모델을 학습하기 때문이다. 학습 속도를 높이기 위해 더 효율적인 부스팅 변형들이 제안되었지만, 이들은 특정 손실 함수와 기저 학습기(base learner) 클래스, 보통 의사결정 트리에 종속되는 경향이 있다. 본 연구에서는 이러한 한계를 모두 우회하도록 설계된, 그래디언트 부스팅 알고리즘의 수정 버전인 병렬 그래디언트 부스팅(parallel gradient boosting)을 연구한다. 핵심 아이디어는 모든 학습 관측치에 대해 공통의 하강 방향(descent direction)을 사용하는 것이다. 이를 통해 목표의 수와 관계없이 각 반복마다 하나의 기저 모델만 필요하므로 상당한 성능 향상을 얻을 수 있다. 본 연구는 알고리즘의 수렴에 대한 충분 조건을 확립하며, 다중 분위수 회귀 설정을 통해 실용적 사용을 소개한다. 이러한 설정에서 본 방법은 XGBoost와 같은 최신 부스팅 라이브러리와 유사한 품질의 예측을 제공하면서도 수량급으로 더 빠름을 보인다. 그다음, 우리는 결과적으로 얻어지는 조건부 분포 추정량의 성질을 평가하며, 이 추정량은 특히 고차원 설정과 혼합 및/또는 결측 공변량이 존재하는 경우 다른 비모수 및 준모수 추정량들보다 우수함이 경험적으로 입증된다.

arXiv:2607.04360v1stat.ML공통 태그 Density Estimation, Ensemble Learning

조건부 생성 모델을 위한 최적 전문가 혼합 모델 평균화

Optimal Mixture-of-Experts Model Averaging for Conditional Generative Models

조건부 생성 모델은 목표 조건부 분포에서 샘플링하는 강력한 도구로 부상하여 광범위한 과학적·응용 분야에서 상당한 발전을 이끌고 있다. 이러한 모델이 확산됨에 따라, 실무자들은 작업, 데이터, 또는 입력 조건에 따라 성능이 달라질 수 있는 여러 그럴듯한 생성기에 직면하는 경우가 많다. 우리는 조건부 생성 모델을 위한 최적 모델 평균화 프레임워크를 제안하며, 이를 통해 후보 생성기들이 다루기 쉬운 밀도 없이 조건부 샘플을 통해서만 접근 가능한 경우에도 결합될 수 있도록 한다. 구체적으로, 우리는 조건부 분포 간의 샘플 기반 최대 평균 불일치(maximum mean discrepancy)를 사용하며, 이는 먼저 서로 다른 후보들에 고정된 가중치를 부여하는 정적 모델 평균화 방법인 StaticMA로 이어진다. 또한, 소프트맥스 신경망 게이트를 통해 공변량 의존적 가중치를 매개변수화하는 입력 적응형 방법인 MoEMA(전문가 혼합 모델 평균화)를 개발한다. 우리는 제안된 방법들에 대한 표본 내·외 점근적 최적성을 확립하고, 정규성 조건 하에서 추정된 적응형 가중치 함수의 일치성을 함께 증명한다. 이 프레임워크는 유클리드 반응에 직접 적용되며, 고정된 표현 맵과 우리의 공식을 결합함으로써 비정형 데이터로 확장된다. 표 형식, 이미지, 텍스트 모달리티에 걸친 광범위한 시뮬레이션 및 실제 데이터 연구에서 MoEMA는 경쟁 기준선 대비 전반적으로 성능이 향상되어, 제안된 방법들의 효과성을 입증한다.

arXiv:2607.05019v3cs.LG공통 태그 Ensemble Learning

이종 심층 앙상블을 이용한 융합 없는 멀티모달 분류

Fusion-Free Multimodal Classification with Heterogeneous Deep Ensembles

멀티모달 분류에서 후기 융합(late-fusion) 방식은 단일 모달 신경망이 추출한 모달리티별 특징을 연결하여 분류한다. 모달리티 불균형이 뚜렷할 때는 학습 과정의 균형을 맞추고 후기 융합 네트워크의 낮은 성능을 극복하기 위한 다양한 정규화 기법이 제안되어 왔다. 이에 반해 본 연구는 단일 모달 네트워크의 심층 앙상블을 사용하면 명시적인 모달리티 융합 없이도 멀티모달 데이터를 효과적으로 분류할 수 있음을 보인다. 동일한 파라미터 수에서 심층 앙상블과 후기 융합 네트워크를 체계적으로 비교하여, 무작위 초기화로 훈련할 때 앙상블이 모달리티 불균형을 해결하도록 설계된 최신 후기 융합 방법을 일관되게 능가함을 보인다. 이러한 우위는 본 연구에서 평가한 중간 융합 기법과 단일 모달 및 멀티모달 분류기를 결합한 하이브리드 방법에 대해서도 유지된다. 계산 비용이 큰 완전 탐색을 피하면서 앙상블에서 모달리티별 모델 수를 선택하는 방법을 제안하고 실험적으로 검증한다. 극단적인 모달리티 불균형과 작은 앙상블 크기에서는 이 휴리스틱이 더 강한 모달리티만으로 훈련된 단일 모달 모델의 앙상블이 더 바람직함을 시사한다. 앙상블 규모가 커지면 더 약한 모달리티의 모델을 포함하는 것이 유익해진다. 두 예측 모두 본 연구의 실험 결과와 일치한다. 다만 앙상블 구성원의 다양성이 낮으면 이 휴리스틱은 신뢰성이 떨어진다. 멀티모달 모델 최적화의 어려움을 체계적으로 탐구하기 위해, 모달리티 수와 예측 강도를 모두 제어할 수 있는 합성 멀티모달 프레임워크를 제안한다. 본 연구의 결과는 합성 데이터셋과 실제 데이터셋 전반에서 일관된다. 마지막으로 이중 모달 데이터셋에 스케일링 법칙을 적합하여 앙상블의 점근적 성능을 추정한다.

arXiv:2607.12075v3eess.IV공통 태그 Ensemble Learning

데이터셋 이동 하에서 갑상선 결절 초음파 분류를 위한 딥 앙상블 기반 보정된 선택적 예측

Calibrated selective prediction using deep ensembles for thyroid nodule ultrasound classification under dataset shift

배경: 딥러닝은 초음파에서 갑상선 결절을 분류할 수 있으나, 판별 성능만으로는 임상적 신뢰성이 확립되지 않는다. 우리는 불확실성 인지 선택적 예측과 보수적인 영상 기반 선별을 갖춘 보정된 딥 앙상블 프레임워크를 개발하였다. 방법: 3겹 내부 아키텍처 선택을 포함한 중첩 5겹 교차 검증으로 squeeze-and-excitation 블록을 갖춘 ConvNeXt-Tiny를 선택하였고, 이를 이용해 결정론적 5개 구성원 앙상블을 구축하였다. 각 폴드 내에서 학습, 조기 종료, 보정, 임계값 부분집합을 분리하였으며, 외부 테스트 데이터는 격리된 상태로 유지하였다. 상호 정보량(MI), 예측 분산, 최대 소프트맥스 확률(MSP) 불확실성을 위험-커버리지 및 선별 분석과, 가정한 악성 유병률 5%-70%에 걸친 예측값으로 비교하였다. 고정된 TN5000 앙상블을 재보정 없이 TN3K에 적용하였다. 결과: TN5000에서 풀링된 out-of-fold AUC-ROC는 0.9377, 평균 정밀도는 0.9708, 기대 보정 오차는 0.0138, Brier 점수는 0.0827이었다. MI 기반 주 정책에서 영상의 8.86%가 No-FNA 제안을, 60.00%가 FNA 권고를, 31.14%가 영상의학과 의사 검토를 받았으며, 악성 영상 3574건 중 14건(0.39%)이 No-FNA, 708건(19.81%)이 검토를 받았다. 예측 분산과 MSP가 MI보다 오류를 더 잘 순위화하였고(AURC, AUGRC), 모든 선별 결과를 최적화한 척도는 없었다. 유병률 5%-70% 전반에서 NPV는 99.95%-97.93%, PPV는 29.28%-94.75%였다. TN3K에서 AUC-ROC는 0.7870, 평균 정밀도는 0.7254, 기대 보정 오차는 0.1899, 영상의학과 의사 검토율은 83.7%였다. 결론: 앙상블은 내부적으로 강한 판별 및 보정 성능을 보였으나 TN3K에서는 성능이 크게 저하되어, 데이터셋 이동 하에서 이식성이 제한적임을 나타냈다. 임상 사용 전에 다기관 검증, 기관별 재보정, 임계값 검증, 전향적 평가가 필요하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.