arXiv:2610.13397v1 stat.ML

모델 프리 베이지안 클러스터링 및 다봉 사후분포 요약

Model-free Bayesian Clustering and Multimodal Posterior Summarisation

Qing Li, Sara Wade

제출 2026-10-09

한국어 초록

본 논문에서는 예측 베이지안(predictive Bayesian) 관점에서 클러스터링에 대한 마팅게일 사후분포(martingale posterior)를 구성하는 모델 프리(model-free) 노이즈 인식 베이지안 클러스터링 프레임워크를 개발합니다. 이 방법은 명시적인 가능도(likelihood)-사전분포 모델 명시, 비용이 큰 MCMC 샘플링, 모드 탐색적 변분 근사를 피하는 동시에 불규칙한 클러스터 형태를 수용하고 사후분포 표본의 병렬 생성을 가능하게 합니다. 고차원 노이즈 인식 클러스터링에 대한 사후분포를 해석하기 위해 와서스테인(Wasserstein) 유형의 요약 방법을 도입합니다. 새로운 노이즈 인식 손실(loss)을 활용하여 대규모 사후분포 표본 집합을 소수의 가중치 기반 대표 집합으로 압축함으로써 서로 다른 클러스터 구조와 노이즈 할당을 포착합니다. 또한 밀도 수준의 불확실성을 주변화(marginalize)하여 특정 선택에 의존하지 않도록 합니다. 제안된 손실의 이론적 성질과 수준 주변화 사후분포 근사에 대한 보장을 규명합니다. 실험 결과는 클러스터링 및 노이즈 불확실성을 포착하는 데 있어 본 프레임워크의 효과성을 입증합니다.

원문 초록

We develop a model-free, noise-aware Bayesian clustering framework that constructs a martingale posterior over clusterings from a predictive Bayesian perspective. This avoids explicit likelihood-prior model specification, expensive MCMC sampling, and mode-seeking variational approximations, while accommodating irregular cluster shapes and enabling parallel generation of posterior draws. To interpret the posterior over high-dimensional, noise-aware clusterings, we introduce a Wasserstein-type summarization method. Using a novel noise-aware loss, this approach compresses the large collection of posterior draws into a small set of weighted representatives, capturing distinct cluster structures and noise assignments. Further, we marginalise the uncertainty in the density level, avoiding reliance on a specific choice. We establish theoretical properties of the proposed loss and guarantees for the level-marginal posterior approximation. Results demonstrate the framework's effectiveness in capturing clustering and noise uncertainty.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13397v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.13047v2cs.AI공통 태그 Clustering, Bayesian Inference, Density Estimation

확산 모델과 개념 형성

Diffusion Models and Concept Formation

인간은 중첩된 추상화 수준과 사람들이 최소한의 인지적 노력으로 사물을 인식하고 이름을 붙이는 \emph{기본 수준}(basic level)을 가진 개념 분류 체계로 지식을 구조화합니다. Cobweb은 범주 효용(category utility)을 극대화하여 확률적 개념 계층을 구축하는 점진적 학습자로서 이러한 능력에 대한 고전적인 인지적 설명을 제공합니다. 본 논문에서는 확산 모델(diffusion model)이 이미지 합성을 위해 설계되었음에도 불구하고 암묵적으로 동일한 계산을 수행한다고 주장합니다. 확산 모델의 노이즈 주변 확률 분포(noisy marginals)는 데이터 분포의 가우시안 평활화(Gaussian smoothing)이며, 이러한 주변 확률 분포의 모드(mode)들은 네 가지 측면에서 확률적 프로토타입의 Cobweb 트리와 일치하는 계층을 형성합니다. 두 모델 모두 계층적 밀도 모델이고, 가우시안 프로토타입을 갖는 계층적 베이지안(hierarchical-Bayesian) 모델이며, 범주화를 불확실성을 줄이는 점수 추적(score-following)으로 취급하고, 두 모델 모두에서 기본 수준이 창발적(emergent)으로 나타납니다. 우리는 확산 모델의 이러한 기본 수준을 중간 노이즈 수준에 위치시키며, 최근 분석에 따르면 역과정(reverse process)이 샘플의 클래스 정체성을 확정하는 지점임을 보여줍니다. 두 모델은 주로 분류 체계를 표현하고 학습(training)하는 방식에서 차이를 보입니다. Cobweb은 이산 트리를 점진적으로 학습하는 반면, 확산 모델은 데이터 분포에 적합화된 단일 학습 스코어 필드(score field) 내에 연속적이고 보간 가능한 계층을 인코딩합니다. 우리는 모드 탐색(mode-finding)을 통해 확산 계층을 복원하고 두 모델의 기본 수준을 비교함으로써 MNIST와 Fashion-MNIST에서 이러한 대응 관계를 검증합니다. 이는 확산 모델을 개념 형성의 인지 모델로 재구성하고 Cobweb에 연속적이고 확장 가능한(scalable) 구현체를 제공합니다.

arXiv:2610.15892v1stat.ML공통 태그 Clustering, Density Estimation

다중 매니폴드 클러스터링을 위한 미니맥스 비율과 개선된 스펙트럴 수렴

Minimax Rates and Improved Spectral Convergence for Multi-Manifold Clustering

본 연구는 매니폴드들이 서로 교차할 수 있는 다중 매니폴드 혼합 분포(multi-manifold mixture distribution)로부터 독립적으로 추출된 $n$개의 데이터 점을 이용하여, 텐서화된(tensorized) 밀도 가중(density-weighted) 라플라스-벨트라미(Laplace-Beltrami) 연산자의 고유쌍(eigenpair) 추정 문제를 다룬다. $d$를 매니폴드 구성 요소들 중 가장 큰 고유 차원(intrinsic dimension)으로, $s\geq2$를 샘플링 밀도의 평활성(smoothness)으로 정의한다. 단순(simple)하고 자명하지 않은(nontrivial) 고유쌍에 대해, 텐서화된 라플라스-벨트라미 연산자의 고유값과 고유함수를 근사하는 미니맥스 비율(minimax rate) $n^{-s/(d+2s)}$를 수립하고, 지지 매니폴드(supporting manifold)가 알려져 있을 때 커널 밀도 추정(kernel density estimation)에 기반한 연속체 플러그인(plug-in) 추정량이 동일한 비율을 달성함을 보인다. 더 나아가 매니폴드에 구애받지 않는(manifold-agnostic) 그래프 라플라시안(graph Laplacian) 추정량을 분석하여, 그 고유쌍이 로그 인자(logarithmic factor)를 제외하고 비율 $n^{-1/(2.5d-1)}$로 텐서화된 라플라스-벨트라미 연산자의 고유쌍에 수렴함을 증명하며, 이는 다중 매니폴드 학습(multi-manifold learning)에 대해 기존에 알려진 스펙트럴 수렴 비율을 개선한 것이다. 합성 다중 매니폴드 데이터에 대한 수치 실험은 본 정리들이 보장하는 비율을 뒷받침한다. 이러한 결과들은 다중 매니폴드 스펙트럴 추정의 정보 이론적 난이도를 규명하며, 오라클(oracle) 구성 요소 정보 없이 학습할 때 발생하는 추가적인 비용을 정량화한다.

arXiv:2610.15948v1cs.AI공통 태그 Bayesian Inference, Uncertainty Quantification

비전: "사용자 선호에 대해 내가 모르는 것은 무엇인가?" 불확실성 추정이 능동형 어시스턴트 정렬을 향상시키는 방법

Vision: "What Don't I Know About User's Preferences?" How Uncertainty Estimation Improves Proactive Assistant Alignment

능동형 스마트 어시스턴트(Proactive Smart Assistant, PSA)는 사용자가 선호할 행동을 예측하기 위해 일반 지식, 그룹 수준 데이터에서 학습된 패턴, 개별 사용자 데이터의 패턴, 그리고 최근 센서 관측값을 점점 더 많이 활용하고 있다. 기존 시스템은 일반적으로 예측된 사용자 선호 가능도(likelihood)로부터 행동을 선택하지만, 이러한 가능도만으로는 예측이 얼마나 신뢰할 수 있는지, 어떤 근거가 이를 지지하는지, 또는 왜 모호성이 남아 있는지를 드러내지 못한다. 본 비전 논문에서 우리는 불확실성 추정(uncertainty estimation)이 이러한 누락된 정보를 제공할 수 있으며, 이후의 적절한 행동을 상당히 변화시킬 수 있다고 주장한다. 홈 어시스턴트의 예를 사용하여, 우리는 불확실성 추정이 답하고자 하는 질문들을 소개한다. 즉, 어시스턴트가 예측된 선호 가능도에 대해 얼마나 확신하는지, 그 확신이 그룹 수준의 가정에서 오는 것인지 아니면 개별 사용자의 데이터에서 오는 것인지, 그리고 가능도의 모호성이 사용자의 본질적인 선호 변동성을 반영하는 것인지 아니면 특정 상황에 대한 데이터 부족을 반영하는 것인지이다. 우리는 또한 인간 궤적 예측(human trajectory prediction), 개인화된 행동 인식(personalized activity recognition), 정보 수집(information-collection), 모델 기반 제어(model-based control)와 같은 인접 분야에서의 불확실성 추정 응용 사례를 소개한다. 마지막으로, 우리는 인접 분야의 통찰을 바탕으로 미래의 불확실성 인지(uncertainty-aware) 능동형 어시스턴트가 능동형 상호작용에서의 주요 과제들을 어떻게 해결할 수 있을지를 전망한다.

arXiv:2610.13411v1cs.LG공통 태그 Bayesian Inference, Uncertainty Quantification

시스템 식별을 위한 문맥 내 학습: 확률적 정식화, 긴 시퀀스 처리 및 벤치마크 검증

In-Context Learning for System Identification: Probabilistic Formulation, Long-Sequence Handling, and Benchmark Validation

전통적인 시스템 식별(system identification)은 일반적으로 두 단계로 이루어집니다. 먼저 학습(training) 데이터를 처리하여 관심 대상 시스템의 모델을 추정하고, 그 후 해당 모델을 사용하여 새로운 입력 쿼리에 대한 출력을 예측합니다. 이와 대조적으로, 최근의 문맥 내 학습(ICL) 접근 방식은 명시적인 모델 추정을 거치지 않고, 제로샷(zero-shot) 방식으로 학습 데이터와 쿼리 입력으로부터 직접 출력으로 매핑하는 메타 모델을 학습합니다. 이 방식은 대규모 합성 생성 데이터셋에서 오프라인으로 학습된 메타 모델을 활용하여 시스템 식별 알고리즘의 동작을 모사합니다. 본 연구에서는 시스템 식별을 위한 이러한 메타학습(meta-learning) 프레임워크를 세 가지 방향으로 발전시킵니다. 첫째, 트랜스포머(Transformer) 기반 인코더-디코더와 긴 학습 시퀀스 처리에 특화된 메커니즘을 결합하여 긴 시계(horizon)에 걸쳐 보정된(calibrated) 예측을 가능하게 하는 통합 확률적 메타 식별 아키텍처를 개발합니다. 둘째, 사전학습된 메타 모델이 고전적 시스템 식별을 위한 불확실성 인식 합성 데이터 생성기 역할을 수행하여, 실제 데이터가 부족할 때 매개변수 모델(parametric model)을 정규화하는 태스크 맞춤형 데이터를 제공할 수 있음을 보여줍니다. 셋째, 표준 비선형 시스템 식별 벤치마크와 도전적인 OOD(out-of-distribution) 시나리오에서 프레임워크를 체계적으로 평가하여, SOTA(state-of-the-art) 방법들과 견줄 만한 정확도 및 강력한 일반화 성능을 입증하며, 여기에는 입력 전용 적응만으로도 상당한 분포 변화를 처리하기에 충분한 사례들도 포함됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.