arXiv:2610.12379v1 cs.LG

Marformer: 누락 데이터 분포 예측을 위한 트랜스포머

Marformer: A Transformer for Predicting Missing Data Distributions

Prabhav Singh, Xiheng Tom Wang, Haojun Shi, Jason Eisner

제출 2026-10-08

저자 비고

arXiv Comments

45 pages, 19 figures; presented in part in a COLM 2026 keynote

한국어 초록

실제 의사결정은 불완전한 정보 하에서 이루어진다. 필요한 확률 변수 중 일부만 관측할 수 있다면, 우리는 나머지 변수를 예측할 수 있다. 누락된 변수에 대한 조건부 마지널(conditional marginals)은 베이즈 위험(Bayes risk)과 정보 가치(Value of Information, VOI)—의사결정 전에 하나의 관측값을 추가로 얻음으로써 얻는 기대 이득—를 계산하는 데 핵심 요소이다. 우리는 임의의 관측값 집합이 주어졌을 때 조건부 마지널을 직접 예측하도록 학습된 트랜스포머(Transformer)인 Marformer를 제시한다. 문맥으로부터 누락된 단어를 예측하도록 학습되는 BERT와 마찬가지로, Marformer는 각 분포 p(X_i)에 대한 은닉 벡터 표현을 구성하고, 다른 분포 p(X_j)에 대한 어텐션(attention)을 통해 이를 반복적으로 정제한다. 생성적 접근법과 달리, Marformer는 전체 결합 분포(joint distribution)를 모델링하지 않으며, 데이터 생성 과정에 대한 도메인 지식을 요구하지 않고, 단 한 번의 순전파(forward pass)로 모든 예측을 수행한다. 우리는 베이지안 네트워크(Bayesian network), 이산화된 다변량 가우시안(discretized multivariate Gaussian), 구조화된 어노테이션 데이터라는 누락 데이터를 포함한 세 가지 합성 도메인에서 평가를 수행한다. Marformer는 합성 데이터를 생성한 실제 모델(model) 계열과 사전 분포(prior)가 주어진 경우에도, 고전적인 누락 데이터 처리 방법과 동등하거나 더 나은 성능을 보일 수 있다. 또한 실제 어노테이션 데이터셋(dataset)에서도 평가를 수행했으며, 이 경우 Marformer는 가장 큰 학습(training) 데이터 크기에서 평가된 베이스라인들을 능가한다. 두 경우 모두에서 Marformer는 평가된 생성적 베이스라인들보다 상당히 더 빠르다.

원문 초록

Real decisions are made under incomplete information. If we observe only some of the random variables we need, we can predict the others. The \textbf{conditional marginals} over the missing variables are the key ingredient for computing Bayes risk and Value of Information (VOI), the expected gain from acquiring one more observation before deciding. We present the Marformer, a Transformer trained to directly predict conditional marginals given any set of observed values. Like BERT, which is trained to predict missing words from context, the Marformer constructs a hidden-vector representation for each distribution $p(X_i)$ and iteratively refines it through attention to other distributions $p(X_j)$. Unlike generative approaches, the Marformer does not model the full joint distribution, requires no domain knowledge of the data-generating process, and makes all predictions in a single forward pass. We evaluate across three synthetic domains with missing data---Bayesian networks, discretized multivariate Gaussians, and structured annotation data. The Marformer can match or outperform classical missing-data methods, even when those methods are given the true model family and prior that generated the synthetic data. We also evaluate on a real annotation dataset, where the Marformer outperforms the evaluated baselines at the largest training size. In both cases, the Marformer is substantially faster than the evaluated generative baselines.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.12379v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.