cs.jh.edu

이 이메일 도메인이 관측된 논문 1건

arXiv:2610.12379v1cs.LG

Marformer: 누락 데이터 분포 예측을 위한 트랜스포머

Marformer: A Transformer for Predicting Missing Data Distributions

실제 의사결정은 불완전한 정보 하에서 이루어진다. 필요한 확률 변수 중 일부만 관측할 수 있다면, 우리는 나머지 변수를 예측할 수 있다. 누락된 변수에 대한 조건부 마지널(conditional marginals)은 베이즈 위험(Bayes risk)과 정보 가치(Value of Information, VOI)—의사결정 전에 하나의 관측값을 추가로 얻음으로써 얻는 기대 이득—를 계산하는 데 핵심 요소이다. 우리는 임의의 관측값 집합이 주어졌을 때 조건부 마지널을 직접 예측하도록 학습된 트랜스포머(Transformer)인 Marformer를 제시한다. 문맥으로부터 누락된 단어를 예측하도록 학습되는 BERT와 마찬가지로, Marformer는 각 분포 p(X_i)에 대한 은닉 벡터 표현을 구성하고, 다른 분포 p(X_j)에 대한 어텐션(attention)을 통해 이를 반복적으로 정제한다. 생성적 접근법과 달리, Marformer는 전체 결합 분포(joint distribution)를 모델링하지 않으며, 데이터 생성 과정에 대한 도메인 지식을 요구하지 않고, 단 한 번의 순전파(forward pass)로 모든 예측을 수행한다. 우리는 베이지안 네트워크(Bayesian network), 이산화된 다변량 가우시안(discretized multivariate Gaussian), 구조화된 어노테이션 데이터라는 누락 데이터를 포함한 세 가지 합성 도메인에서 평가를 수행한다. Marformer는 합성 데이터를 생성한 실제 모델(model) 계열과 사전 분포(prior)가 주어진 경우에도, 고전적인 누락 데이터 처리 방법과 동등하거나 더 나은 성능을 보일 수 있다. 또한 실제 어노테이션 데이터셋(dataset)에서도 평가를 수행했으며, 이 경우 Marformer는 가장 큰 학습(training) 데이터 크기에서 평가된 베이스라인들을 능가한다. 두 경우 모두에서 Marformer는 평가된 생성적 베이스라인들보다 상당히 더 빠르다.