PyTorchKR Papers

최신 논문

총 13편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11136v3math.ST

복잡한 결측 하에서의 쌍대 회귀를 위한 컨포멀 예측

Conformal Prediction for Dyadic Regression Under Complex Missingness

우리는 복잡한 결측 메커니즘(missingness mechanisms) 하에서 쌍대 회귀(dyadic regression) 문제에 대한 컨포멀 예측(conformal prediction) 프레임워크를 개발합니다. 이론적 수준에서, 우리는 교환 가능성(exchangeability)보다 약한 분포 불변 조건 하에서 컨포멀 예측의 유한 표본 유효성(finite-sample validity)을 확립하기 위한 일반적인 기술적 도구를 개발합니다. 핵심 결과는 표본 자체가 인덱스 집합의 무작위 부분집합인 경우(기존 이론에서 다루지 않는 설정)를, 사건 간의 명시적인 측도 보존 대응 관계를 구성하는 새로운 전단사(bijection) 논증을 통해 처리합니다. 또한, 우리는 완전 컨포멀(full conformal), 분할 컨포멀(split conformal), 행과 열 내의 유사성을 활용하는 행-열 접근 방식, 그리고 마스크 조건부 유효성(mask-conditional validity)을 달성하는 선택적 컨포멀 절차를 포함하여, 결합 교환 가능 배열(jointly exchangeable arrays)에 대한 컨포멀 예측 절차를 제안합니다. 결측 요소에 대해, 우리는 결측 메커니즘에 대한 비모수적 그래폰(graphon) 모델(model) 하에서 가중치 컨포멀 절차의 점근적 유효성(asymptotic validity)을 확립합니다. 우리는 연속형 및 이산형 응답 모두에 대한 조건부 유효성 결과를 추가로 확립합니다; 본 저자들의 아는 한, 이는 결측 비임의(missing-not-at-random) 가정 하에서 가중치 컨포멀 예측에 대한 점근적 조건부 유효성에 대한 최초의 공식적인 증명입니다. 제안된 방법들은 합성 데이터 및 실제 네트워크 데이터를 통해 입증됩니다.

arXiv:2607.14346v1cs.LG

처치 데이터가 누락되었을 때 누구를 처치할지 학습

Learning Who to Treat When Treatment is Missing

정책 학습(policy learning) 방법은 예산 제약 하에서 처치 배정(treatment allocation)을 결정하는 데 점점 더 많이 사용되고 있다. 대부분의 제안된 방법은 완전한 처치 데이터를 가정하지만, 실제 응용에서는 누락으로 인해 추정에 바이어스(bias)가 발생하고 차선의 정책으로 이어질 수 있는 경우가 빈번하다. 우리는 무작위 누락(missing at random, MAR) 및 조건부 완전 무작위 누락(missing completely conditionally at random, MCCAR) 처치 데이터 하에서, 평균 처치 효과(average treatment effect, ATE) 추정을 위한 효율적 추정량(efficient estimators)을 정책 가치(policy value) 및 조건부 평균 처치 효과(conditional average treatment effect, CATE) 추정으로 확장하여 이 격차를 해소한다. 점근적 효율성(asymptotic efficiency) 분석을 통해, 부분적으로 관측된 단위(partially-observed units)를 활용하는 MAR 추정량이 MCCAR 가정이 성립할 때 유효(valid)할 뿐 아니라 MCCAR 추정량보다 더 효율적임을 증명한다. 이 결과는 두 누락 데이터 설정 모두에서 정책 학습 시 MAR 기반 추정을 선호하는 데 대한 형식적 정당화를 제공한다. 합성(synthetic) 및 준합성(semi-synthetic) 데이터셋(dataset)을 사용한 종합 실험은 누락 메커니즘(missingness mechanism)을 올바르게 명시하는 것이 핵심임을 확인한다: 잘못 명시된 추정량은 표본 크기(sample size)와 관계없이 바이어스가 남지만, 우리 추정량은 가정이 충족될 때 거의 오라클(oracle)에 가까운 성능을 달성한다. 본 연구는 실무자(practitioners)에게 처치 데이터 누락 상황에서 강건한(robust) 정책 학습을 위한 이론적으로 타당하고 경험적으로 검증된 도구를 제공한다.

arXiv:2607.09165v1cs.LG

의료 AI 모델에서 부분 관측 데이터의 충분성 평가를 위한 개인화된 계산 프레임워크

A Personalized Computational Framework for Assessing the Sufficiency of Partially Observed Data in Healthcare AI models

질병의 조기 및 시의적절한 진단과 치료는 주요 과제로 남아 있다. 최근 환자 데이터로 학습된 머신러닝(ML) 알고리즘이 다양한 환경에서 환자 건강 상태를 예측하는 데 유망한 성과를 보이고 있다. 이러한 ML 알고리즘을 적용할 때 자주 직면하는 과제는, 특정 시점에서 예측 작업 수행을 위한 입력으로 필요한 모든 임상 변수(특징)가 항상 이용 가능하지 않다는 점이다. 우리는 알고리즘이 학습된 모든 특징을 활용할 때의 예측 성능을 지칭하는 개념으로 전체 특징 용량(FFC, full-feature-capacity)을 정의한다. 이어서, AI 모델에 필요한 모든 임상 특징의 부분 집합이 FFC 달성에 충분한지를 판단하는 분석 방법인 특징 충분성 분석(FSA, Feature Sufficiency Analysis)을 제안한다. FSA는 이용 가능한 특징들을 조건으로 누락된 변수들의 기저 분포를 추정한다. FSA는 기존에 측정된 특징 집합이 FFC를 달성하는지 여부를 환자별로 평가한다. 충분하다고 판단될 경우 추가 입력 획득이나 ML 기반 예측이 불필요하다. 우리는 두 가지 사례 연구를 제시한다: 심장 수술 회복 환자의 수술 후 장기 인공호흡 필요 예측, 외래 코호트에서의 10년 사망률 예측. 또한 FSA가 예측 충분성에 기반한 임상적으로 해석 가능한 특징 순위 결정 방법론을 제공하고, 본질적으로 예측이 어려운 환자 집단을 식별하며, 임상 데이터 획득을 위한 비용 인식 최적화를 수행할 잠재력을 지님을 보인다. FSA는 불완전한 임상 정보가 신뢰할 수 있는 AI 보조 임상 의사결정을 지원하기에 충분한지 판단하는 범용 계산 방법론을 제공하며, 이를 통해 다양한 임상 환경에서 의료 AI 시스템의 전향적 배포를 촉진한다.

arXiv:2607.08915v1cs.LG

결측 데이터 처리를 위한 패턴 인식 그래프 신경망

Pattern-Aware Graph Neural Networks for Handling Missing Data

결측 데이터는 실제 데이터셋에서 어디서나 발생한다. 전통적인 방법들은 불완전한 샘플을 버리거나, 결측이 무작위로 발생한다고 암묵적으로 가정하면서 잠재적으로 유용한 정보를 담고 있는 결측 패턴을 무시하는 대입(imputation) 기법을 적용한다. 그러나 결측 패턴은 추가적인 정보를 제공할 수 있다. 우리는 관측된 값과 함께 어떤 특징이 결측되었는지를 명시적으로 인코딩하는 패턴 인식 그래프 신경망(graph neural networks)을 제안한다. 자연적으로 결측이 발생하는 7개의 UCI 데이터셋에서 학습된 임베딩, 고정된 랜덤 임베딩, 통계적 특징, 계층적 표현 등 네 가지 인코딩 전략을 사용하였다. 우리의 패턴 인식 방법은 기준선 대비 상당한 성능 향상을 달성하였으며, 모든 데이터셋에서 균형 정확도(balanced accuracy) 평균 17%, F1-macro 평균 22% 향상을 보였다. 데이터셋별 이점은 크게 다르며, annealing은 극적인 향상(균형 정확도 +80%)을 보이는 반면, hepatitis와 soybean은 미미한 향상(+4~5%)에 그쳤다. 주목할 만한 점은, 단순한 랜덤 패턴 임베딩도 학습된 임베딩과 유사한 성능을 보인다는 것이다(균형 정확도 0.650 대 0.663). 이는 패턴 간 구분이 태스크별 최적화보다 더 중요할 수 있음을 시사한다. 어블레이션 연구에서는 어텐션 메커니즘이 도움이 되긴 하지만, 패턴 정보가 제공될 때는 필수적이지 않음을 밝혔다. 패턴 인식을 갖춘 단순 평균 집계(mean aggregation)가 어텐션 기반 변형(0.645)과 비교해 균형 정확도 0.640을 달성하였다.

arXiv:2607.07767v1stat.ML

양반정 커널 밀도 추정을 통한 분포 충실 결측값 대체

Distributionally Faithful Imputation via Positive Semi-Definite Kernel Density Estimation

결측 데이터를 완전 무작위 결측(MCAR) 하에서 마스킹된 관측의 밀도 추정 문제로 재정의하고, 양반정(PSD) 커널 밀도를 활용해 주변 분포를 정확히 매칭하는 볼록 경험적 위험 최적화 문제를 도출한다. 제안된 PSD-Impute 모델은 단일 및 다중 대체를 동일한 밀도에서 생성하며, 차원의 저주를 극복하는 통계적 일관성을 갖추고 12개 데이터셋 실험에서 기존 대체 기준선(baseline) 대비 경쟁력 있는 분포 정확도를 달성했다.

arXiv:2607.08579v1cs.HC

ImputeViz: 결측 데이터 진단 및 대체 방법 비교를 위한 시각적 분석 대시보드

ImputeViz: A Visual Analytics Dashboard for Diagnosing Missing Data and Comparing Imputation Methods

ImputeViz는 과학 및 공중보건 연구에서 결측 데이터(missing data)를 진단하고 MICE, Random Forest, XGBoost, kNN 등 다양한 대체(imputation) 방법을 통합 환경에서 비교할 수 있는 시각적 분석 대시보드로, 지리공간 데이터를 위한 gKNN 변형 알고리즘을 새롭게 도입해 사회경제적·공간적 거리를 혼합하고 출처(provenance) 기반의 시각적 설명 가능성을 제공한다. 히트맵, 분포 오버레이, 방법 비교 요약(MAE, RMSE, Delta RMSE) 등 연동된 뷰를 통해 분석가가 결측 패턴(MCAR/MAR/MNAR)을 추론하고 대체 전략의 하류(downstream) 영향을 평가할 수 있도록 지원한다.

arXiv:2607.07725v1cs.LG

SHIFT: 불완전하고 이질적인 유전체 데이터로부터의 생존 예측

SHIFT: Survival Prediction from Incomplete and Heterogeneous Genomic Data

기관마다 상이한 시퀀싱 패널로 인해 발생하는 구조적 특징 결측 문제를 해결하기 위해, SHIFT(Survival prediction Handling Incomplete Features using Transformer)는 테스트 시점 대체(imputation) 없이 마스크드 셀프 어텐션과 가변 비율 특징 마스킹을 활용해 불완전한 유전체 데이터로부터 직접 생존 예측을 수행한다. 교모세포종(glioblastoma) 및 폐 편평세포암종(lung squamous cell carcinoma) 다기관 코호트 평가에서 단일 모델로 기존 생존 예측 기준선 및 대체 기반 방법 대비 우수한 일반화 성능을 보였으며, 불완전한 코호트를 학습에 포함하는 것이 외부 데이터 성능을 향상시킬 수 있음을 확인했다.

arXiv:2607.05806v1cs.LG

Heckman-Corrected Epistemic Uncertainty: Selection on Unobservables Defeats Importance Weighting

관측 불가능한 변수에 의한 선택 편향(selection on unobservables) 문제에서 중요도 가중치(importance weighting)가 구조적으로 무력함을 증명하고, 1979년 Heckman의 경제계량학적 2방정식 모델을 딥러닝 인식론적 불확실성(epistemic uncertainty) 추정에 적용해 ρ=0.9 조건에서 중요도 가중치의 43.1% 대비 88.9%의 커버리지를 복원했다. 도구변수(instrument)가 있을 때 Heckman 보정이 효과적임을 통제 실험과 실제 MNAR 데이터로 검증하며, 도구변수 부재 시의 성능 저하 곡선(40.3%)도 투명하게 공개한다.

arXiv:2607.05279v1stat.ME

Emputation: 식별-유도 신경망 대입 프레임워크

Emputation: Identification-Guided Neural Imputation Framework

결측 변수의 외삽 분포(extrapolation distribution)를 학습 목표로 삼는 심층 생성 프레임워크 Emputation을 제안하며, 에너지 점수 기반의 emputation risk를 최적화함으로써 MCAR·MNAR 등 광범위한 결측 가정 하에서 다중 대입(multiple imputation)을 위한 조건부 샘플링을 직접 수행할 수 있다. 알츠하이머병 데이터셋 실험을 포함한 시뮬레이션에서 점별·분포적 평가 지표 모두에서 우수한 성능을 보였다.

arXiv:2607.01945v1stat.ML

완전 무작위 결측 데이터에 대한 $k$-평균 군집화의 통계적 성질

Statistical Properties of $k$-means Clustering for Data Missing Completely at Random

결측 데이터 환경에서 $k$-평균 군집화의 통계적 성질을 이론적으로 분석하여, 일반적인 결측 메커니즘 하에서 $\sqrt{n}$-초과 위험 한계 및 추정 군집 중심의 일치성을 증명하고, 완전 무작위 결측(MCAR) 조건에서 $\sqrt{n}$-수렴 속도와 점근적 정규성을 추가로 도출하였다. 특히 MCAR 메커니즘에서 실제 군집 중심으로의 수렴을 보장하려면 $k$개의 군집 중심이 모든 차원에서 구별되어야 함을 밝혀, 고차원 설정에서의 적용 한계를 부각한다.

arXiv:2606.31253v1stat.ML

MNAR-$k$-평균: 크기-감소 확률을 갖는 비무작위 결측 데이터에 대한 $k$-평균 군집화

MNAR-$k$-means: A $k$-means Clustering for Data Missing Not at Random with Magnitude-Decaying Probability

절댓값이 작은 위치일수록 결측 확률이 높은 크기-감소(magnitude-decaying) MNAR 환경에서 기존 $k$-POD 군집화의 군집 중심 편향 문제를 분석하고, 대체값 크기에 제약을 가하는 새로운 MNAR-$k$-means 방법을 제안한다. 제안 방법은 교대 최소화 알고리즘을 통해 최적화되며, 추정된 군집 중심의 통계적 일치성을 이론적으로 보장하고 시뮬레이션 및 실세계 결측 데이터 실험에서 우수한 성능을 입증한다.

arXiv:2605.28427v2cs.LG

결측 데이터를 위한 잠재 확산

Latent Diffusion for Missing Data

결측 데이터 대체에 쓰이는 픽셀 공간 확산 모델은 학습 데이터가 심하게 불완전할수록 성능이 저하되므로, 강건한 VAE 기반 imputer로 의미적 잠재 표현을 학습한 뒤 잠재 공간에서 확산하는 2단계 프레임워크 LDMiss를 제안한다. 무작위 완전 결측(MCAR) 설정에서 LDMiss는 최대 50% 결측률까지 샘플 품질을 유지하고, 결측 대체와 생성 품질 모두 픽셀 공간 확산보다 일관되게 우수함을 보였다.

arXiv:2606.20206v1stat.ML

보상이 임의가 아닌 방식으로 결측된 마르코프 결정 과정에서 결측 인지 정책에 대한 오프-정책 평가

Off-Policy Evaluation for Missingness-Aware Policies in MDPs with Rewards Missing Not at Random

오프라인 강화학습에서 기록된 배치 데이터의 즉각적인 보상은 희소하거나 불규칙한 기록 유지, 또는 특정 보상 값 이상에서 검열(censoring)되는 등의 이유로 관측되지 않는 경우가 많습니다. 이러한 문제는 의료 및 마케팅을 포함한 실제 환경에서 발생합니다. 본 연구에서는 보상이 임의가 아닌 방식으로 결측(MNAR)된 유한 수평 마르코프 결정 과정(MDP) 내에서 오프-정책 평가(OPE)를 조사합니다. 이러한 결측은 상태와 행동에 대해 조건화한 후에도 무시 가능성(ignorability)을 위배하고 선택 바이어스를 유발합니다. 이를 해결하기 위해 보상 의존적 성향(propensity) 모델을 공식화하고, 미래 상태를 섀도우 변수(shadow variable)로 활용하여 전체 데이터 조건부 평균 보상을 식별합니다. 또한, MNAR 메커니즘을 명시적으로 모델링하지 않고 조건부 평균 보상을 복구하는 브리지 함수(bridge function)를 도입하며, 이중 샘플링(double sampling)을 방지하기 위해 미니-맥스(min-max) 절차를 통해 이를 추정합니다. 이러한 식별 결과를 바탕으로, 복구된 보상을 전파하는 동시에 타겟 정책이 과거의 결측 지시자(missingness indicator)에 의존할 수 있도록 허용하는 Fitted-Q-Evaluation 스타일의 추정기를 제안합니다. 마지막으로, 제안하는 OPE 추정기에 대한 일관성(consistency)과 유한 표본 오차 경계를 확립하고, 시뮬레이션된 데이터 및 MIMIC-III 패혈증(Sepsis) 데이터를 통해 기존 방법들과 비교하여 본 방법의 우수한 성능을 실험적으로 입증합니다.