PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26290v1stat.ML

변동성 학습: 인과 표 형식 사전학습의 통계적 기초

Learning to Fluctuate: Statistical Foundations for Causal Tabular Pretraining

인과 표 형식 파운데이션 모델은 합성 메커니즘 전반에 걸쳐 효과 추정을 상각(amortize)하지만, 잠재 효과(latent-effect) 지도학습은 고정된 배포 모집단에서 필요한 반복 표본 반응을 직접 인코딩하는 대신 사후 분포 수축(posterior shrinkage)을 보상한다. 본 논문에서는 변동 지도 사전학습(fluctuation-supervised pretraining, FSP)을 제안한다. 각 합성 테이블은 평균 처치 효과(ATE)와 그 효율적 영향 함수(efficient influence-function) 변동의 합으로 레이블링되며, 배포 시에는 여전히 단일 고정 순전파만 수행한다. 경로 $T_{\lambda,P}=\theta(P)+\lambda P_n\psi_P$를 따라 끝점 전이(endpoint transition)를 증명한다. 즉, 고정된 모든 $\lambda<1$에서는 $(1-\lambda)^2/n$ 차수의 레이블 모호성이 남는 반면, 완전한 변동을 사용하면 가우시안 레이블을 관측할 수 있게 되어 최적의 유한 층(finite-stratum) 인과 레이블 예측 위험이 $n^{-2}$ 차수로 감소한다. 하나의 유한 사전학습 경계(bound)는 레이블 오차, 네트워크 오차, 에피소드 샘플링 오차, 최적화 오차를 결합하며, 그 결과로 얻어지는 샘플링 결함(sampling defect)은 고정 메커니즘 바이어스, 평균 제곱 오차, 분산, 가우시안 근사를 제어하고, 분산 헤드(variance-head)의 정확도가 뒷받침될 경우 스튜던트화(studentized) 커버리지까지 제어한다. 상호 보완적인 하한(lower bound)은 배포 관측으로도 제거할 수 없는 국소적 $n^{-1}$ ATE 위험과, 일반적인 유한 사전(finite-dictionary) 에피소드 학습 문제의 $\log N/M$ 초과 위험을 분리한다. 실험은 학습된 샘플링 반응을 추적한다. 원시 행/열(raw-row/column) 백본을 사용할 때, FSP는 대규모 효과 이동(large-effect-shift) 상황에서 RMSE를 잠재 지도학습 대비 69.8%, 동일 테이블에서 공개된 CausalPFN 체크포인트 대비 39.5% 감소시킨다. 연속 공변량 실험, 효과가 알려진 반합성(semisynthesis) 실험, 그리고 두 건의 무작위 연구 평가는 샘플링 법칙 충실도(sampling-law fidelity)와 점 위험 수축(point-risk shrinkage)을 분리하고, 두 학습된 헤드 모두에서 약한 중첩(weak-overlap) 오차가 나타남을 보여준다.

arXiv:2604.23904v3stat.ME

인과 추론을 위한 생성적 합성 데이터: 함정, 해결책, 그리고 기회

Generative Synthetic Data for Causal Inference: Pitfalls, Remedies, and Opportunities

표 형식 합성 데이터는 종종 분포 유사성, 프라이버시 거리, 또는 합성 데이터로 학습하고 실제 데이터로 테스트하는(train-on-synthetic-test-on-real) 예측 성능으로 평가되지만, 이러한 기준은 인과 추론에 대한 타당성을 보장하지 않는다. 우리는 생성적 적대 신경망(GAN) 및 대규모 언어 모델(LLM) 기반 모델을 포함한 완전 생성적 표 형식 합성기가 예측 유용성은 유지하면서도 평균 처치 효과(ATE) 추정을 왜곡할 수 있음을 보인다. 이 실패는 구조적인 것이다: ATE 보존에는 현실적인 공변량 분포와 정확한 처치 효과 대비가 모두 필요한 반면, 예측 손실은 처치 효과 오류에 대해 중첩(overlap) 가중 항을 통해서만 패널티를 부과한다. 따라서 불균형이나 제한된 중첩 하에서 생성기는 개입과 관련된 대비를 과소학습하면서 지배적인 관측 결과를 재현할 수 있다. 우리는 민감도 및 손실 분해 결과를 통해 이러한 불일치를 형식화한다. 이 인과 분석과 직관에 기초하여, 우리는 공변량을 생성하면서 처치 및 결과 메커니즘을 별도로 모델링하는 인과 추론을 위한 하이브리드 합성 데이터 프레임워크를 제안한다. 우리는 세 가지 설정에서 이 프레임워크를 평가한다: 완전 생성적 합성 대 하이브리드 합성 하에서의 ATE 보존, 실용적 양성(positivity) 문제에 대한 증강(augmentation), 그리고 실제 데이터 분석 전 OR, IPW, AIPW, TMLE을 비교하기 위한 진단 시뮬레이션 엔진. 또한 중첩, 공변량 차원, 시드 샘플 크기, 처치 효과 복잡성을 변화시키는 설정—로지스틱 결과 모델 오지정(misspecification) 검증을 포함하여—전반에 걸쳐 하이브리드 구성을 스트레스 테스트한다. 통제된 시뮬레이션 실험 전반에 걸쳐, 하이브리드 합성은 완전 생성적 기준선 대비 인과 충실도를 개선한다; ACTG 적용은 예측 충실도가 개선되었고 유한 표본 추정량 벤치마킹의 잠재력을 보여준다. 인과 충실도를 평가할 수 있는 설정에서 LLM 기반 하이브리드 합성은 종종 CTGAN보다 더 충실하다.

arXiv:2607.04957v1stat.ME

주변 모멘트 정보를 활용한 인과 효과 중심 모멘트의 식별 및 경계 추정

Identification and Bounding of Central Moments of Causal Effects Using Marginal Moments Information

개별 인과 효과(ICE)의 중심 모멘트(분산, 왜도, 첨도)를 추정하려면 기존 방법은 잠재적 결과(PO)의 완전한 주변 분포가 필요했으나, 이 연구는 더 쉽게 구할 수 있는 주변 중심 모멘트 정보만으로 ICE의 중심 모멘트를 식별·경계 추정하는 방법을 제시한다. IED(Independent Effect Deviation) 조건 하에서의 식별 결과와 날카로운 경계(sharp bounds)를 이론적으로 도출하고, 두 가지 실증 사례 연구를 통해 실용성을 입증하였다.

arXiv:2607.03351v1stat.ME

결과 적응형 자동 편향 제거 머신러닝

Outcome-adapted Automatic Debiased Machine Learning

인과 추론에서 처치 효과 등의 모수를 추정하는 AutoDML 프레임워크에서, 결과 예측력은 보존하되 Riesz representer에 대한 정보는 제거하는 공변량 표현이 점근적으로 더 효율적임을 이론적으로 증명하고, 이를 구현한 outcome-adapted AutoDML 추정량을 제안하였다. 제안된 신경망 구현체는 반합성 IHDP 벤치마크에서 기존 이중 강건(doubly robust) 추정량 대비 최고 수준의 평균 처치 효과 추정 정확도를 달성하였다.

arXiv:2607.03161v1stat.ML

조건부 평균 처리 효과 예측의 신뢰 가능한 선택을 위한 잡음 제거 컨포멀 정렬

Denoised Conformal Alignment for Reliable Selection of Conditional Average Treatment Effect Predictions

블랙박스 CATE 예측기의 선택적 배포에서 관측 불가능한 예측 오차를 이중 견고(doubly robust) 대리 오차로 근사할 때 이분산성으로 인해 검정력이 붕괴되는 문제를 해결하기 위해, 조건부 분산 성분을 차감한 잡음 제거 대리 오차를 구성하고 컨포멀 보정과 Benjamini–Hochberg 선택을 결합한 Denoised Conformal Alignment(DCA)를 제안한다. DCA는 거짓 발견율(FDR) 통제를 유지하면서 어려운 이분산 환경 전반에서 기존 방법 대비 실질적으로 향상된 선택 검정력을 달성함을 이론 및 실험으로 입증한다.

arXiv:2607.04520v1cs.LG

이동 수단을 넘어서: 도시 맥락이 능동적 이동성의 정신 건강 효과를 시간에 따라 형성한다

Beyond travel mode: urban context shapes active mobility's mental health effects over time

능동적 이동성(active mobility)은 지속 가능하고 건강한 생활을 위해 널리 장려되고 있으나, 이것이 개인과 장소에 걸쳐 시간이 지남에 따라 공평한 정신 건강 혜택으로 이어지는지는 아직 밝혀지지 않았다. 영국 성인 264,168명을 대상으로 인과적 머신러닝과 인과적 심층 학습(causal deep learning)을 활용한 결과, 불안, 우울증, 일반 정신 장애에 대한 능동적 이동성의 개인화된 효과에서 상당한 불평등이 존재함을 확인하였다. 이러한 불평등은 시간이 지남에 따라 심화되며 도시 맥락에 의해 강하게 구조화된다. 예를 들어, 추적 조사 시점의 불안 위험은 개인에 따라 40.6% 감소에서 10.1% 증가까지 다양하게 나타나는 반면, 기준선에서는 10.4% 감소에서 0.1% 증가 범위에 그친다. 혜택은 녹지가 더 많고, 더 안전하며, 오염이 적고, 빈곤이 덜한 인근 환경에서 가장 크게 나타났으며, 해당 환경에서는 개인의 81.8%가 평균 이상의 혜택을 경험하고 평균 불안 위험이 26.4% 감소한 반면, 가장 비지지적인 환경에서는 개인의 10.4%에서 7.4% 감소에 그쳤다. 도시 압축 형태(urban compact form)는 인근 환경과의 비선형 상호작용을 통해 이러한 효과를 추가로 조절하며, 지지적인 조건 하에서만 혜택을 증폭시킨다. 이처럼 강한 환경적 기울기에도 불구하고 유전적 조절 효과는 무시할 수 있는 수준이다. 이러한 결과는 개인 및 맥락적 차이를 고려하지 않을 경우 보편적인 능동적 이동성 장려 정책이 건강 불평등을 심화시킬 수 있음을 시사한다.

arXiv:2605.01765v2stat.ML

조건부 생성 모델링을 통한 분포적 인과 매개 분석

Distributional Causal Mediation via Conditional Generative Modeling

평균 효과 중심의 기존 매개 분석이 분포 형태 변화를 놓친다는 한계를 극복하기 위해, DCMA(Distributional Causal Mediation Analysis)는 조건부 생성 모델과 몬테카를로 순방향 시뮬레이션을 통해 처리 효과를 전체 결과 분포 수준에서 직접 경로·간접 경로·경로별로 분해한다. 에너지 거리와 Wasserstein 거리 등 풍부한 분포적 대조를 지원하며, 추정 오차가 개입적 결과 분포로 전파되는 방식을 분석적으로 분해하고 합성·실제 데이터 실험으로 유효성을 검증한다.

arXiv:2512.19861v2stat.ME

Napkin 그래프를 활용한 인과 추론

Causal Inference with the Napkin Graph

측정되지 않은 교란(unmeasured confounding)은 조정 범함수(adjustment functionals)에 기반한 식별 전략을 무효화할 수 있다. 우리는 M-바이어스, 도구 변수(instrumental variables), 고전적인 후문(back-door) 및 전문(front-door) 설정의 특징을 포괄하면서도 두 g-공식의 비표준적 비율을 통해 평균 처치 효과(average treatment effect)를 식별하는 인과 구조인 "Napkin" 그래프를 연구한다. 우리는 이 범함수에 대한 영향 함수(influence function) 기반 추정기를 개발하는데, 여기에는 기계 학습을 활용한 모수적 속도보다 느린 뉘앙스 추정 하에서도 점근적 선형성을 유지하는 이중 견고(doubly-robust) 단일 단계 추정기 및 표적 최소 손실 기반 추정기(targeted minimum loss-based estimators)가 포함된다. Napkin 그래프의 두드러진 특징은 관측 데이터 분포에 대해 일반적인 조건부 독립 제약이 아닌, Verma 제약(Verma constraint)으로 알려진 일반화된 독립성 제약을 부과한다는 점이다. 우리는 이 Verma 제약에 대응하는 모멘트 제약 하에서 인과 효과에 대한 반모수 효율성 이론을 개발하며, 접선 공간의 직교 보완(orthocomplement of the tangent space)을 특성화하고, 영향 함수의 클래스를 도출하며, 반모수 효율성 한계를 구한다. 더 광범위하게는, 본 분석은 Verma 제약으로 정의된 인과 모델에서의 반모수 추론을 위한 프레임워크를 제공하며, 이러한 제약이 효율성 향상을 가져올 수 있음을 보여준다. 시뮬레이션을 통해 추정기의 이론적 성질이 확인되고 상당한 효율성 향상이 입증된다. Finnish Life Course Study를 활용한 실제 데이터 적용에서는 교육 수준이 소득에 미치는 효과를 추정한다. 함께 제공되는 R 패키지인 napkincausal이 우리의 방법을 구현한다.