arXiv:2609.27144v2 cs.LG

미관측 교란 변수에 강건한 위험 점수 학습

Learning Risk Scores Robust to Unobserved Confounders

Ryan Edmonds, Yingxiao Ye, Sina Aghaei, Andr\'es G\'omez, \c{C}a\u{g}{\i}l Ko\c{c}yi\u{g}it, Phebe Vayanos

제출 2026-11-03

한국어 초록

미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.

원문 초록

We consider the problem of learning risk scores to prioritize individuals for scarce resources or interventions, from historical observational data affected by unobserved confounding. Decisions about who receives scarce resources are often guided by risk scores based on recorded characteristics, such as responses to a survey. These risk scores are increasingly being learned directly from observational data: historical records of individuals' characteristics, allocation decisions, and outcomes. Standard methods such as inverse propensity weighting (IPW), which corrects for the bias introduced by the historical allocation policy, can be used to learn accurate risk scores if the historical decision process is fully explained by the recorded characteristics. In practice, however, historical decisions often depend on unrecorded information, causing learned risk scores to systematically under-prioritize exactly the individuals whose unrecorded circumstances drove past prioritization. We propose a method for learning risk scores that are robust to this kind of unobserved confounding, building on IPW. Since propensity weights cannot be reliably estimated under unobserved confounding, we instead treat them as belonging to an uncertainty set determined by the observable data and domain-informed estimates of the degree of confounding, combining sensitivity analysis from causal inference with Wasserstein distributionally robust optimization. The resulting robust risk score learning problem admits a sample-based approximation that we reformulate as an exponential cone program compatible with off-the-shelf solvers. We demonstrate the effectiveness of our approach on semi-synthetic data derived from datasets in the UCI Machine Learning Repository. Our method improves calibration by up to 29.2% over traditional benchmarks and up to 11.1% over the state of the art, without compromising other metrics.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27144v2제출 시각 미확인
  2. arXiv:2609.27144v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26652v1math.ST공통 태그 Fairness, Uncertainty Quantification, Sensitivity

조건부 대표 모니터링 및 분류를 위한 문맥 적응형 임계값 설정

Context-Adaptive Thresholding for Conditionally Representative Monitoring and Classification

일반적으로 분류기(classifier)와 모니터링 절차는 오분류율과 같은 목적 함수를 최적화(optimization)하여 레이블이 지정된 데이터로부터 학습(training)됩니다. 이는 중요한 외생 변수가 주어졌을 때 결과(레이블)의 조건부 분포가 모집단의 조건부 법칙과 달라져 비대표적인(unrepresentative) 조건부 분포를 초래할 수 있습니다. 본 연구에서는 오경보율(false alarm rate)을 유지하면서 민감도(sensitivity)를 분배하기 위해 공변량 $Z$(문맥)에 맞춰 임계값을 적응시킴으로써, 임의의 주어진 임계값 형태 분류기 및 모니터링 규칙을 수정하여 대표성 있는 조건부 레이블 예측을 달성하는 방법을 제시합니다. 경보 이벤트가 알려지지 않은 경우, 이 접근법은 임계값 설정 규칙 관점에서 해당 이벤트를 (근사적으로) 추론(inference)할 수도 있게 합니다. 이 접근법은 계산 비용이 저렴한 비모수적 추정 절차를 통해 구현되며, 그 특성은 경험적 과정 이론(empirical process theory)을 포함한 점근적 분포 이론 및 비점근적 오차 한계 관점에서 연구됩니다. 이러한 결과는 균일 신뢰대(uniform confidence bands), 함수형 가설 검정 및 변화 탐지 절차의 구성을 가능하게 합니다. 해석 가능한 머신러닝에서 자주 사용되는 잘 알려진 FICOS 신용 평가 예시에서, 임계값 적응은 일반적인 분류 평가 지표 측면에서 트랜스포머(transformer)를 포함한 최신(SOTA) 방법들과 견줄 수 있는 쉽게 해석 가능한 결정 규칙으로 이어집니다.

arXiv:2610.15789v1stat.ML공통 태그 Causal Inference, Uncertainty Quantification

적응적 실험에서 정책 개선 가치에 대한 추론

Inference on the Value of Policy Improvement in Adaptive Experiments

본 논문에서는 적응적으로 수집된 데이터 환경에서 정책 개선 가치(VPI, Value of Policy Improvement)에 대한 점근적 정규 추정량(asymptotically normal estimator)을 개발합니다. 특정 군집 내 최적 처치 정책의 가치와 기준선(baseline) 정책 가치 간의 격차로 정의되는 이 값은 맞춤형 처치 정책을 도입할 가치가 있는지 여부를 측정합니다. VPI에 대한 추정량을 구축하는 것은 고정된 정책의 가치를 추정하는 것보다 본질적으로 더 어렵습니다. 이는 적응적 실험과 연관된 상관 데이터 및 감소하는 성향(decaying propensities)을 다루어야 할 뿐만 아니라, 최적 정책이 유일하지 않을 때 기저 피추정량(estimand)의 비정칙성(non-regularity) 또는 경로별 미분 불가능성(lack of pathwise differentiability)도 모든 추정량이 함께 처리해야 하기 때문입니다. 본 연구에서 제안하는 추정량은 과거 데이터에 대해 가중 경험적 후생 극대화(weighted empirical welfare maximizing) 정책을 순차적으로 적합한 후, 미래 샘플에 대해 역성향 가중치(inverse propensity weighting)를 적용하여 이를 평가하는 방식으로 작동합니다. 우리는 최적 정책이 유일하다고 가정하지 않으며, 기저의 이질적 처치 효과에 대한 마진(margin) 가정도 두지 않습니다. 추정량 분석의 핵심적인 난점은 정책 학습을 통해 발생하는 후회(regret)가 추정량의 표준 오차보다 점근적으로 작음을 보이는 것입니다. 우리는 감소하는 성향 조건 하에서 정책 학습의 더 빠른 후회율(regret rate)을 입증함으로써 이를 달성하였으며, 이는 독립적으로도 유의미한 가치를 지닐 수 있습니다. 합성 및 준합성 데이터의 혼합을 통해 추정량의 포함 확률(coverage)을 평가할 뿐만 아니라, Caria 등이 요르단에서 진행한 구직 지원 프로그램의 효과 평가 적응적 실험에서 VPI를 추정하는 데에도 이를 적용합니다. 본 연구의 추정치는 최적 정책이 유일하다고 가정한 이들의 계층적 베이지안(hierarchical Bayesian) 분석 결과보다는 전반적으로 보수적이지만, 여전히 시리아 난민 집단 내에서 개인화가 지닌 이점을 입증합니다.

arXiv:2609.32652v2cs.AI공통 태그 Uncertainty Quantification, Prediction

기하학 기반 소프트 상태 추상화의 예측 한계 및 쿱만 폐포

Prediction Limits and Koopman Closure of Geometry-Induced Soft State Abstractions

소프트 상태 표현(soft state representation)은 각 상태에 합이 1인 음이 아닌 클래스 가중치 벡터를 할당합니다. 본 연구에서는 이러한 가중치의 구성과 상태 동역학이 선형 예측의 정확도를 어떻게 공동으로 결정하는지 조사합니다. 고정된 임의의 가측 표현(measurable representation)에 대해, 지정된 스펙트럼 노름(spectral norm) 한계를 가진 행렬들 중 모집단 최소 평균 제곱근 예측 오차에 대한 유한 표본 신뢰 하한을 유도합니다. 이 한계는 각 참조 클래스 내 후속 좌표의 변동과 소프트 입력이 제공할 수 있는 개선 정도를 비교합니다. 또한 예측 행렬을 적합하지 않고도 독립적인 평가 쌍으로부터 계산됩니다. 선택된 허용 오차를 초과하는 한계는 해당 행렬 클래스 전체에 대해 그 허용 오차를 배제하며, 0인 한계는 결론을 내릴 수 없음을 의미합니다. 커널 아핀 헐 머신(Kernel Affine Hull Machines)을 사용하여 구성된 좌표의 경우, 재구성 점수 마진이 참조 라벨과의 불일치를 제어하며 예측 오차 한계에 반영됩니다. 정확한 결정론적 선형 진화 하에서, 잉여 계수 벡터를 고려하여 쿱만(Koopman) 및 재생핵 힐베르트 공간(RKHS) 수반 해석도 확립합니다. 4개 상태 연구에서는 보고된 117,000개의 복제 데이터셋에 걸쳐 신뢰 하한을 해석적으로 알려진 최적값과 비교합니다. 그런 다음 파일럿 데이터에서 선택된 반데르폴(Van der Pol) 표현을 두 가지 전이 법칙 각각에 대해 32개의 독립적인 데이터셋에서 평가합니다. 보고된 한계는 적합된 행렬 노름에서는 양수이지만, 더 큰 노름 한계에서는 0이 될 수 있습니다. 추가적인 예측 연구를 통해 좌표 변동, 공통 예측 목표, 장기 시계(long-horizon) 오차를 검토합니다. 이러한 결과는 재구성 클래스와의 일치도, 달성 가능한 예측 정확도, 정확한 연산자 폐포(operator closure)를 구별합니다.

arXiv:2610.02255v1cs.LG공통 태그 Causal Inference, Uncertainty Quantification

MACTS-EM: 창발적 메모리를 활용한 다중 에이전트 협업 시계열 예측

MACTS-EM: Multi-Agent Collaborative Time Series Forecasting with Emergent Memory

시계열 예측(time series forecasting)은 여러 분야에서 여전히 중요한 과제로 남아 있다. 상당한 발전이 있었음에도, 기존 접근법들은 체제 전환(regime shift), 도메인 간 지식 전이, 멀티모달 데이터 통합과 같은 복잡한 현상을 다루는 데 어려움을 겪는다. 본 논문은 전문화된 에이전트들이 협업하여 우수한 예측 성능을 달성하는 새로운 프레임워크인 창발적 메모리를 활용한 다중 에이전트 협업 시계열 예측(Multi-Agent Collaborative Time Series Forecasting with Emergent Memory, MACTS-EM)을 소개한다. MACTS-EM 아키텍처는 다음을 통합한다: (1) 패턴 인식, 이상 탐지, 인과 추론, 불확실성 정량화를 위한 도메인 특화 예측 에이전트; (2) 동적 에이전트 할당을 위한 메타인지 층(meta-cognitive layer); (3) 도메인 간 패턴 전이를 가능하게 하는 창발적 메모리 메커니즘; (4) 멀티모달 맥락 통합; (5) 적대적 강건성(adversarial robustness) 구성 요소. 금융 시장, 기후 패턴, 에너지 소비, 전염병 확산에 대한 평가 결과, MACTS-EM은 대부분의 시나리오에서 기존 접근법을 능가하며, 예측 정확도에서 8-12%의 향상, 제로샷 전이 능력에서 22-27%의 개선, 체제 전환 시 복원력에서 16-21%의 강화, 분포 변화 이후 회복 속도에서 15-18%의 향상을 보였다. 본 연구 결과는 시계열 예측에 대한 협업적이고 에이전트 기반(agentic)인 접근법이 전통적인 아키텍처를 넘어서는 유망한 방향임을 시사하며, 다중 해상도의 시간적 이해와 맥락적 적응을 요구하는 복잡한 실세계 시나리오에서 특히 그렇다.

arXiv:2610.02887v1cs.CV공통 태그 Causal Inference, Uncertainty Quantification

인과-불변 마스킹을 통한 멀티모달 대규모 언어 모델(MLLM)의 인식론적 불확실성 규명

Revealing Epistemic Uncertainty in MLLMs via Causal-Invariant Masking

멀티모달 대규모 언어 모델(MLLM)은 환각(hallucination) 문제를 겪고 있어, 신뢰할 수 있는 배포를 보장하기 위한 불확실성 정량화(UQ)의 필요성이 매우 중요해졌습니다. 그러나 기존 접근 방식들은 특히 질의 관련 신호가 약할 때 피상적인 연관성으로 인해 발생하는 불확실성을 감지하는 데 어려움을 겪습니다. 본 논문에서는 이러한 문제가 주로 모델의 한계에서 기인하는 인식론적 불확실성(epistemic uncertainty)을 간과하고 데이터의 모호성에서 비롯되는 우연적 불확실성(aleatoric uncertainty)에 편향된 바이어스(bias) 때문이라고 설명합니다. 포괄적인 UQ를 위해 불확실성의 유형을 추가로 분해하고자, 원래 예측과 인과적으로 집중된 뷰에 조건화된 예측 간의 의미론적 변화(semantic shift)를 측정하는 인과-불변 마스킹(CIM)을 제안합니다. 이 프레임워크를 기반으로, UQ를 위한 핵심 지표로서 의미론적 발산(Semantic Divergence)을 도입하고, 이것이 비인과적 상관관계에 대한 모델 민감도의 분산으로 수렴함을 이론적으로 입증하여 MLLM의 한계를 포착하는 능력을 입증합니다. MLLM에서 UQ 속도를 가속하기 위해, 초구체(hyperspherical) 임베딩 공간 내에서 의미론적 변화를 직접 추정하는 빠른 기하학적 대리지표인 기대 임베딩 표류(EED)를 추가로 제안합니다. 실험 결과는 우리의 방법이 다양한 벤치마크에서 최고 성능을 달성하는 동시에, 제안된 EED를 통해 유사한 성능을 유지하면서 속도를 약 50% 가속함을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.