미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.
자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.
분포 로버스트 최적화(DRO)는 모호성 집합(ambiguity set)에 대해 최적화를 수행함으로써 분포 불확실성으로부터 의사결정을 보호하지만, 집합의 기하학적 구조가 잘 맞지 않으면 반경을 크게 설정해야 하므로 지나치게 보수적인 의사결정을 초래할 수 있습니다. 본 연구에서는 홀드아웃(held-out) 보정 데이터를 활용하여 관측된 예측 오차에 맞춰 모호성 집합의 기하학적 구조를 적응시키는 진단적 이동 DRO(DT-DRO)를 소개합니다. DT-DRO는 조건부 확률 적분 변환(PIT) 누적 분포 함수를 사용해 체계적인 확률 오할당을 진단하고, 이 정보를 결과 수준의 이동으로 변환하여 모호성 집합의 중심과 기본 비용(ground cost)을 함께 조정합니다. 이를 통해 도출된 정식화는 계산적으로 다루기 쉬운 쌍대 재정식화(dual reformulation)를 지원합니다. 이론적으로는 추정 및 근사 오차가 사라질수록 더욱 긴밀해지는 유효 모호성 반경과 의사결정 위험 보장을 유도하며, DT-DRO가 모델 오지정(misspecification)으로 인해 발생하는 지속적인 강건성 바닥효과(nonvanishing robustness floor)를 제거할 수 있음을 보입니다. 합성 데이터 실험과 정전 사례 연구를 통해 특히 구조적 오지정 및 꼬리 오지정 상황에서 의사결정 품질이 향상됨을 입증합니다.
다중 목표 최적화(MOO)는 여러 기준 하에서 학습이 요구되는 응용 분야에서 점점 더 많은 주목을 받고 있습니다. 그러나 기존의 대부분의 MOO 정식화는 데이터의 분포 변화(distributional shift)를 명시적으로 고려하지 않습니다. 본 논문에서는 각 목표의 최악의 경우 분포 하에서 여러 목표를 최소화하는 분포 강건 다중 목표 최적화(DR-MOO)를 도입합니다. 우리는 DR-MOO를 위한 파레토(Pareto) 형태의 해 개념을 제안하고, 이론적 보장이 동반된 다중 경사하강법(MGDA) 알고리즘을 개발합니다. 라그랑주 쌍대 재정식화(Lagrangian dual reformulation)를 활용하여, 먼저 내부 루프를 통해 쌍대 변수를 추정하고 $ε$-파레토-정상점($ε$-Pareto-stationary point)에 도달하기 위해 총 표본 복잡도(sample complexity) $\mathcal{O}(ε^{-8})$을 달성하는 이중 루프 MGDA를 설계합니다. 수렴 속도를 더욱 개선하기 위해, 대규모 배치(large-batch) 샘플링과 그래디언트 클리핑(gradient clipping)을 결합하여 일반화된 매끄러움(generalized smoothness)을 수용하고 확률적 선호도 업데이트의 바이어스를 제어함으로써 이중 샘플링의 필요성을 제거합니다. 이를 통해 표본 복잡도가 $\mathcal{O}(ε^{-4})$로 대폭 개선된 단일 루프 이중 클립 MGDA를 도출합니다. 우리의 이론은 쌍대 목표의 균일하게 유계된 그래디언트를 요구하지 않으면서 비볼록(nonconvex) 문제에 적용됩니다. 실험을 통해 본 제안 방법들이 최신 MGDA 베이스라인들과 견줄 만한 경쟁력을 갖추고 있음을 입증합니다.
많은 실제 응용 분야에서 심층 신경망(DNN)의 강건성(robustness)과 안정성을 확보하는 것은 필수적이며, 특히 다양한 입력 섭동을 마주하는 이미지 분류 작업에서 더욱 중요합니다. 이러한 섭동에 대한 학습 모델의 복원력을 높이기 위해 믹스업(Mixup) 기반 데이터 증강 기법이 널리 채택되어 왔으나, 본 연구의 실험 결과 손상 강건성과 캘리브레이션(calibration) 사이의 중요한 트레이드오프가 밝혀졌습니다. 즉, 더 강력한 Mixup 기반 증강은 손상된 데이터에 대한 강건성을 향상시킬 수 있지만 기대 캘리브레이션 오차(ECE)를 크게 증가시킵니다. 이러한 문제를 해결하기 위해, 본 논문에서는 바세르슈타인 분포 강건 최적화(W-DRO)를 다양한 Mixup 기반 데이터 증강 전략과 통합하여 이 트레이드오프를 완화하는 프레임워크인 DRO-Augment를 제안합니다. 제안하는 방법은 CIFAR-10, CIFAR-100, CIFAR-10-C, CIFAR-100-C 전반에서 손상 정확도를 대체로 보존하면서 강력한 Mixup 기반 증강 환경에서 ECE를 대폭 낮춥니다. 이론적 측면에서는 W-DRO 문제와 밀접하게 연관된 변분 정규화 손실 함수를 증강 데이터와 함께 사용하여 학습된 신경망에 대한 새로운 일반화 오차 한계를 규명합니다. 나아가 손상 강도의 불일치를 바로잡은 정제된 CIFAR-C 벤치마크를 도입하여 향후 강건성 연구를 위한 보다 신뢰할 수 있는 평가 기준을 제공합니다.
의료 AI가 전 세계의 다양한 의료 현장으로 확장됨에 따라, 환자 집단 전반에 걸친 공평한 성능은 신뢰할 수 있는 임상 활용의 필수 요건이 되고 있습니다. 의료 영상 분석의 공정성은 흔히 사전에 정의된 소집단(subgroup) 간 평균 성능을 통해 평가되지만, 소집단 평균이 유사하더라도 개별 환자 간의 상당한 편차가 가려질 수 있습니다. 따라서 신뢰할 수 있는 의료 AI를 위해서는 집단 간 성능 격차를 줄이는 소집단 간 공정성(inter-subgroup fairness)과 각 집단 내에서 적절한 치료를 받지 못하는 환자를 보호하는 소집단 내 강건성(intra-subgroup robustness)이라는 상호보완적인 두 가지 목표를 함께 해결해야 합니다. 이러한 목표들을 공동으로 해결하기 위해, 본 논문에서는 집단 수준 적응과 환자별 임상 가이던스를 결합하여 개별 환자에 대해 보다 신뢰할 수 있는 의료 영상 분석을 가능하게 하는 소집단 인지형 전문가 혼합(MoE) 프레임워크인 DuetMoE를 제안합니다. 연계된 임상 기록이 없는 환경을 위해, 소집단 라우팅 전문가를 유지하면서 소집단 내 강건성을 다루기 위해 KL 제약 분포 강건 최적화 목표를 통합한 DuetMoE+도 추가로 도입합니다. 본 연구는 PI-CAI, 방사선 치료, Harvard-FairSeg 데이터셋에서 제안 방법을 평가합니다. 4가지 평가 설정 전반에서 제안 방법은 전체 성능 또는 공평성 조정 성능을 선도하며, 소집단 간 평균 Dice 격차를 최대 30.7% 줄이고, 보고된 가장 강력한 베이스라인 대비 소집단 내 하위 25% 분위(25th-percentile) Dice 점수를 최대 11.5포인트 향상시킵니다.
학습 데이터에 드물고 큰 분포 변화가 포함된 경우 새로운 환경에서의 예측을 연구한다. 앵커 회귀(anchor regression)는 환경별 제곱 평균 잔차의 평균에 페널티를 부과하며, 학습 변화의 2차 모멘트로 정해지는 타원체 내 변화에 대비한다. 희귀 변화까지 포괄하려면 큰 페널티가 필요할 수 있어 타원체가 모든 방향으로 커지고, 흔한 환경에서의 정확도가 떨어질 수 있다. 우리는 제곱 평균 잔차의 평균을 꼬리 평균(tail average)으로 바꾼 CVaR 앵커 회귀를 제안한다. 예측 위험에 CVaR이나 GroupDRO를 직접 적용하는 경우와 달리, 노이즈 수준이 높다는 이유만으로 특정 환경에 더 큰 가중치를 주지 않는다. 이질분산(heteroscedastic) 노이즈를 허용하는 선형 구조 모델에서 정확한 최악 경우 위험 보장을 증명한다. 이산 환경에서는 CVaR 꼬리 비율(tail fraction)을 줄일수록 견고성 집합이 타원체에서 학습 변화와 그 음의 스케일된 볼록 껍질(convex hull)로 넓어지며, 별도 매개변수가 그 스케일을 조절한다. 예시를 통해 흔한 환경의 정확도는 유지하면서 희귀 변화에 대한 보호를 개선할 수 있음을 보인다. 뉴욕시 택시 데이터로 방법을 시연한다.
RLHF에서 프록시 보상 모델의 오지정(misspecification)으로 인한 보상 과최적화 문제를 해결하기 위해, 보상 법칙에 대한 Wasserstein 모호성 집합과 프롬프트별 ℓp 거리를 활용한 분포적 강건 후회 최적화(DRRO)를 제안한다. 표준 DRO와 달리 최악의 경우 가치 대신 최악의 경우 후회(regret)를 최소화하는 이 방법은 프롬프트별 워터필링(water-filling) 구조로 분해되며, GRPO 학습에 샘플링 기반 보너스를 추가하는 방식으로 구현되어 기존 기준선 대비 과최적화를 더 효과적으로 완화함을 이론과 실험으로 검증하였다.
본 논문은 최악의 분포가 연속인 경우 강건 추론을 위한 분포적 강건 최적화(DRO)를 연구한다. 최적화 문제의 무한차원적 특성으로 인해 상당한 계산상의 어려움이 발생한다. 확장성 문제, 제한된 일반화, 비용이 큰 최악 상황 추론 등의 한계가 있는 기존 이산 DRO 접근법과 달리, 본 프레임워크는 Brenier 정리를 활용하여 가장 불리한 분포를 연속 기준 측도로부터의 수송(transport) 맵의 밀어내기(pushforward)로 특성화한다. 이 특성화는 Wasserstein 공간에서의 minimax 문제 연구를 이끈다. 본 논문은 여러 변형을 갖는 반복 알고리즘 프레임워크를 제안하고, 완화된 가정 하에서 전역 수렴 보장을 확립하며, 서브그래디언트(subgradient) 평가와 비정확(inexact) Jordan-Kinderlehrer-Otto 업데이트 관점에서 복잡도 상계를 도출한다. 신경망 기반 수송 맵을 사용한 수치 결과는, 제안된 방법이 강건 분류기의 안정적인 학습과 분류 작업에 대한 효과적인 최악 상황 추론을 모두 가능하게 함을 보여준다.
많은 신호 처리 시스템은 궁극적으로 {행동}하기 위해 존재한다. 의사결정자, 즉 에이전트가 취할 행동을 결정하는 상태 변수가 불확실할 때, 그 불확실성을 어떻게 표현하느냐가 에이전트의 성능이 얼마나 좋을지, 그리고 그 성능을 얼마나 신뢰할 수 있는지를 결정한다. 이 강의 노트는 제1원리로부터, 그리고 단일 의사결정 이론 설정 내에서, {목적}과 에이전트의 지식, 그리고 최적으로 행동하기에 충분한 불확실성 표현 형식 사이의 연관을 전개한다. 우선, 환경 분포가 알려져 있다고 가정하면, 위험 중립적 에이전트는 상태에 대한 사후 분포가 필요함을 보인 반면, 위험 회피적 에이전트는 {예측 집합}과 최악의 경우 의사결정 규칙에 최적성을 잃지 않고 의존할 수 있음을 보인다. 그런 다음 환경이 알려지지 않은 경우로 전환하여, 이로 인한 인식론적(epistemic) 불확실성을 다루는 세 가지 상보적 접근을 식별한다: 고정된 예측기의 보정(calibration), 분포적 강건 최적화(distributionally robust optimization)와 함께하는 크레달(credal, 모호성) 집합, 그리고 모델 파라미터에 대한 베이즈 추론. 공통된 핵심은, 신뢰할 수 있는 의사결정을 위해서는 의사결정 목적과 에이전트의 지식 프로파일에 부합하는 불확실성 표현과, 에이전트가 실제로 얻을 효용(utility)을 보증하는 보증이 함께 필요하다는 것이다.
우리는 외부 변수가 점별 최댓값의 기댓값을 최소화하는 확률적 비매끄 최적화 문제 클래스를 연구한다. 이 최소화-기댓값-최대화(minEmax) 문제는 Wasserstein 분포적 강건 최적화 및 적대적 강건 학습에서 발생하며, 기저 분포가 경험적(empirical)이 아닐 때 일반적으로 유한차원 미니맥스(minimax) 문제로 재표현할 수 없다. 우리는 가치 함수(value function)의 log-mean-exp 스무딩을 기반으로 한 확률적 스무딩 근위 그래디언트(proximal gradient) 방법을 제안한다. 콤팩트성(compactness) 및 Lipschitz형 가정 하에서, Goldstein 정상성(stationarity) 관점에서 비점근적 분석을 제시하고, 우리 방법이 생성하는 거의 확실(almost-sure)한 모든 군집점(cluster point)이 Clarke 정상점임을 보인다; Clarke 정칙성(regularity)에 의해, 이러한 점은 원래 문제에 대해 방향 정상점(directional stationary point)이기도 하다. newsvendor, 강건 회귀(robust regression), 적대적 강건 학습 문제에 대한 수치 실험은 제안 방법이 기존 베이스라인과 경쟁력 있음을 보여준다.
예측 모델은 예측 변수들을 조건부 평균 추정값으로 압축하며, 그 추정값이 생략한 체계적 구조는 예측 오차의 2차 모멘트에 잔존한다. 정확도 비교는 이 구조를 측정하지 않으며, 분산 기반 추출은 특정 의사결정이 부담하는 구조의 일부를 복원하지 못한다. 본 논문에서는 고정된 예측기의 잔차로부터 누락된 구조를 복원하는 분포적으로 강건한(distributionally robust) 프레임워크를 제안한다. 표준화된 잔차 단면(residual cross-section)에 대한 2층(two-layer) 모멘트 모호성 집합(moment ambiguity set)에서 의사결정을 강건하게 만들며, 발견 통계량은 공분산 강제(covariance forcing), 즉 의사결정의 잔차 위험 중 그 노출에 수직인 성분이다. 강제량은 수축(shrinkage)과 공분산의 등방성 팽창(isotropic inflation)에 불변임을 증명하여, 복원된 방향이 정규화가 아닌 잔차 자체의 속성임을 보인다. 이로써 복원이 실측값(ground truth)이 되는 의미에서의 타당성을 확보한다. 이는 2006년부터 2025년까지의 미국 국채 월별 무이표채(zero-coupon) 수익률 데이터로 확인되며, 복원된 요인은 111개의 거시경제, 국채 수급, 금융 지표 패널에 대한 요인 조정 강건 선택(factor-adjusted robust selection)을 통해 명명된다. 선형 요인 증강 동적 Nelson-Siegel 벤치마크의 잔차로부터 해당 요인은 선행 경기순환 요인으로 명명되며, Conference Board 선행지수에 고정되고 블록 순열 검정(block-permutation test)으로 인증된다. 보다 정확한 비선형 랜덤 포레스트 벤치마크의 잔차로부터도 동일한 절차가 인증 없이 동일한 실물활동(real-activity) 계열을 선택한다. 중립화 검정(neutralization test)이 추가 증거를 완성한다. 복원된 요인을 배포된 듀레이션 포지션에서 제거하면 변동성은 사실상 변하지 않고 꼬리 위험은 악화되므로, 해당 요인은 포지션이 실질적으로 부담하는 체계적 위험이다.
예측 후 최적화(Predict-then-optimize) 시스템은 일반적으로 불확실성을 점 예측(point forecast)으로 압축한 뒤, 해당 예측이 신뢰 가능한 것처럼 가정하고 다운스트림 최적화 문제를 풀어낸다. 분포 강건 최적화(DRO, Distributionally Robust Optimization)는 잘못된 명세(misspecification)에 대한 보호를 제공하지만, 모호성 집합(ambiguity set)은 흔히 과거 샘플을 중심으로 하며 고정된 반지름을 사용한다. 본 논문에서는 학습된 예측적 모호성 집합(LPAS, learned predictive ambiguity sets)을 제안한다: 심층 컨텍스트 모델이 유한한 명목 시나리오 분포, 상태 의존적 와서스테인(Wasserstein) 반지름, 그리고 선택적으로 비등방성 기저 거리(anisotropic ground metric)를 출력한다. 이 출력들은 DRO 의사결정 층에 공급되는 컨텍스트 모호성 집합을 정의한다. 반지름은 조건부 분위수 보정, 크기 정규화, 그리고 다운스트림 의사결정 손실의 조합으로 학습되어, 강건성이 전역 고정값이 아닌 적응적으로 조정된다. 의사결정 층에서 사용되는 유한 쌍대 형식(finite dual form)을 유도하고, 단계적 학습 알고리즘을 제시하며, 2018년부터 2026년까지의 S&P 500 구성 종목 20개를 대상으로 한 분포 강건 포트폴리오 최적화에서 방법론을 평가한다. 제안된 방법은 동일 가중치, 예측 후 최적화, 과거 와서스테인 DRO 기준선을 크게 상회하며, 26.28%의 연환산 수익률, 샤프 비율 1.30, 최종 자산 1.61을 달성하고, 더 작은 평균 반지름을 사용하면서도 심층 고정 반지름 DRO 기준선보다 낮은 테일 손실을 기록한다. 결과는 학습된 모호성 반지름이 불필요한 보수성을 줄이고 레짐 적응성(regime adaptivity)을 개선하면서 강력한 고정 반지름 DRO의 성능 대부분을 회복할 수 있음을 보여준다.
확률 회로(Probabilistic Circuit, PC)는 복잡한 결합 분포를 모델링하면서 다양한 추론 질의에 대한 정확하고 효율적인 계산을 지원할 수 있다. 그러나 표준 가능도 기반 PC 학습은 데이터 노이즈, 소규모 샘플 크기, 또는 분포 변화에 직면할 때 과적합에 취약하고 일반화가 불안정하다. 이는 경험적 분포의 Wasserstein 볼 내 최악의 분포를 고려하는 분포적 강건 최적화(distributionally-robust optimization)를 통해 완화될 수 있으나, 현재 방법들은 이 프레임워크에서 처음부터 모델을 학습하는 방식으로 제한된다. 이에 우리는 PeTeR를 제안한다: 처음부터 재학습하지 않고도 사전 학습된 PC를 분포 변화에 대해 강건화하도록 설계된 새로운 데이터 불필요 사후 학습 프레임워크이다. 여러 밀도 추정 벤치마크에 걸친 실험적 평가는 PeTeR가 무작위 및 적대적 섭동 모두에 대해 기준선 모델들을 효과적으로 강건화하며, 데이터 의존적 강건 학습 기준선들과 동등하거나 우월한 성능을 달성함을 입증한다.
재생에너지와 유연 수요의 불확실성이 증가함에 따라, 기존의 정확도 중심 시나리오 생성 방식이 하류 운영 비용 최적화에 비효율적임을 지적하며, VAE·GAN·확산 모델 등 주류 생성 모델에 적용 가능한 결정 중심(decision-focused) 시나리오 생성·선택 프레임워크를 제안한다. 버스 간 공간 상관관계를 포착하는 결합 분포 모델링과 미분 가능한 시나리오 선택기를 통해 분포적 강건 최적화(DRO) 기반 전력망 디스패치의 운영 비용을 기존 방법 대비 0.80%–2.02% 절감하는 성과를 달성하였다.
공중 감시, 정밀 농업, 의료 영상 등 시공간적으로 상관된 도메인에서 무작위 데이터셋 분할이 데이터 누수(data leakage)와 은닉 계층화(hidden stratification)를 유발해 성능을 과대평가하는 문제를 분석하고, 이를 해결하기 위해 의미적으로 분리된 균형 잡힌 검증 분할을 구성하는 Structure-Aware Stratified Partitioning(SASP)과 커리큘럼 기반의 분포적 강건 최적화인 Curriculum Distributionally Robust Optimization(CDRO)을 통합 프레임워크로 제안한다. 여러 벤치마크 실험에서 이 조합이 일반화 성능과 신뢰도 보정을 향상시키고 기존 무작위 분할 평가에서는 드러나지 않던 모델의 취약점을 노출함을 보인다.
데이터 기반 의사결정을 위한 경험적 위험 최소화 접근법은 결정 규칙이 배포될 때 직면하게 될 조건과 동일한 조건에서 추출된 학습 데이터에 대한 접근을 필요로 합니다. 그러나 일부 상황에서는, (관측 가능하거나 관측 불가능한 속성으로 특징지어지는) 일부 집단이 일반 모집단에 비해 과소 또는 과대 표현된다는 의미에서 학습 샘플에 바이어스가 있을 수 있으며, 이 경우 학습 세트에 대한 경험적 위험 최소화는 배포 시 잘 작동하는 규칙을 도출하지 못할 수 있습니다. 우리는 조건부 Γ-편향 샘플링이라는 샘플링 바이어스 모델을 제안하는데, 여기서 관측된 공변량은 샘플 선택 확률에 임의로 크게 영향을 미칠 수 있지만 샘플 선택 확률의 설명되지 않는 변동량은 상수 인자로 제한됩니다. 분포적 강건 최적화(distributionally robust optimization) 프레임워크를 적용하여, Γ-편향 샘플링 하에서 학습 분포를 생성할 수 있는 테스트 분포 집합에서 발생하는 최악의 위험을 최소화하는 결정 규칙을 학습하는 방법을 제안합니다. Rockafellar와 Uryasev의 결과를 적용하여 이 문제가 증강된 볼록 위험 최소화 문제와 동치임을 보입니다. 체 방법(method of sieves)을 통해 샘플링 바이어스에 강건한 모델 학습에 대한 통계적 보장을 제공하고, 손실 함수가 강건 학습 목표를 포착하는 심층 학습 알고리즘을 제안합니다. 건강 설문 데이터로부터 정신 건강 점수 예측에 관한 사례 연구와 ICU 재원 기간 예측에 관한 사례 연구를 통해 제안된 방법을 실증적으로 검증합니다.
Credal 예측기는 인식론적 불확실성(epistemic uncertainty)을 인식하고 확률적 예측의 볼록 집합(convex set)을 생성하는 모델입니다. 이들은 예측 인식론적 불확실성(EU)을 정량화하는 원칙적인 방법을 제공하며, 다양한 설정에서 모델 강건성(robustness)을 향상시키는 것으로 나타났습니다. 그러나 대부분의 최신 방법들은 주로 EU를 무작위 학습 초기화(random training initializations)로 인한 불일치(disagreement)로 정의하며, 이는 더 깊은 원인에서 비롯된 불확실성보다는 최적화 무작위성(optimization randomness)에 대한 민감도를 주로 반영합니다. 이를 해결하기 위해, 우리는 학습 데이터와 테스트 데이터 간의 독립 동일 분포(i.i.d.) 가정을 다양하게 완화(relaxations)하여 학습된 모델들 간의 불일치로 EU를 정의합니다. 이 아이디어를 바탕으로, 우리는 분포 강건 최적화(distributionally robust optimization)를 통해 타당한 모델들의 앙상블(ensemble)을 학습하는 CreDRO를 제안합니다. 그 결과, CreDRO는 학습 무작위성뿐만 아니라 학습 데이터와 테스트 데이터 간의 잠재적인 분포 변이(distribution shifts)로 인한 의미 있는 불일치에서도 EU를 포착합니다. 실험 결과, CreDRO는 여러 벤치마크(benchmarks)에 걸친 분포 외(out-of-distribution) 탐지 및 의료 응용 분야의 선택적 분류(classification)와 같은 작업에서 기존 Credal 방법들을 지속적으로 능가하는 것으로 나타났습니다.
샘플 외 오염 환경에서 분포 강건 최적화(DRO)의 한계를 극복하기 위해 데이터에서 대량 집합을 학습하고 꼬리 기여를 분리하여 바인딩하는 벌크 보정 크레달 모호성 집합을 제안합니다. 이 방법은 닫힌 형식의 유한한 강건 목적함수와 효율적인 최적화를 가능하게 하며, 다양한 실험에서 경쟁력 있는 강건성-정확도 균형을 달성합니다.