arXiv:2407.01065

Improve ROI with Causal Learning and Conformal Prediction

Meng Ai, Zhuo Chen, Jibin Wang, Jing Shang, Tao Tao, Zhen Li

제출 2024-07-01

원문 초록

In the commercial sphere, such as operations and maintenance, advertising, and marketing recommendations, intelligent decision-making utilizing data mining and neural network technologies is crucial, especially in resource allocation to optimize ROI. This study delves into the Cost-aware Binary Treatment Assignment Problem (C-BTAP) across different industries, with a focus on the state-of-the-art Direct ROI Prediction (DRP) method. However, the DRP model confronts issues like covariate shift and insufficient training data, hindering its real-world effectiveness. Addressing these challenges is essential for ensuring dependable and robust predictions in varied operational contexts. This paper presents a robust Direct ROI Prediction (rDRP) method, designed to address challenges in real-world deployment of neural network-based uplift models, particularly under conditions of covariate shift and insufficient training data. The rDRP method, enhancing the standard DRP model, does not alter the model's structure or require retraining. It utilizes conformal prediction and Monte Carlo dropout for interval estimation, adapting to model uncertainty and data distribution shifts. A heuristic calibration method, inspired by a Kaggle competition, combines point and interval estimates. The effectiveness of these approaches is validated through offline tests and online A/B tests in various settings, demonstrating significant improvements in target rewards compared to the state-of-the-art method.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02487v1cs.LG공통 태그 Decision Making, Conformal Prediction

임계값 인지 컨포멀 라우팅

Threshold-Aware Conformal Routing

고충실도 시뮬레이션은 과학 및 공학 설계에 필수적이지만 반복 실행 비용이 많이 들 수 있습니다. 학습된 대리 모델(surrogate)은 더 빠른 대안을 제공하지만, 상대적으로 높은 오차로 인해 다운스트림 의사결정이 바뀔 수 있습니다. 이러한 정확도와 속도 간의 절충으로 인해 대리 모델을 사용할 수 있는지, 아니면 완전한 시뮬레이터가 여전히 필요한지를 결정해야 하는 문제가 발생합니다. 본 연구에서는 관심 대상인 스칼라 수량이 고정된 임계값(threshold)의 상위 또는 하위에 위치하는지에 따라 결정되는 의사결정을 연구합니다. 각 입력에 대해 대리 모델의 컨포멀 구간(conformal interval)이 임계값의 한쪽에 완전히 위치할 때는 대리 모델을 사용하고, 구간이 임계값과 교차할 때는 입력을 시뮬레이션으로 라우팅합니다. 표준 컨포멀 예측은 다운스트림 의사결정 임계값을 고려하지 않고 구간을 구성합니다. 즉, 임계값 근처의 좁은 구간이라도 임계값을 가로질러 시뮬레이션을 트리거할 수 있는 반면, 멀리 떨어진 더 넓은 구간은 한쪽에 완전히 머물러 시뮬레이션을 요구하지 않을 수 있습니다. 이에 의사결정 경계 근처에 구간의 조밀함을 집중시키는 임계값 인지 목적 함수를 사용하여 입력 의존적 스케일을 학습하는 임계값 인지 컨포멀 라우팅(TACR)을 제안합니다. 홀드아웃 데이터에 대한 정확한 분할 컨포멀 보정(split-conformal calibration)은 분포 무관 한계 커버리지(distribution-free marginal coverage)를 보존하며, 이는 라우팅되지 않은 잘못된 임계값 결정 확률의 상한선 역할도 수행합니다. 다양한 과학 및 공학 데이터셋에서 TACR은 동일한 목표 커버리지에서 표준 컨포멀 예측 대비 시뮬레이터 위임(deferral)을 14-75% 감소시킵니다. 임계값 국소 가중치를 적용하지 않았으나 유사한 예측 정확도를 지닌 변형 모델과 비교했을 때, TACR은 4개 데이터셋에서 위임을 10-24% 추가로 줄입니다. 이러한 결과는 라우팅을 위한 구간 할당을 최적화함으로써 표준 컨포멀 보장을 약화시키지 않으면서도 시뮬레이터 호출을 줄일 수 있음을 보여줍니다.

arXiv:2610.01231v1cs.CY공통 태그 Decision Making, Prediction

Jev 시대의 판단: 평가 희소성에서 평가 풍요로

Judgement in the Age of Jev: From Evaluation Scarcity to Evaluation Abundance

생성형 인공지능이 그럴듯한 기호적 인공물(symbolic artefact)의 생성 비용을 낮춤에 따라, 최근 조직학 연구에서는 생산 풍요의 조건 하에서 평가와 식별을 제약 요인으로 주목해 왔다. 본 연구는 여기서 한 걸음 더 나아가, 기계 평가 자체가 일상적이면서도 대규모로 배포될 수 있을 만큼 저렴해지는 또 다른 가능성을 검토한다. 이 조사는 타입화된 확률적 의사결정을 위한 TypeSafe AI의 특화 모델(model)인 Jev에서 촉발되었다. TypeSafe는 윌리엄 스탠리 제번스(William Stanley Jevons)를 명시적으로 인용하며, 더 저렴해진 기계 지능이 이전에는 비경제적이었던 활용처를 열어젖힐 수 있다고 주장한다. 본 논문은 이를 확립된 실증적 결과라기보다는 기술적 도발로 다루며, 기계 평가에 대한 조건부 제번스 역설 가설을 수립한다. 즉, 잠재 수요가 상당하고 보완적 비용이 지배적이지 않은 경우, 활용 가능한 기계 평가의 총 한계 비용이 충분히 크게 감소하면 조직 내 소비가 증가할 수 있다는 것이다. 본 논문은 이러한 잠재적 희소성 전환을 조사하기 위해 반등 효과 경제학과 저비용 예측, 생산 풍요, 기계 평가, 의사결정 배분, 권한, 의존성 및 경영 판단(Executive Judgement)에 관한 연구를 통합한다. 또한 예측, 기계 평가, 조직적 판단, 권한 부여를 비용이 반드시 함께 하락하지는 않는 기능적 활동으로 구분한다. 평가는 증거, 기준, 오류를 공유할 수 있고, 잘못 명시된 루브릭을 확장할 수 있으며, 중대한 단서 조항이 사라진 표현을 기반으로 작동할 수 있고, 임계값과 예외 라우팅을 통해 실질적인 의사결정 권한을 변화시킬 수 있다. 이에 따른 연구 과제는 저렴한 기계 평가가 언제 인간의 평가 업무를 대체하는지, 언제 판단에 대한 수요를 재분배하거나 새로 창출하는지, 그리고 중대한 조직적 의사결정 시점에 활용 가능한 근거에 어떤 영향을 미치는지 규명하는 것이다.

arXiv:2609.27654v1stat.ML공통 태그 Decision Making, Prediction

FedIncome: 데이터 주권 제약 하의 디지털 대출 소득 추정을 위한 연합학습

FedIncome: Federated Learning for Income Estimation in Digital Lending Under Data Sovereignty Constraints

디지털 대출 신청에서는 검증된 소득 정보를 확인할 수 없는 경우가 많아, 대출 기관이 신고 소득에 의존하게 되고 이로 인해 과대 대출, 지나치게 보수적인 대출 조건 제시, 또는 상환 능력이 있는 신청자에 대한 거절로 이어질 수 있습니다. 기관 간 데이터 공유 제약은 학습 데이터가 제한적인 소규모 대출 기관에 이 문제를 특히 어렵게 만듭니다. 본 논문에서는 기관들이 원시 차입자 기록을 하나로 모으지 않고도 공유 모델을 학습할 수 있도록 하는 소득 추정용 연합학습(federated learning) 프레임워크인 FedIncome을 소개합니다. 100만 건 이상의 LendingClub 대출을 $50$개 주(state) 단위 클라이언트로 분할하여 이질적인 대출 컨소시엄을 시뮬레이션합니다. 최고 성능의 연합학습 모델은 시간 외(out-of-time) $R^2=0.608$을 달성하였으며, 이는 풀링(pooling)된 중앙집중식 벤치마크의 $0.619$와 비교됩니다. 소규모 표본 클라이언트는 풀링된 중앙집중식 벤치마크 대비 시간 외 $R^2$가 평균 $3.8$퍼센트포인트 향상되었으며, 적합된 클라이언트 수준 관계에 따르면 이 설정에서 경험적 교차점은 약 $4,790$개의 학습 관측치로 나타났습니다. 풀링이 불가능하고 적절한 대안이 로컬 전용 학습인 경우, 연합학습은 모든 표본 크기 그룹에서 시간 외 성능을 향상시키며, 데이터가 부족한 클라이언트에서 가장 큰 향상을 보입니다. 또한 연합학습으로 추정한 소득을 주(state) 및 소득별 부채상환비율(debt-to-income) 임계값과 결합하였습니다. 회고적 의사결정 분석에서 신고 소득을 연합학습 추정치로 대체하면, 관측된 부도율의 변화는 소폭에 그치면서 시뮬레이션된 승인율이 증가합니다. FedIncome은 풀링 학습 대비 전체적인 손실(loss)은 거의 없이, 로컬 전용 추정 대비로는 더 큰 향상을 제공하며 데이터 지역성 제약 하에서의 협력 학습을 지원합니다.

arXiv:2609.27354v1cs.SE공통 태그 Decision Making, Prediction

제약 기반 컨텍스트 엔지니어링: AI 시스템을 위한 도메인 인터페이스 설계

Constraint-Driven Context Engineering: Designing Domain Interfaces for AI Systems

생성형 AI 시스템은 도메인 문제를 해결하기 위해 점점 더 널리 배포되고 있다. 이러한 시스템은 해당 도메인에서 허용 가능한 AI 행동과 결과를 정의하는 기술적, 규제적, 기관적, 규범적 제약 하에서 동작한다. 우리는 산업 협력 과정에서 반복되는 패턴을 관찰했다. 파트너들은 종종 동작은 하지만 상대적으로 범용적인 AI 솔루션을 가지고 찾아온다. 과제는 더 이상 AI 시스템을 처음부터 구축하는 것이 아니라, AI가 생성한 솔루션의 품질과 도메인 적합성을 높이는 데 있다. 이러한 상황에서 병목은 종종 시스템에 제공되는 컨텍스트의 품질, 범위, 구조이다. 그러나 기존 컨텍스트 엔지니어링 접근법은 주로 검색(retrieval), 메모리(memory), 도구(tools)를 통해 도메인 지식을 공급하는 데 초점을 두며, 운영 환경에서 AI 시스템을 지배하는 제약을 체계적으로 식별하고 운영화하는 데 대한 지원은 제한적이다. 본 논문은 AI 시스템을 위한 도메인 인터페이스를 설계하기 위한 설계 접근법인 제약 기반 컨텍스트 엔지니어링(Constraint-Driven Context Engineering, CDCE)을 제안한다. 소프트웨어 아키텍처 설계와 도메인 주도 설계(Domain-Driven Design, DDD)에 기대어, CDCE는 도메인 제약을 1급 설계 동력으로 다룬다. 제약을 식별·특성화하고, 필요한 컨텍스트 자산을 결정하며, 이러한 자산이 AI 시스템에 제공되도록 하는 표현(representation)을 설계한다. 우리는 교육 평가, 의료 의사결정 지원, 재정적 어려움 예측 분야에서 산업 및 공공 부문 파트너와 비교 다중 사례 연구를 수행했다. 제약의 특성에 따라 AI 행동을 안내하거나, 허용 가능한 경계를 강제하거나, AI 생성 결과의 검증을 지원할 수 있다. 사례들은 대조적인 도메인 전반에서 CDCE의 적용 가능성을 보여 주며, 제약 특성이 최종 도메인 인터페이스를 어떻게 형성하는지를 보여 준다.

arXiv:2609.25388v1stat.ML공통 태그 Decision Making, Conformal Prediction

PICPIs: 예측 구간 조건부 예측 구간(Prediction-Interval-Conditional Prediction Intervals)

PICPIs: Prediction-Interval-Conditional Prediction Intervals

통계학의 고전적 질문 중 하나는, 관측 불가능한 대상에 대해 추론할 때 어떤 관측 가능한 양에 조건을 걸 것인가이다. 비모수적 불확실성 정량화에서 conformal prediction의 경우, 표준적인 주변(marginal) validity는 의사결정의 근거가 되는 예측값에서 제한된 해상도만 제공하며, 공변량(covariate)에 대한 완전 조건부 보장은 증명 가능하게 달성할 수 없다. 우리는 Prediction-Interval-Conditional Prediction Intervals(PICPIs)라 부르는 예측 기반 조건부화 프레임워크를 도입하여 이 공백을 메운다. 형식적으로 PICPI는 예측 모델 $p$, 맥락 공변량 $X$, 결과 $Y$에 대해 자기 일관성(self-consistency) 조건 $$\mathbb{E} [Y \mid p(X) \in I] \in I,$$를 만족하는 구간 $I$이다. 따라서 한 구간은 예측값의 층(stratum)을 동시에 정의하고, 그 층에서 결과의 평균이 동일한 구간 안에 있음을 보증한다. 이 자기 일관성 조건은 원래 예측을 바꾸지 않으면서 데이터 적응적(data-adaptive) 층을 만들어낸다. 이러한 구간은 실용적인 알고리즘으로 구성할 수 있다. 예측 분포의 regularity 하에서, 구성된 구간은 임의로 작은 비율을 제외한 모든 예측값을 덮으며, 너비는 대수(logarithmic) 인자와 예측 오차를 제외하면 $n^{-1/3}$ 비율로 감소한다. 더 나아가 이러한 지역적으로 보정(calibrated)된 구간을 식별하는 것은 하류 의사결정에 정보를 제공할 수 있다. 확률적 예측과 다중 클래스 분류에서 PICPI에 대한 추론 절차를 이론적 보장과 함께 유도한다. PICPIs를 기존 구간 기반 baseline과 비교한 실증 결과를 제시한다.

arXiv:2609.22497v1cs.AI공통 태그 Decision Making, Prediction

인공 숙의 군중의 지혜

The Wisdom of Artificial Deliberative Crowds

많은 비전문가 추정치의 집계는 종종 개별 전문가 판단을 능가하며, 이 현상은 군중의 지혜(wisdom of crowds)로 알려져 있다. 이는 보통 추정치의 독립성에 기인한다고 여겨지지만, 숙의(deliberation)를 통해 더 강한 효과가 나타난다. 소규모 숙의 집단의 합의 추정치를 평균내는 것은 고전적인 군중의 지혜를 능가하며, 숙의 이후 개별 판단 자체도 더 정확해진다. 이러한 개선이 대규모 언어 모델(LLM)이 서로 숙의할 때에도 이전되는지는 알려져 있지 않다. 여기서 우리는 이전에 인간 참가자 대상으로 사용된 3단계 숙의 패러다임을 세 가지 서로 다른 계열의 대규모 언어 모델에 맞게 조정하고, 현실적 이해관계가 점점 커지는 네 가지 영역에서 이를 검증한다: 시각적 수치 추정(Study 1), 기계학습 논문 동료 심사(Study 2), 인공지능 에이전트의 숨겨진 악의적 행동 탐지(Study 3), 실제 예측 시장과의 스포츠 예측(Study 4). 영역 전반에 걸쳐 숙의는 독립적 응답의 수동적 집계를 넘어 집단적 오류를 줄였고, 숙의 이후 개별 판단은 이러한 집단적 이득을 유지했다. 주목할 점은, 이 이점에는 모델 다양성이 필요했다는 것이다. 단일 모델의 클론들로 구성된 집단은 숙의로부터 이득을 얻지 못했다. 이러한 결과는 기계 숙의를 범용 집계 메커니즘으로 확립하며, 다양성을 핵심 요소로 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.