arXiv:2304.03778

Conformal Regression in Calorie Prediction for Team Jumbo-Visma

Kristian van Kuijk, Mark Dirksen, Christof Seiler

제출 2023-04-06

원문 초록

UCI WorldTour races, the premier men's elite road cycling tour, are grueling events that put physical fitness and endurance of riders to the test. The coaches of Team Jumbo-Visma have long been responsible for predicting the energy needs of each rider of the Dutch team for every race on the calendar. Those must be estimated to ensure riders have the energy and resources necessary to maintain a high level of performance throughout a race. This task, however, is both time-consuming and challenging, as it requires precise estimates of race speed and power output. Traditionally, the approach to predicting energy needs has relied on judgement and experience of coaches, but this method has its limitations and often leads to inaccurate predictions. In this paper, we propose a new, more effective approach to predicting energy needs for cycling races. By predicting the speed and power with regression models, we provide the coaches with calorie needs estimates for each individual rider per stage instantly. In addition, we compare methods to quantify uncertainty using conformal prediction. The empirical analysis of the jackknife+, jackknife-minmax, jackknife-minmax-after-bootstrap, CV+, CV-minmax, conformalized quantile regression, and inductive conformal prediction methods in conformal prediction reveals that all methods achieve valid prediction intervals. All but minmax-based methods also produce sufficiently narrow prediction intervals for decision-making. Furthermore, methods computing prediction intervals of fixed size produce tighter intervals for low significance values. Among the methods computing intervals of varying length across the input space, inductive conformal prediction computes narrower prediction intervals at larger significance level.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02487v1cs.LG공통 태그 Decision Making, Conformal Prediction

임계값 인지 컨포멀 라우팅

Threshold-Aware Conformal Routing

고충실도 시뮬레이션은 과학 및 공학 설계에 필수적이지만 반복 실행 비용이 많이 들 수 있습니다. 학습된 대리 모델(surrogate)은 더 빠른 대안을 제공하지만, 상대적으로 높은 오차로 인해 다운스트림 의사결정이 바뀔 수 있습니다. 이러한 정확도와 속도 간의 절충으로 인해 대리 모델을 사용할 수 있는지, 아니면 완전한 시뮬레이터가 여전히 필요한지를 결정해야 하는 문제가 발생합니다. 본 연구에서는 관심 대상인 스칼라 수량이 고정된 임계값(threshold)의 상위 또는 하위에 위치하는지에 따라 결정되는 의사결정을 연구합니다. 각 입력에 대해 대리 모델의 컨포멀 구간(conformal interval)이 임계값의 한쪽에 완전히 위치할 때는 대리 모델을 사용하고, 구간이 임계값과 교차할 때는 입력을 시뮬레이션으로 라우팅합니다. 표준 컨포멀 예측은 다운스트림 의사결정 임계값을 고려하지 않고 구간을 구성합니다. 즉, 임계값 근처의 좁은 구간이라도 임계값을 가로질러 시뮬레이션을 트리거할 수 있는 반면, 멀리 떨어진 더 넓은 구간은 한쪽에 완전히 머물러 시뮬레이션을 요구하지 않을 수 있습니다. 이에 의사결정 경계 근처에 구간의 조밀함을 집중시키는 임계값 인지 목적 함수를 사용하여 입력 의존적 스케일을 학습하는 임계값 인지 컨포멀 라우팅(TACR)을 제안합니다. 홀드아웃 데이터에 대한 정확한 분할 컨포멀 보정(split-conformal calibration)은 분포 무관 한계 커버리지(distribution-free marginal coverage)를 보존하며, 이는 라우팅되지 않은 잘못된 임계값 결정 확률의 상한선 역할도 수행합니다. 다양한 과학 및 공학 데이터셋에서 TACR은 동일한 목표 커버리지에서 표준 컨포멀 예측 대비 시뮬레이터 위임(deferral)을 14-75% 감소시킵니다. 임계값 국소 가중치를 적용하지 않았으나 유사한 예측 정확도를 지닌 변형 모델과 비교했을 때, TACR은 4개 데이터셋에서 위임을 10-24% 추가로 줄입니다. 이러한 결과는 라우팅을 위한 구간 할당을 최적화함으로써 표준 컨포멀 보장을 약화시키지 않으면서도 시뮬레이터 호출을 줄일 수 있음을 보여줍니다.

arXiv:2610.01231v1cs.CY공통 태그 Decision Making, Prediction

Jev 시대의 판단: 평가 희소성에서 평가 풍요로

Judgement in the Age of Jev: From Evaluation Scarcity to Evaluation Abundance

생성형 인공지능이 그럴듯한 기호적 인공물(symbolic artefact)의 생성 비용을 낮춤에 따라, 최근 조직학 연구에서는 생산 풍요의 조건 하에서 평가와 식별을 제약 요인으로 주목해 왔다. 본 연구는 여기서 한 걸음 더 나아가, 기계 평가 자체가 일상적이면서도 대규모로 배포될 수 있을 만큼 저렴해지는 또 다른 가능성을 검토한다. 이 조사는 타입화된 확률적 의사결정을 위한 TypeSafe AI의 특화 모델(model)인 Jev에서 촉발되었다. TypeSafe는 윌리엄 스탠리 제번스(William Stanley Jevons)를 명시적으로 인용하며, 더 저렴해진 기계 지능이 이전에는 비경제적이었던 활용처를 열어젖힐 수 있다고 주장한다. 본 논문은 이를 확립된 실증적 결과라기보다는 기술적 도발로 다루며, 기계 평가에 대한 조건부 제번스 역설 가설을 수립한다. 즉, 잠재 수요가 상당하고 보완적 비용이 지배적이지 않은 경우, 활용 가능한 기계 평가의 총 한계 비용이 충분히 크게 감소하면 조직 내 소비가 증가할 수 있다는 것이다. 본 논문은 이러한 잠재적 희소성 전환을 조사하기 위해 반등 효과 경제학과 저비용 예측, 생산 풍요, 기계 평가, 의사결정 배분, 권한, 의존성 및 경영 판단(Executive Judgement)에 관한 연구를 통합한다. 또한 예측, 기계 평가, 조직적 판단, 권한 부여를 비용이 반드시 함께 하락하지는 않는 기능적 활동으로 구분한다. 평가는 증거, 기준, 오류를 공유할 수 있고, 잘못 명시된 루브릭을 확장할 수 있으며, 중대한 단서 조항이 사라진 표현을 기반으로 작동할 수 있고, 임계값과 예외 라우팅을 통해 실질적인 의사결정 권한을 변화시킬 수 있다. 이에 따른 연구 과제는 저렴한 기계 평가가 언제 인간의 평가 업무를 대체하는지, 언제 판단에 대한 수요를 재분배하거나 새로 창출하는지, 그리고 중대한 조직적 의사결정 시점에 활용 가능한 근거에 어떤 영향을 미치는지 규명하는 것이다.

arXiv:2609.27654v1stat.ML공통 태그 Decision Making, Prediction

FedIncome: 데이터 주권 제약 하의 디지털 대출 소득 추정을 위한 연합학습

FedIncome: Federated Learning for Income Estimation in Digital Lending Under Data Sovereignty Constraints

디지털 대출 신청에서는 검증된 소득 정보를 확인할 수 없는 경우가 많아, 대출 기관이 신고 소득에 의존하게 되고 이로 인해 과대 대출, 지나치게 보수적인 대출 조건 제시, 또는 상환 능력이 있는 신청자에 대한 거절로 이어질 수 있습니다. 기관 간 데이터 공유 제약은 학습 데이터가 제한적인 소규모 대출 기관에 이 문제를 특히 어렵게 만듭니다. 본 논문에서는 기관들이 원시 차입자 기록을 하나로 모으지 않고도 공유 모델을 학습할 수 있도록 하는 소득 추정용 연합학습(federated learning) 프레임워크인 FedIncome을 소개합니다. 100만 건 이상의 LendingClub 대출을 $50$개 주(state) 단위 클라이언트로 분할하여 이질적인 대출 컨소시엄을 시뮬레이션합니다. 최고 성능의 연합학습 모델은 시간 외(out-of-time) $R^2=0.608$을 달성하였으며, 이는 풀링(pooling)된 중앙집중식 벤치마크의 $0.619$와 비교됩니다. 소규모 표본 클라이언트는 풀링된 중앙집중식 벤치마크 대비 시간 외 $R^2$가 평균 $3.8$퍼센트포인트 향상되었으며, 적합된 클라이언트 수준 관계에 따르면 이 설정에서 경험적 교차점은 약 $4,790$개의 학습 관측치로 나타났습니다. 풀링이 불가능하고 적절한 대안이 로컬 전용 학습인 경우, 연합학습은 모든 표본 크기 그룹에서 시간 외 성능을 향상시키며, 데이터가 부족한 클라이언트에서 가장 큰 향상을 보입니다. 또한 연합학습으로 추정한 소득을 주(state) 및 소득별 부채상환비율(debt-to-income) 임계값과 결합하였습니다. 회고적 의사결정 분석에서 신고 소득을 연합학습 추정치로 대체하면, 관측된 부도율의 변화는 소폭에 그치면서 시뮬레이션된 승인율이 증가합니다. FedIncome은 풀링 학습 대비 전체적인 손실(loss)은 거의 없이, 로컬 전용 추정 대비로는 더 큰 향상을 제공하며 데이터 지역성 제약 하에서의 협력 학습을 지원합니다.

arXiv:2609.27354v1cs.SE공통 태그 Decision Making, Prediction

제약 기반 컨텍스트 엔지니어링: AI 시스템을 위한 도메인 인터페이스 설계

Constraint-Driven Context Engineering: Designing Domain Interfaces for AI Systems

생성형 AI 시스템은 도메인 문제를 해결하기 위해 점점 더 널리 배포되고 있다. 이러한 시스템은 해당 도메인에서 허용 가능한 AI 행동과 결과를 정의하는 기술적, 규제적, 기관적, 규범적 제약 하에서 동작한다. 우리는 산업 협력 과정에서 반복되는 패턴을 관찰했다. 파트너들은 종종 동작은 하지만 상대적으로 범용적인 AI 솔루션을 가지고 찾아온다. 과제는 더 이상 AI 시스템을 처음부터 구축하는 것이 아니라, AI가 생성한 솔루션의 품질과 도메인 적합성을 높이는 데 있다. 이러한 상황에서 병목은 종종 시스템에 제공되는 컨텍스트의 품질, 범위, 구조이다. 그러나 기존 컨텍스트 엔지니어링 접근법은 주로 검색(retrieval), 메모리(memory), 도구(tools)를 통해 도메인 지식을 공급하는 데 초점을 두며, 운영 환경에서 AI 시스템을 지배하는 제약을 체계적으로 식별하고 운영화하는 데 대한 지원은 제한적이다. 본 논문은 AI 시스템을 위한 도메인 인터페이스를 설계하기 위한 설계 접근법인 제약 기반 컨텍스트 엔지니어링(Constraint-Driven Context Engineering, CDCE)을 제안한다. 소프트웨어 아키텍처 설계와 도메인 주도 설계(Domain-Driven Design, DDD)에 기대어, CDCE는 도메인 제약을 1급 설계 동력으로 다룬다. 제약을 식별·특성화하고, 필요한 컨텍스트 자산을 결정하며, 이러한 자산이 AI 시스템에 제공되도록 하는 표현(representation)을 설계한다. 우리는 교육 평가, 의료 의사결정 지원, 재정적 어려움 예측 분야에서 산업 및 공공 부문 파트너와 비교 다중 사례 연구를 수행했다. 제약의 특성에 따라 AI 행동을 안내하거나, 허용 가능한 경계를 강제하거나, AI 생성 결과의 검증을 지원할 수 있다. 사례들은 대조적인 도메인 전반에서 CDCE의 적용 가능성을 보여 주며, 제약 특성이 최종 도메인 인터페이스를 어떻게 형성하는지를 보여 준다.

arXiv:2609.25388v1stat.ML공통 태그 Decision Making, Conformal Prediction

PICPIs: 예측 구간 조건부 예측 구간(Prediction-Interval-Conditional Prediction Intervals)

PICPIs: Prediction-Interval-Conditional Prediction Intervals

통계학의 고전적 질문 중 하나는, 관측 불가능한 대상에 대해 추론할 때 어떤 관측 가능한 양에 조건을 걸 것인가이다. 비모수적 불확실성 정량화에서 conformal prediction의 경우, 표준적인 주변(marginal) validity는 의사결정의 근거가 되는 예측값에서 제한된 해상도만 제공하며, 공변량(covariate)에 대한 완전 조건부 보장은 증명 가능하게 달성할 수 없다. 우리는 Prediction-Interval-Conditional Prediction Intervals(PICPIs)라 부르는 예측 기반 조건부화 프레임워크를 도입하여 이 공백을 메운다. 형식적으로 PICPI는 예측 모델 $p$, 맥락 공변량 $X$, 결과 $Y$에 대해 자기 일관성(self-consistency) 조건 $$\mathbb{E} [Y \mid p(X) \in I] \in I,$$를 만족하는 구간 $I$이다. 따라서 한 구간은 예측값의 층(stratum)을 동시에 정의하고, 그 층에서 결과의 평균이 동일한 구간 안에 있음을 보증한다. 이 자기 일관성 조건은 원래 예측을 바꾸지 않으면서 데이터 적응적(data-adaptive) 층을 만들어낸다. 이러한 구간은 실용적인 알고리즘으로 구성할 수 있다. 예측 분포의 regularity 하에서, 구성된 구간은 임의로 작은 비율을 제외한 모든 예측값을 덮으며, 너비는 대수(logarithmic) 인자와 예측 오차를 제외하면 $n^{-1/3}$ 비율로 감소한다. 더 나아가 이러한 지역적으로 보정(calibrated)된 구간을 식별하는 것은 하류 의사결정에 정보를 제공할 수 있다. 확률적 예측과 다중 클래스 분류에서 PICPI에 대한 추론 절차를 이론적 보장과 함께 유도한다. PICPIs를 기존 구간 기반 baseline과 비교한 실증 결과를 제시한다.

arXiv:2609.15727v2cs.AI공통 태그 Decision Making, Prediction

LLM은 훌륭한 금융 사용자 시뮬레이터인가? 다중 관점 투자자 논리 정렬(MILA)

Are LLMs Good Financial User Simulators? Multi-view Investor Logic Alignment (MILA)

대규모 언어 모델(LLM)이 사용자 시뮬레이터로 점점 더 많이 활용되고 있지만, 모델의 예측이 개별 사용자의 변화하는 의사결정을 충실히 재현하는지는 여전히 불분명합니다. 본 연구에서는 80명의 참가자를 대상으로 한 통제된 종단적 모의투자 연구를 통해 이 질문을 조사하며, 롤링 익일 예측 프로토콜에 따라 사용자 상호작용, 모의 거래, 가상 포트폴리오 상태, 시점별 시장 정보를 정렬합니다. 거래 발생 여부부터 행동 구조, 자산 선택, 다운스트림 포트폴리오 결과에 이르기까지 행동 충실도를 계층적으로 평가합니다. 정렬된 1,239건의 사용자-일(user-days) 전반에 걸쳐, 평가 대상이 된 어떤 LLM도 사용자의 거래 여부를 예측하는 데 있어 단순한 최근 활동 지속성 기준선(baseline)을 안정적으로 능가하지 못했습니다. 더 미세한 수준에서는 충실도가 더욱 악화됩니다. 모델들은 매수-매도 구조와 거래된 자산을 복원하는 데 어려움을 겪으며, 유사한 활동 수준 예측이라 하더라도 상당히 다른 포트폴리오 궤적으로 이어질 수 있습니다. 통제된 증거 어블레이션 분석에 따르면 최근 거래 내역이 활동 예측을 강하게 지배하는 반면, 자산 선택은 활용 가능한 증거에 실질적으로 훨씬 더 민감한 것으로 나타났습니다. 관찰 분석에서는 특정 티커(ticker)에 대한 집중적인 조사가 임박한 거래를 예측하지만, 진단 테스트 결과 인과적 해석은 지지되지 않는 것으로 나타났습니다. 이러한 결과는 현재의 LLM이 유용한 단기 행동 규칙성을 포착하지만, 아직 안정적인 개인 의사결정 메커니즘을 복원하지는 못하고 있음을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.