Will My Robot Achieve My Goals? Predicting the Probability that an MDP Policy Reaches a User-Specified Behavior Target
원문 초록
As an autonomous system performs a task, it should maintain a calibrated estimate of the probability that it will achieve the user's goal. If that probability falls below some desired level, it should alert the user so that appropriate interventions can be made. This paper considers settings where the user's goal is specified as a target interval for a real-valued performance summary, such as the cumulative reward, measured at a fixed horizon $H$. At each time $t \in \{0, \ldots, H-1\}$, our method produces a calibrated estimate of the probability that the final cumulative reward will fall within a user-specified target interval $[y^-,y^+].$ Using this estimate, the autonomous system can raise an alarm if the probability drops below a specified threshold. We compute the probability estimates by inverting conformal prediction. Our starting point is the Conformalized Quantile Regression (CQR) method of Romano et al., which applies split-conformal prediction to the results of quantile regression. CQR is not invertible, but by using the conditional cumulative distribution function (CDF) as the non-conformity measure, we show how to obtain an invertible modification that we call Probability-space Conformalized Quantile Regression (PCQR). Like CQR, PCQR produces well-calibrated conditional prediction intervals with finite-sample marginal guarantees. By inverting PCQR, we obtain guarantees for the probability that the cumulative reward of an autonomous system will fall below a threshold sampled from the marginal distribution of the response variable (i.e., a calibrated CDF estimate) that we employ to predict coverage probabilities for user-specified target intervals. Experiments on two domains confirm that these probabilities are well-calibrated.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
순차적 모델 학습에서의 롤링 컨포멀 예측
Rolling Conformal Prediction in Sequential Model Training
우리는 순차적 모델 학습(sequential model training) 환경을 위한 분포 무관(distribution-free) 예측 추론 방법인 롤링 컨포멀 예측(Rolling Conformal Prediction, rolling-CP)을 소개한다. 구체적으로, 데이터 스트림 $(X_1,Y_1),(X_2,Y_2),\dots$가 주어졌을 때, 각 시점 $n$에서 학습된 모델은 관측된 이력 $\{(X_i,Y_i)\}_{i<n}$에 의존할 수 있다. 이러한 설정은 대규모 데이터셋에 대한 단일 패스(one-pass) 학습, 그리고 배포 중 언어 모델의 지속적 미세조정 또는 테스트 시점 적응(test-time adaptation)을 포함한 현대의 순차적 학습에서 자연스럽게 나타난다. Rolling-CP는 먼저 새로 들어오는 각 관측값을 현재 예측기에 대해 보정(calibration)한 다음, 이를 이후의 학습에 편입시킨다(roll into). 이를 통해 데이터 분할이 필요하지 않게 된다. 놀랍게도, 시점 $n=1,2,\dots$의 모델들이 서로 완전히 다른 특성과 정확도 수준을 가질 수 있음에도 불구하고, 교환 가능(exchangeable) 데이터에 대해서는 안정성에 대한 어떠한 가정이나 모델 학습 과정에 대한 어떠한 제약 없이도 주변 커버리지(marginal coverage) 보장을 확립할 수 있으며, 이는 익숙한 보편적인 2배 인자 보장(목표 수준 $1-\alpha$ 대비 최악의 경우 $1-2\alpha$ 커버리지를 보장)의 형태를 띤다. i.i.d. 데이터 스트림의 경우, 시간에 대해 균등하게(uniformly) 성립하는 고확률 학습 조건부(training-conditional) 유효성을 추가로 증명하며, 안정성 조건 하에서는 커버리지 보장이 $1-\alpha$에 가까워지도록 더욱 정교해진다. 순차 회귀, 다중 클래스 SGD, 단일 패스 신경망 학습에 대한 수치 실험은 rolling-CP의 실용적 효과를 추가로 보여준다.
쌍별 분위수 회귀에 관하여 - 통계적 보장과 응용
On Pairwise Quantile Regression - Statistical Guarantees and Applications
분위수 회귀(quantile regression)는 공변량 $Z$에 대한 함수로 관심 있는 실수값 확률변수(r.v.) $Y$의 조건부 분포를 요약하는 강력한 도구를 제공하며, 이는 높은 확률로 큰 분산을 보이는 경우에 해당하고, 표준 최소제곱 회귀(least squares regression)가 정보적이거나 예측적으로 유용한 상황을 넘어선다. 본 논문은 이 방법론을 쌍별(pairwise) 설정으로 확장하는 것을 목표로 한다. 여기서 설명 대상 변수는 두 독립 관측치(예: 생체인식 시스템 입력으로 사용되는 픽셀화된 신분증 사진) 간의 유사도 점수이며, 설명 변수는 나이나 머리색과 같이 이러한 관측치에 부속된 공변량 쌍으로 구성된다. 우리는 이 통계적 학습(statistical learning) 문제의 해에 대한 이론적 보장을 확립한다. 여기서 이 문제는 핀볼 손실(pinball loss)의 쌍별 버전에 대한 경험적 최소화자(empirical minimizer)로 간주된다. $U$-과정($U$-process)에 대한 날카로운 집중(concentration) 결과를 활용하여 일반화 경계(generalization bound)를 증명하고, 빠른 학습률(fast learning rate)을 달성할 수 있는 완화된 조건을 확인한다. 확률론적 분석을 뒷받침하기 위해, 시뮬레이션 데이터 기반 실험 또한 쌍별 분위수 회귀를 위해 여기서 제안하는 방법론의 타당성에 대한 확실한 실증적 증거를 제공한다. 마지막으로, 얼굴 인식에서 유사도 점수 산출 오류를 분석하는 것을 목표로 한 상세 연구를 통해 응용 관점에서의 유용성을 입증한다.
조건부 분포의 유연한 추정을 위한 병렬 그래디언트 부스팅
Parallel gradient boosting for flexible estimation of conditional distributions
부스팅은 표준 분류 및 회귀 작업에서 가장 성공적인 학습 기법 중 하나이다. 다중 출력 예측 문제로의 확장은 최근 몇 년간 점점 더 많은 응용을 찾고 있다. 그중 하나는 단일 함수형량이 아닌 전체 조건부 분포의 예측이며, 이는 종종 다중 출력 회귀 문제로 표현될 수 있다. 예를 들어 다중 분위수 회귀(multiple quantile regression)가 그렇다. 이러한 문제를 부스팅의 고전적 구현으로 다루는 것은 계산적으로 어렵다. 왜냐하면 보통 매 반복마다 각 목표(target)마다 하나의 기저 모델을 학습하기 때문이다. 학습 속도를 높이기 위해 더 효율적인 부스팅 변형들이 제안되었지만, 이들은 특정 손실 함수와 기저 학습기(base learner) 클래스, 보통 의사결정 트리에 종속되는 경향이 있다. 본 연구에서는 이러한 한계를 모두 우회하도록 설계된, 그래디언트 부스팅 알고리즘의 수정 버전인 병렬 그래디언트 부스팅(parallel gradient boosting)을 연구한다. 핵심 아이디어는 모든 학습 관측치에 대해 공통의 하강 방향(descent direction)을 사용하는 것이다. 이를 통해 목표의 수와 관계없이 각 반복마다 하나의 기저 모델만 필요하므로 상당한 성능 향상을 얻을 수 있다. 본 연구는 알고리즘의 수렴에 대한 충분 조건을 확립하며, 다중 분위수 회귀 설정을 통해 실용적 사용을 소개한다. 이러한 설정에서 본 방법은 XGBoost와 같은 최신 부스팅 라이브러리와 유사한 품질의 예측을 제공하면서도 수량급으로 더 빠름을 보인다. 그다음, 우리는 결과적으로 얻어지는 조건부 분포 추정량의 성질을 평가하며, 이 추정량은 특히 고차원 설정과 혼합 및/또는 결측 공변량이 존재하는 경우 다른 비모수 및 준모수 추정량들보다 우수함이 경험적으로 입증된다.
사후 및 모델 내 불확실성을 반영한 학습 기반 확률적 부하 예측
Learning-based Probabilistic Load Forecasting with Post-hoc and In-model Uncertainty
스마트 빌딩 부하 예측기는 종종 조밀한 다변량 고빈도 데이터로 오프라인 학습되지만, 배포 시에는 시간당 단위의 특징이 제한된 입력만 제공될 수 있다. 누락된 특징은 재구성해야 하며, 그 오류는 모델을 통해 전파될 수 있다. 이 입력 불확실성이 반영되지 않으면 예측 구간이 부정확하게 보정되어 수요 반응(demand-response) 스케줄링에 영향을 미칠 수 있다. 본 연구는 추론 입력이 재구성된 이후 불확실성을 어디에 배치해야 하는지를 검토한다. 우리는 시간 해상도를 맞추고, 사용할 수 없는 입력을 재구성하며, 인과적 특징을 도출하는 통합 1일 선행 확률 예측 프레임워크를 개발하고, 모듈식 사후 잔차 분위수 방식과 통합 모델 내 분위수 학습 방식을 비교한다. 비교에는 세 가지 중규모 심층 학습(DL) 백본—순환형, 하이브리드 순환형, 어텐션 기반 시간 융합 트랜스포머(Temporal Fusion Transformer, TFT) 모델—이 동일한 입력, 예측 시계, 전처리 규칙, 학습 예산 하에서 사용된다. 결과는 불확실성 배치가 백본에 따라 달라짐을 보여준다. 통합 분위수 학습은 TFT에서 가장 신뢰할 만하며, 라벨이 있는 테스트 기간에서 2.2-3.6% MAPE와 28-83W RMSE를 달성하고, 명목 커버리지 수준에 가장 근접한 수준에서 모듈식 구간보다 약 5배 좁은 구간을 생성한다. Diebold-Mariano 검정은 TFT 순위와 순환형 백본의 혼합적 동작을 뒷받침한다. 재구성 민감도 테스트는 재구성된 입력이 분위수 점수(QS)를 106% 증가시키지만 구간 폭은 거의 변하지 않음을 보여주며, 이는 모델이 재구성으로 인한 불확실성을 자동으로 흡수하지 않음을 나타낸다. 비DL 기준선 및 계절별 홀드아웃 주차에 대한 견고성 검증은 이 순위를 뒷받침한다. 본 연구 결과는 추론이 재구성된 입력에 의존할 때 사후 잔차 분위수의 한계를 드러낸다.
강건한 베이즈 보조 등각 예측
Robust Bayes-Assisted Conformal Prediction
베이즈 보조 등각 예측(Bayes-assisted conformal prediction)은 베이즈 모델링의 강점과 정확하고 분포 무관한 빈도주의 커버리지 보장을 결합한다. 베이즈 작업 모델(BWM)이 잘못 지정되더라도 등각 유효성은 유지되지만, 사전 분포가 관측 데이터와 잘 정렬되지 않은 경우 결과 예측 집합의 크기가 크게 저하될 수 있다. 우리는 이 한계를 해결하기 위해 RoBAS(Robust Bayes-Assisted Shrinkage)를 도입한다: 강건한 비적합성 점수(nonconformity score)를 구성하기 위한 베이즈 보조 프레임워크로, 두 가지 구체화된 형태를 제공한다—두꺼운 꼬리 BWM에 의해 유도된 방식과 닫힌 형식의 경험적 베이즈 수축 점수. 결과 점수들은 사전 분포에 인코딩된 작업 정보의 품질에 적응한다: 해당 정보가 신뢰할 수 있을 때는 이를 활용하여 효율적인 예측 집합을 생성하고, 약하거나 부정확할 때는 강건한 비정보적 기준선인 평균까지의 거리(DTA) 점수로 복귀한다. 우리는 학습 분포가 보정 및 테스트 분포와 다를 수 있지만 보정 데이터와 테스트 데이터 자체는 교환 가능성을 유지하는 표 형식 및 이미지 회귀 작업에서 제안된 점수들을 평가한다. 분포 이동이 없는 경우에는 널리 사용되는 점수들과 경쟁력을 유지하면서, 분포 이동이 발생한 환경에서는 구간 너비를 크게 줄이는 것을 확인하였다.
지역 차분 프라이버시 기반 온라인 분위수 회귀: 추정과 추론
Locally Private Online Quantile Regression: Estimation and Inference
우리는 단일 보고 사용자 수준 ε-지역 차분 프라이버시(ε-LDP) 프로토콜 하에서 온라인 분위수 회귀(quantile regression)의 추정과 추론을 연구한다. 핵심 난제는 표준 분위수 회귀 추정 방정식의 기여가 공변량과 잔차 비교를 결합하기 때문에, 비공개화된 보고만 수신하는 서버가 일반적인 온라인 업데이트를 형성할 수 없다는 점이다. 우리는 각 사용자가 기여를 로컬에서 계산하고, 하나의 선택된 블록 범주에 지지 집합 인식 확률적 양자화와 랜덤화 응답(randomized response)을 적용한 후 단일 보고를 전송하는 유한 알파벳 채널을 개발하여 이를 해결한다. 공개 디코더는 랜덤화 응답 왜곡을 수정하고 올바른 조건부 평균을 갖는 서버 측 추정 방정식 입력을 재구성한다. 이렇게 디코딩된 입력은 투영된 Polyak-Ruppert 평균화에 사용된다. 고정된 유한 채널 설계에 대해, 우리는 지역 프라이버시, 디코더 불편성, 일관성, 점근 정규성, 그리고 사전 지정된 스칼라 대비에 대한 헤시안-프리 자기 정규화 추론을 확립한다. 시뮬레이션과 뉴욕시 택시 운행 데이터 예시는 프라이버시 예산이 증가함에 따라 프라이빗 궤적이 비프라이빗 온라인 기준에 근접하며, 보고된 체계에서 직접 라플라스 및 face-exponential 기하 방출보다 우수한 성능을 보임을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.