Conformal Off-Policy Evaluation in Markov Decision Processes
원문 초록
Reinforcement Learning aims at identifying and evaluating efficient control policies from data. In many real-world applications, the learner is not allowed to experiment and cannot gather data in an online manner (this is the case when experimenting is expensive, risky or unethical). For such applications, the reward of a given policy (the target policy) must be estimated using historical data gathered under a different policy (the behavior policy). Most methods for this learning task, referred to as Off-Policy Evaluation (OPE), do not come with accuracy and certainty guarantees. We present a novel OPE method based on Conformal Prediction that outputs an interval containing the true reward of the target policy with a prescribed level of certainty. The main challenge in OPE stems from the distribution shift due to the discrepancies between the target and the behavior policies. We propose and empirically evaluate different ways to deal with this shift. Some of these methods yield conformalized intervals with reduced length compared to existing approaches, while maintaining the same certainty level.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PERRY: 보조 데이터를 활용한 신뢰 구간 기반 정책 평가
PERRY: Policy Evaluation with Confidence Intervals using Auxiliary Data
오프-정책 평가(OPE) 방법은 새로운 강화학습(RL) 정책의 가치를 배포 전에 추정합니다. 최근 연구에 따르면 생성 모델이 합성한 데이터셋과 같은 보조 데이터셋을 활용하면 OPE 방법의 정확도를 향상시킬 수 있습니다. 그러나 이러한 보조 데이터셋에는 편향이 존재할 수 있으며, OPE 내에서 데이터 증강을 활용하는 기존 방법들은 원칙적인 불확실성 정량화가 부족합니다. 의료와 같은 고위험 도메인에서는 RL 정책의 안전하고 충분한 정보에 기반한 배포를 보장하기 위해 신뢰할 수 있는 불확실성 추정이 중요합니다. 본 연구에서는 데이터 증강을 활용한 OPE에 대해 유효한 신뢰 구간을 구성하는 두 가지 방법을 제안합니다. 첫 번째 방법은 초기 상태 $s$에 조건부 정책 가치인 $V^π(s)$에 대한 신뢰 구간을 제공합니다. 이를 위해 연속 상태 공간을 갖는 마르코프 결정 과정(MDP)에 적합한 새로운 등각 예측(conformal prediction) 방법을 도입하여 기존 연구를 고차원 설정으로 확장합니다. 두 번째로, 모든 초기 상태에 걸친 평균 정책 성능 $V^π$를 추정하는 보다 일반적인 과제를 다루며, 이중 강건 추정(doubly robust estimation)과 예측 기반 추론(prediction powered inference)의 아이디어를 활용한 방법을 소개합니다. 재고 관리, 로보틱스, 의료 시뮬레이터 및 MIMIC-IV의 실제 의료 데이터셋을 포괄하는 다양한 시뮬레이터에서, 우리의 방법이 보조 데이터를 효과적으로 활용하고 기존에 제안된 방법들과 달리 실제 정책 가치를 포함하는 신뢰 구간을 일관되게 생성함을 확인했습니다. 본 연구는 OPE가 고위험 도메인에 대해 엄밀한 불확실성 추정을 제공할 수 있는 미래를 가능하게 합니다.
CertDW: Conformal Calibration을 통한 인증된 데이터셋 소유권 검증
CertDW: Towards Certified Dataset Ownership Verification via Conformal Calibration
심층 신경망(DNN)은 ImageNet과 같은 고품질 오픈소스 데이터셋에 크게 의존하여 성공을 거두므로, 공개 데이터셋 저작권 보호를 위해 데이터셋 소유권 검증(DOV)이 중요하다. 본 논문에서는 기존 DOV 방법들이 (암묵적으로) 검증 과정이 충실하다고 가정한다고 밝힌다. 즉, 의심 모델이 검증 샘플을 입력으로 직접 사용하고 그 결과를 반환하여 소유권을 검증한다는 전제이다. 그러나 이 가정은 실제로 반드시 성립하지 않을 수 있으며, 의도적 또는 비의도적 교란에 노출되면 성능이 급격히 저하될 수 있다. 이 한계를 해결하기 위해, 우리는 첫 번째 인증된 데이터셋 워터마크(즉 CertDW)와 CertDW 기반 인증된 데이터셋 소유권 검증 방법을 제안한다. 이 방법은 특정 조건(예: 제한된 픽셀 수준 교란) 하에서 악의적 공격에도 신뢰할 수 있는 검증을 보장한다. 구체적으로, 컨포멀 예측(conformal prediction)에서 영감을 받아, 노이즈 교란 하에서 정상 샘플과 워터마크 샘플에 대한 모델 예측 안정성을 평가하기 위해 주요 확률(principal probability, PP)과 워터마크 견고성(watermark robustness, WR)이라는 두 가지 통계적 척도를 도입한다. 우리는 WR을 PP 기반 보정 임계값과 연결하는 증명 가능한 인증 조건, 그리고 false positive rate에 대한 높은 확률 상한을 도출하여, 의심 모델의 WR 값이 워터마크 없는 데이터셋으로 학습된 여러 정상 모델의 PP 값을 유의미하게 초과할 때 소유권 검증을 가능하게 한다. WR보다 작은 PP 값의 개수가 컨포멀 보정을 통해 결정된 임계값을 초과하면, 의심 모델이 보호된 데이터셋으로 학습된 것으로 간주한다. 벤치마크 데이터셋에 대한 광범위한 실험은 CertDW 방법의 효과와 잠재적 적응형(adaptive) 공격에 대한 저항력을 검증한다. 코드는 \href{https://github.com/NcepuQiaoTing/CertDW}{GitHub}에 있다.
From Uncertain to Safe: Conformal Adaptation of Diffusion Models for Safe PDE Control
TIP-Search: Time-Predictable Inference Scheduling for Market Prediction under Uncertain Load
대규모 언어 모델에서 진실의 트릴레마
The Trilemma of Truth in Large Language Models
일반 대중은 대규모 언어 모델(LLM)에 인간과 유사한 특성을 부여하며, LLM이 특정 정보를 '알고' 있다고 가정하는 경우가 많다. 실제로 LLM은 학습 중 보존된 정보를 내부적 확률적 지식으로 인코딩한다. 본 연구는 해당 지식의 진위를 탐칭(probing)하는 기존 방법들을 검토하고, 세 가지 결함 있는 근본 가정을 밝힌다. 이러한 결함을 해결하기 위해, 다중 인스턴스 학습(MIL)과 conformal prediction을 결합한 다중 클래스 탐칭 프레임워크인 sAwMIL(Sparse-Aware Multiple-Instance Learning)을 제안한다. sAwMIL은 LLM의 내부 표현(representation)을 활용하여 진술을 참, 거짓, 또는 둘 다 아님으로 분류한다. 우리는 새롭게 구축한 세 개의 데이터셋을 사용하여, 기본형 및 채팅 기반 변형을 포함한 16개의 오픈소스 LLM에 대해 sAwMIL을 평가한다. 결과는 (1) 일반적인 탐칭 방법은 신뢰할 수 있고 전이 가능한(transferable) 진위 방향을 제공하지 못하며, 일부 설정에서는 제로샷(zero-shot) 프롬프팅(prompting)보다 성능이 낮음을, (2) 진실과 거짓은 대칭적으로 인코딩되지 않음을, (3) LLM이 참과 거짓 모두와 구별되는 제3의 유형의 신호를 인코딩함을 보여준다.
Response Quality Assessment for Retrieval-Augmented Generation via Conditional Conformal Factuality
토론
이 논문과 연결된 포럼 글이 아직 없습니다.