Diverse Randomized Value Functions: A Provably Pessimistic Approach for Offline Reinforcement Learning
원문 초록
Offline Reinforcement Learning (RL) faces distributional shift and unreliable value estimation, especially for out-of-distribution (OOD) actions. To address this, existing uncertainty-based methods penalize the value function with uncertainty quantification and demand numerous ensemble networks, posing computational challenges and suboptimal outcomes. In this paper, we introduce a novel strategy employing diverse randomized value functions to estimate the posterior distribution of $Q$-values. It provides robust uncertainty quantification and estimates lower confidence bounds (LCB) of $Q$-values. By applying moderate value penalties for OOD actions, our method fosters a provably pessimistic approach. We also emphasize on diversity within randomized value functions and enhance efficiency by introducing a diversity regularization method, reducing the requisite number of networks. These modules lead to reliable value estimation and efficient policy learning from offline data. Theoretical analysis shows that our method recovers the provably efficient LCB-penalty under linear MDP assumptions. Extensive empirical results also demonstrate that our proposed method significantly outperforms baseline methods in terms of performance and parametric efficiency.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
언어 모델은 언제 답변을 보류해야 하는지 학습할 수 있는가? 정책 학습과 보정된 답변 선택
Can Language Models Learn When to Abstain? Policy Learning and Calibrated Answer Selection
유용한 언어 모델은 언제 답변해야 하고 언제 "모른다"고 말해야 하는지 알아야 한다. 모델 자체를 학습시키거나 모델의 답변을 검증하는 별도의 구성요소를 학습시킴으로써 이러한 결정을 개선할 수 있을까? 우리는 사실 기반 질문에 대해 Qwen3-14B를 대상으로 두 가지 접근법을 모두 연구하며, 정답에는 보상을 주고 오답에는 벌점을 부과하며 답변 보류를 허용하는 점수를 사용한다. 세 가지 학습 시드와 두 가지 held-out 신뢰도 임계값(confidence threshold)에 걸쳐, 학습된 답변 선택기(answer selector)는 원래 모델의 보정된 신뢰도 필터(calibrated confidence filter)보다 임계값 평균 유용성(threshold-averaged utility)을 향상시킨다. TriviaQA에서 평균 커버리지(coverage)는 20.2%에서 30.9%로 증가하며, exact-match 채점 기준으로 점수가 매겨진 답변 중 통합 오류율(pooled error rate)은 23.0%에서 14.5%로 감소한다. 테스트된 강화학습(RL) 변경들은 일관된 성능 향상을 보이지 않는다. NQ-Open에서는 선택기가 필터보다 임계값 평균 유용성을 향상시키지만, 여전히 항상 답변을 보류하는 것보다 성능이 낮다. 부분적인 사람 검토 기반 감사(human-reviewed audit)에서도 TriviaQA에서의 결과는 유지된다. 우리의 결과는 이러한 설정에서 답변 선택을 학습하는 것을 지지하는 동시에, 데이터셋 전반에 걸친 신뢰할 수 있는 답변 보류(abstention)는 여전히 해결되지 않은 문제임을 보여준다.
누구의 정답인가? 인간 중심 AI에서 모호성의 수용
Whose Ground Truth? Embracing Ambiguity in Human-Centered AI
AI 시스템이 점차 사람과 상호작용하고 사람에 관한 결정을 내리게 됨에 따라, 인간의 해석을 이해하는 것은 인간 중심 AI(Human-Centered AI) 개발에서 중요한 부분이 되고 있습니다. 기존의 머신러닝 및 AI 시스템은 단 하나의 명확한 정답(ground truth)이 존재한다는 가정하에 주로 개발되어 왔으며, 인간의 어노테이션(annotation) 편차는 집계를 통해 해결되거나 노이즈로 처리되곤 했습니다. 그러나 많은 인간 중심 과제에서 인간의 해석은 본질적으로 모호하며, 동일한 입력에 대한 여러 해석이 동시에 타당하고 유효할 수 있습니다. 이러한 모호성을 단일 타깃으로 축소하는 것은 인간의 인식, 판단 및 경험의 다양성에 대한 유의미한 정보를 간과할 위험이 있습니다. 본 포지션 논문(position paper)에서는 유의미한 모호성과 어노테이션 노이즈를 구별하면서, 타당한 인간 판단의 해석 공간을 모델링하는 방향으로의 전환을 촉구합니다. 우리는 이러한 관점이 AI 시스템의 표현, 학습(training), 평가(evaluation), 배포 및 거버넌스 방식을 이끌어야 하며, 인간 해석의 다양성을 더 잘 반영하는 보다 인간 중심적인 AI를 뒷받침해야 한다고 주장합니다.
RLVR에서 해법 모드 붕괴의 측정 및 완화
Measuring and Mitigating Solution Mode Collapse in RLVR
언어 모델(LM)은 대개 동일한 질문에 대해 여러 방식으로 답할 수 있지만, 검증 가능한 보상을 활용한 강화학습(RLVR)은 모델이 어떤 정답을 생성하든 개의치 않습니다. 익숙한 답의 1,000번째 복사본이든 모델이 이전에 한 번도 생성한 적 없는 답이든, 정답인 해법은 동일한 보상을 받게 됩니다. 그러나 모델이 학습(training)되면서 여러 올바른 해법을 유지하도록 하는 것에는 잠재적인 가치가 있습니다. 예를 들어, 다중 모드(mode)는 사용자에게 선택권을 제공하고 전반적인 모델 성능을 향상시키는 문제 해결 전략을 제공할 수 있습니다. 본 논문에서는 검증기(verifier)가 정확도와 발견된 모드를 모두 반환하는 다중 해법 작업 벤치마크인 ModeBench를 소개합니다. 그런 다음 ModeBench를 사용하여 RLVR 사후 학습(post-training) 과정에서 해법의 다양성이 어떻게 변화하는지 측정합니다. 그 결과, 정확도가 유지되거나 향상되더라도 RLVR 사후 학습은 더 적은 수의 정답 모드로 확률을 집중시키며, 나아가 최신 프론티어(frontier) 모델들은 이미 고도로 집중되어 있음을 발견했습니다. 이에 따라 발견된 모드당 검증된 예시 하나를 리플레이 버퍼(replay buffer)에 저장하고 저장된 모드들을 균등하게 학습하는 해법인 Re:Max를 제안합니다. 따라서 한 번 발견된 해법도 반복해서 발견된 해법만큼 자주 연습됩니다. 세 가지 모델 스케일, 두 가지 RL 목적 함수, 그리고 더 어려운 작업 구성 전반에 걸쳐, 리플레이는 정책(policy)의 성공 빈도뿐만 아니라 성공할 수 있는 서로 다른 방식의 다양성 또한 개선함을 확인했습니다.
대규모 언어 모델의 확률적 추론 진단 및 개선
Diagnosing and Improving Probabilistic Reasoning in Large Language Models
대규모 언어 모델(LLM)은 명시적인 의사결정 비용이 수반되는 상황에서 가용한 증거로부터 확률적으로 추론해야 하는 의사결정 보조 도구로 점차 제안되고 있습니다. 본 연구에서는 LLM의 의사결정 손실(decision loss)을 두 가지 요소, 즉 제공된 증거로부터 정확한 신념(belief)을 형성하는 것과 해당 신념을 제공된 효용 함수를 최적화하는 행동으로 변환하는 것으로 분해하는 의사결정론적 프레임워크를 제안합니다. 정답(ground truth)이 알려진 합성 벤치마크를 활용하여, 이러한 분해 기법을 적용해 프론티어 모델 및 오픈소스 모델의 확률적 추론을 분석합니다. 나아가 신념, 의사결정 또는 둘 모두를 목표로 하는 강화학습(RL) 개입이 세 가지 도메인에 걸쳐 이러한 구성 요소들을 개선하는지, 개선 사항이 구성 요소 및 유도 형식(elicitation format) 간에 전이되는지, 그리고 신념 형성의 개선 없이도 의사결정 성능이 향상될 수 있는지를 평가합니다. 그 결과, 확률적 추론의 한 가지 요소를 목표로 할 경우 의사결정 손실이 재분배되어 목표 대상은 개선되지만 다른 요소로 반드시 전이되지는 않는다는 점을 발견했습니다. 또한 신념 형성과 의사결정을 공동으로 목표로 삼으면 두 요소 모두 개선되지만, 이는 학습(training)과 평가 간의 형식이 일치하는지에 달려 있음을 확인했습니다.
비용 효율적 공간 전사체학을 위한 능동적 스팟 선택 벤치마킹
Benchmarking Active Spot Selection for Cost-Efficient Spatial Transcriptomics
공간 전사체학(spatial transcriptomics, ST)은 조직 맥락에서 유전자 발현을 측정하지만, 촘촘한 캡처 그리드는 비용이 많이 들 수 있으며 형태학적으로 유사한 영역을 반복적으로 샘플링할 수 있다. 대부분의 능동 학습(active learning) 전략은 범주형 레이블과 독립 표본을 위해 개발되었다. 우리는 발현 벡터가 고차원·연속이고 후보들이 공간적으로 상관된 ST에서, 균일 Random 샘플링 대비 능동 학습에 대한 후향적 pool 기반 벤치마크를 수행한다. 완전 프로파일링된 공개 ST 코호트 두 개를 사용해 후보 발현 벡터를 마스킹하고, 불확실성 기반 Monte Carlo 드롭아웃(MC-dropout) 및 temporal output discrepancy(TOD), 다양성 기반 CoreSet 및 TypiClust 영감 선택으로 다회차 선택을 시뮬레이션한다. 환자 수준 교차 검증 하에서 fold 전체 학습 spot 풀의 5%, 10%, 30%, 50%에서 160개의 완료된 구성을 비교하며, 별도의 전체 레이블 기준(reference)을 둔다. 각 예산 내에서 전략들은 선택 일정, 형태-발현 예측기, 최적화 프로토콜을 공유한다. 슬라이드 내 유전자별 평균 Pearson 상관계수(PCC), 발현 클러스터 일치, Moran's I 충실도를 평가한다. HER2 양성 유방암에서 네 가지 능동 전략의 Random 대비 pooled mean PCC 차이는 5%, 10%, 30%, 50%에서 각각 -0.0176, -0.0117, +0.0056, +0.0057이었다. 피부 편평세포암(cutaneous squamous cell carcinoma, cSCC)에서는 5%에서 세 전략이 Random보다 낮았고, 10%에서는 네 전략 모두 Random보다 낮았다. HER2 양성 유방암에서 CoreSet과 MC-dropout은 가장 작은 두 예산에서 Random보다 PCC는 낮지만 발현 클러스터 일치는 더 높았으며, 이 패턴은 cSCC에서는 재현되지 않았다. 보고된 고정 학습 horizon 하에서, 평가된 능동 전략들은 작은 예산에서 Random을 일관되게 개선하지 않으며, 순위는 평가 지표에 따라 달라진다.
Imitation Learning for Sentence Generation with Dilated Convolutions Using Adversarial Training
토론
이 논문과 연결된 포럼 글이 아직 없습니다.