arXiv:2605.20740v2 cs.LG

LLM 회귀를 위한 예측 분포 기반 강화학습

Reinforcement Learning over Predictive Distributions for LLM Regression

Jungsoo Park, Hyungjoo Chae, Ethan Mendes, Jay DeYoung, Varsha Kishore, Wei Xu, Alan Ritter

제출 2026-05-20

저자 비고

arXiv Comments

27 pages, 7 figures

한국어 초록

대규모 언어 모델(LLM)은 이종(heterogeneous) 입력으로부터 실숫값 수량을 예측할 수 있는 유연한 회귀 모델로 부상했습니다. 그러나 대부분의 LLM 회귀 목적 함수는 예측을 독립적으로 최적화하므로 종종 보정(calibration) 성능이 떨어집니다. 본 논문에서는 동일한 입력에 대한 여러 예측으로 형성된 경험적 예측 분포를 공동으로 평가하는 온-정책(on-policy) 강화학습 목적 함수인 분포 인식 보상(Distribution-Aware Reward, DAR)을 소개합니다. 이러한 분포 수준의 목적 함수를 롤아웃(rollout) 수준의 보상으로 변환하기 위해, 전체 예측 분포의 품질에 대한 리브-원-아웃(leave-one-out) 기여도를 기반으로 각 예측에 신용을 할당합니다. 이는 타깃을 중심으로 잘 정렬되고 적절하게 분산된 예측을 유도합니다. 본 연구는 보간 및 외삽을 탐색하는 합성 태스크와 코드 및 분자 데이터를 포함하는 두 가지 실제 과학 태스크 등 세 가지 회귀 설정에서 평가를 수행합니다. 모든 태스크에 걸쳐 DAR은 지도 미세조정(supervised fine-tuning) 및 포인트와이즈 강화학습 대비 예측 오차를 지속적으로 줄이고 랭킹 품질을 향상시키는 동시에, 더 잘 보정된 불확실성 추정치를 생성합니다. 종합적으로 이러한 결과는 LLM 회귀를 위한 분포 인식 학습의 이점을 강조합니다.

원문 초록

Large language models (LLMs) have emerged as flexible regressors capable of predicting real-valued quantities from heterogeneous inputs. Yet most LLM regression objectives optimize predictions independently, often yielding poor calibration. We introduce Distribution-Aware Reward (DAR), an on-policy reinforcement learning objective that instead jointly evaluates the empirical predictive distribution formed by multiple predictions for the same input. To translate this distribution-level objective into rollout-level rewards, we assign each prediction credit based on its leave-one-out contribution to the quality of the overall predictive distribution. This encourages predictions that are well-centered and appropriately dispersed around the target. We evaluate on three regression settings: a synthetic task probing interpolation and extrapolation, and two real-world scientific tasks involving code and molecular data. Across tasks, DAR produces better-calibrated uncertainty estimates while consistently reducing prediction error and improving ranking quality over supervised fine-tuning and pointwise reinforcement learning. Together, these results highlight the benefits of distribution-aware training for LLM regression.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.20740v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13654v1cs.LG공통 태그 Uncertainty Quantification, calibration

TabReliBench: 예측 정확도를 넘어 정형 파운데이션 모델 평가하기

TabReliBench: Evaluating Tabular Foundation Models Beyond Predictive Accuracy

정형 파운데이션 모델(TFM)은 뛰어난 예측 성능으로 인해 점점 더 인기를 얻고 있습니다. 많은 TFM은 사후 예측 분포(PPD)도 제공하지만, 이에 대한 신뢰성은 상대적으로 덜 연구되었습니다. 본 연구에서는 점 예측(point prediction), 분포 품질, 한계(marginal) 및 하위 집단 보정(subgroup calibration), 구간 효율성을 통해 신뢰성을 평가합니다. 그런 다음 이러한 비교 및 데이터셋 수준 분석을 위한 대규모 분류(classification) 및 회귀 벤치마크인 TabReliBench를 소개합니다. 연구 결과, TabArena와 본 벤치마크 간에, 그리고 여러 신뢰성 지표에 걸쳐 TFM의 순위가 달라지는 것을 확인했습니다. 회귀 TFM은 대개 공칭에 가까운 한계 커버리지(nominal marginal coverage)를 달성하고 좁은 구간을 유지하지만, 이러한 우수한 한계 거동이 유효한 조건부 커버리지를 보장하지는 않습니다. 데이터셋 수준 분석에 따르면 분류 난이도가 높을수록 보정 성능이 저하되는 경우가 흔한 반면, 회귀 예측 성능은 보정 성능의 신뢰할 수 있는 지표가 되지 못합니다. 앙상블은 예측 성능을 향상시키지만 PPD의 보정을 일관되게 개선하지는 않으며, TFM은 적합성 사후 처리(conformal post-processing)로부터 얻는 이점이 거의 없어 하위 집단 간의 격차를 안정적으로 해결하지 못합니다. 따라서 신뢰할 수 있는 TFM을 선택하기 위해서는 단순한 종합 순위를 넘어 다차원적인 평가가 필요합니다. 코드는 https://github.com/Tianqi-Zhao/TabReliBench 에서 확인할 수 있습니다.

arXiv:2610.13821v1cs.CL공통 태그 Reinforcement Learning (RL), Uncertainty Quantification

언어 모델은 언제 답변을 보류해야 하는지 학습할 수 있는가? 정책 학습과 보정된 답변 선택

Can Language Models Learn When to Abstain? Policy Learning and Calibrated Answer Selection

유용한 언어 모델은 언제 답변해야 하고 언제 "모른다"고 말해야 하는지 알아야 한다. 모델 자체를 학습시키거나 모델의 답변을 검증하는 별도의 구성요소를 학습시킴으로써 이러한 결정을 개선할 수 있을까? 우리는 사실 기반 질문에 대해 Qwen3-14B를 대상으로 두 가지 접근법을 모두 연구하며, 정답에는 보상을 주고 오답에는 벌점을 부과하며 답변 보류를 허용하는 점수를 사용한다. 세 가지 학습 시드와 두 가지 held-out 신뢰도 임계값(confidence threshold)에 걸쳐, 학습된 답변 선택기(answer selector)는 원래 모델의 보정된 신뢰도 필터(calibrated confidence filter)보다 임계값 평균 유용성(threshold-averaged utility)을 향상시킨다. TriviaQA에서 평균 커버리지(coverage)는 20.2%에서 30.9%로 증가하며, exact-match 채점 기준으로 점수가 매겨진 답변 중 통합 오류율(pooled error rate)은 23.0%에서 14.5%로 감소한다. 테스트된 강화학습(RL) 변경들은 일관된 성능 향상을 보이지 않는다. NQ-Open에서는 선택기가 필터보다 임계값 평균 유용성을 향상시키지만, 여전히 항상 답변을 보류하는 것보다 성능이 낮다. 부분적인 사람 검토 기반 감사(human-reviewed audit)에서도 TriviaQA에서의 결과는 유지된다. 우리의 결과는 이러한 설정에서 답변 선택을 학습하는 것을 지지하는 동시에, 데이터셋 전반에 걸친 신뢰할 수 있는 답변 보류(abstention)는 여전히 해결되지 않은 문제임을 보여준다.

arXiv:2610.10829v1stat.ML공통 태그 Uncertainty Quantification, calibration

부분 검증 조건에서의 등각 예측

Conformal Prediction under Partial Verification

등각 예측(Conformal prediction)은 유한 표본 보장을 제공하는 예측 집합을 산출하지만, 캘리브레이션에 필요한 라벨 검증 비용은 매우 클 수 있습니다. 본 연구에서는 완전 검증과 정확히 동일한 예측 집합을 반환하는 부분 검증 기법을 개발합니다. 등각 임계값을 결정하기에 충분한 검증 정보인 캘리브레이션 인증서(calibration certificate)의 특성을 규명하고, 여러 캘리브레이션 예시 간의 검증을 조율하는 절차를 설계합니다. 높은 커버리지에서의 유한한 임계값에 대해, 후보군을 순서대로 확인할 때 본 방법의 검증 비용은 최소 인증서 비용의 2배 미만입니다. 검색, 수학 문제 풀이, 구성 평가 전반에서 이 방식은 동일한 예측 집합을 생성하면서도 캘리브레이션 예시를 하나씩 검증하는 방식 대비 검증 비용을 15~82% 절감합니다.

arXiv:2609.38005v2cs.AI공통 태그 Reinforcement Learning (RL), Uncertainty Quantification

대규모 언어 모델의 확률적 추론 진단 및 개선

Diagnosing and Improving Probabilistic Reasoning in Large Language Models

대규모 언어 모델(LLM)은 명시적인 의사결정 비용이 수반되는 상황에서 가용한 증거로부터 확률적으로 추론해야 하는 의사결정 보조 도구로 점차 제안되고 있습니다. 본 연구에서는 LLM의 의사결정 손실(decision loss)을 두 가지 요소, 즉 제공된 증거로부터 정확한 신념(belief)을 형성하는 것과 해당 신념을 제공된 효용 함수를 최적화하는 행동으로 변환하는 것으로 분해하는 의사결정론적 프레임워크를 제안합니다. 정답(ground truth)이 알려진 합성 벤치마크를 활용하여, 이러한 분해 기법을 적용해 프론티어 모델 및 오픈소스 모델의 확률적 추론을 분석합니다. 나아가 신념, 의사결정 또는 둘 모두를 목표로 하는 강화학습(RL) 개입이 세 가지 도메인에 걸쳐 이러한 구성 요소들을 개선하는지, 개선 사항이 구성 요소 및 유도 형식(elicitation format) 간에 전이되는지, 그리고 신념 형성의 개선 없이도 의사결정 성능이 향상될 수 있는지를 평가합니다. 그 결과, 확률적 추론의 한 가지 요소를 목표로 할 경우 의사결정 손실이 재분배되어 목표 대상은 개선되지만 다른 요소로 반드시 전이되지는 않는다는 점을 발견했습니다. 또한 신념 형성과 의사결정을 공동으로 목표로 삼으면 두 요소 모두 개선되지만, 이는 학습(training)과 평가 간의 형식이 일치하는지에 달려 있음을 확인했습니다.

arXiv:2609.34024v2cs.AI공통 태그 Uncertainty Quantification, calibration

의학 분야에서의 Jev: 벤치마크 평가

Jev in Medicine: A Benchmark Evaluation

Jev는 미리 정의된 답변 선택지에 확률을 부여하며 해당 선택지 외에는 답변할 수 없는 비생성형(non-generative) '시스템 1(System One)' 모델입니다. 의학 질의응답 및 사례 기반 진단 추론 과제에서 이 모델의 정확도와 캘리브레이션(calibration)은 아직 알려지지 않았습니다. 본 연구에서는 MetaMedQA, PubMedQA, DiagnosisArena-MCQ, 그리고 NEJM Case Challenges 등 네 가지 의학 벤치마크에서 Jev 1.13을 평가했습니다. (중간 수준의) 추론 기능이 적용된 경우와 적용되지 않은 GPT-6 Sol을 기준 모델로 삼았습니다. 1차 평가 지표는 Top-1 정확도였으며, 주요 2차 평가 지표는 캘리브레이션, 선택적 예측(selective prediction), 답변 불가능한 질문의 인식이었습니다. 총 8,469건의 모든 요청에서 유효한 답변이 반환되었습니다. Jev의 정확도는 PubMedQA에서는 중간 수준 추론을 사용한 GPT-6 Sol과 유사했으나(78.4% 대 78.2%), MetaMedQA에서는 더 낮았고(74.8% 대 82.7%), DiagnosisArena-MCQ(59.8% 대 82.4%)와 NEJM 사례(61.8% 대 82.4%)에서는 훨씬 낮았습니다. MetaMedQA에서 Jev의 확률값은 가장 잘 캘리브레이션되었으며(기대 캘리브레이션 오차 0.063 대 0.146), 확률이 0.9 이상인 답변(전체 질문의 52.9%)의 정확도는 93.4%였으나, GPT-6 Sol 역시 비슷한 비율의 질문을 수용했을 때 동등한 수준의 정확도를 보였습니다. DiagnosisArena-MCQ에서 Jev의 확률값은 판별 능력이 떨어졌습니다(AUROC 0.645 대 0.768). 정답이 '모르거나 답변할 수 없음'인 162개 질문 중 Jev는 10.5%에서 해당 선택지를 선택했습니다(GPT-6 Sol은 8.6%). 중앙값 지연 시간은 0.27~0.31초였으며, 2,823개 전체 항목의 비용은 0.08달러였습니다. Jev는 빠르고 저렴하며, 연구 논문 초록에 대해서는 프론티어 대규모 언어 모델(LLM)과 유사한 정확도를 보였으나 시험 문제에서는 더 낮았고 복잡한 진단 사례에서는 훨씬 낮았습니다. 임상에 적용하기 전에는 과제별 검증이 필수적입니다.

arXiv:2610.01006v1cs.AI공통 태그 Uncertainty Quantification, calibration

답변 신뢰도를 넘어서: 블랙박스 의사결정 모델의 자기 지식에 대한 통제된 감사

Beyond Answer Confidence: A Controlled Audit of Self-Knowledge in a Black-Box Decision Model

의사결정 모델(decision model)은 라우팅, 기권, 자동화된 조치를 목적으로 확률을 반환합니다. 캘리브레이션(calibration)은 이러한 확률을 평균적으로 유용하게 만들지만, 낮은 신뢰도가 단순 우연을 반영하는지 혹은 결측된 지식을 반영하는지, 그리고 모델이 자신이 아는 범위를 벗어날 때 신뢰도가 떨어지는지는 규명하지 못합니다. 본 연구에서는 고정된 항목에 제공되는 정보를 변화시키는 쌍체 개입을 활용하여, 15개 이상의 공개 데이터셋과 6개의 생성된 태스크 패밀리를 통해 의사결정 모델인 Jev에서 이러한 차이를 감사(audit)합니다. Jev의 신뢰도는 익숙한 폐쇄형 선택 태스크에서는 잘 보정(calibrated)되지만, 결측된 지식을 나타내는 지표로서는 실패합니다. 답변 관련 정보가 전혀 없는 경우에도 두드러진 선택지에 최대 0.80을 할당하며, 관찰된 지식 경계를 벗어난 뉴스에서는 정확도보다 0.21~0.33 높은 값을 보여 이전 달의 데이터로 재보정해도 이 격차는 좁혀지지 않습니다. 타깃팅된 예/아니오 질문은 해당 사례에 대해 더 명확한 판독 결과를 제공합니다. 결과가 확정되었는지 여부(AUROC 1.00) 및 증거가 충분한지 여부(동일 항목의 신뢰도 0.85 대비 0.95)를 더 잘 포착합니다. Jev에게 답을 알고 있는지 묻는 방식은 조작된 개체와 지식 경계 이후의 뉴스를 식별(0.91)하는 것처럼 보이지만, 현실적인 이름이 주어지거나 날짜가 제거되면 답변 불확실성 대비 아무런 이점을 보이지 않습니다. 따라서 블랙박스 지식 감사에는 표면적 단서에 대한 명시적인 통제가 필요합니다. 코드: https://github.com/Syntheme/beyond-answer-confidence.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.