arXiv:2610.01001v1 cs.AI

제어된 월드 모델 적응을 위한 보정 위험 기반 라우팅

Calibration-risk routing for controlled world-model adaptation

Yifan Zhang, Liang Zheng

제출 2026-10-01

한국어 초록

모델 기반 강화학습(MBRL)은 시뮬레이션된 경험을 활용할 수 있지만, 시뮬레이터와 타깃 간의 분포 변화(shift)로 인해 모델 선택 문제가 발생합니다. 제한된 타깃 데이터 환경에서는 시뮬레이터를 보정하는 방식과 타깃에 직접 적합(fitting)시키는 방식 모두 실패할 수 있습니다. 본 논문에서는 초기 타깃 데이터를 서로 겹치지 않는 적합, 선택, 보정(calibration) 분할로 나누고 표준화된 보정 위험이 더 낮은 모델 패밀리를 배포하는 모델 보정 월드 모델(MC-WM)을 소개합니다. 학습된 신뢰도 신호와 결정론적 유효성 술어(predicate)는 물리적 보상을 다시 작성하지 않고도 1단계 가상 정책 업데이트에 가중치를 부여합니다. 우리는 제어된 세 가지 MuJoCo(Multi-Joint dynamics with Contact) 변화 전반에 걸쳐 보고된 540개의 고유 실행 셀을 평가했으며, 배포 전 아티팩트 게이트를 거친 후 정확한 라우팅 셀 하나를 재실행하여 총 541개의 완료된 실행을 얻었습니다.

원문 초록

Model-based reinforcement learning (MBRL) can exploit simulated experience, but a simulator-to-target shift creates a model-selection problem: correcting the simulator and fitting the target directly can each fail under limited target data. We introduce the Model-Corrected World Model (MC-WM), which separates initial target data into disjoint fit, selection, and calibration partitions and deploys the family with lower standardized calibration risk. A learned confidence signal and deterministic validity predicates weight one-step imagined policy updates without rewriting physical rewards. We evaluate 540 unique reported run cells across three controlled Multi-Joint dynamics with Contact (MuJoCo) shifts; one exact-routing cell was repeated after a pre-deployment artifact gate, giving 541 completed executions.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01001v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13654v1cs.LG공통 태그 Uncertainty Quantification, Model Selection

TabReliBench: 예측 정확도를 넘어 정형 파운데이션 모델 평가하기

TabReliBench: Evaluating Tabular Foundation Models Beyond Predictive Accuracy

정형 파운데이션 모델(TFM)은 뛰어난 예측 성능으로 인해 점점 더 인기를 얻고 있습니다. 많은 TFM은 사후 예측 분포(PPD)도 제공하지만, 이에 대한 신뢰성은 상대적으로 덜 연구되었습니다. 본 연구에서는 점 예측(point prediction), 분포 품질, 한계(marginal) 및 하위 집단 보정(subgroup calibration), 구간 효율성을 통해 신뢰성을 평가합니다. 그런 다음 이러한 비교 및 데이터셋 수준 분석을 위한 대규모 분류(classification) 및 회귀 벤치마크인 TabReliBench를 소개합니다. 연구 결과, TabArena와 본 벤치마크 간에, 그리고 여러 신뢰성 지표에 걸쳐 TFM의 순위가 달라지는 것을 확인했습니다. 회귀 TFM은 대개 공칭에 가까운 한계 커버리지(nominal marginal coverage)를 달성하고 좁은 구간을 유지하지만, 이러한 우수한 한계 거동이 유효한 조건부 커버리지를 보장하지는 않습니다. 데이터셋 수준 분석에 따르면 분류 난이도가 높을수록 보정 성능이 저하되는 경우가 흔한 반면, 회귀 예측 성능은 보정 성능의 신뢰할 수 있는 지표가 되지 못합니다. 앙상블은 예측 성능을 향상시키지만 PPD의 보정을 일관되게 개선하지는 않으며, TFM은 적합성 사후 처리(conformal post-processing)로부터 얻는 이점이 거의 없어 하위 집단 간의 격차를 안정적으로 해결하지 못합니다. 따라서 신뢰할 수 있는 TFM을 선택하기 위해서는 단순한 종합 순위를 넘어 다차원적인 평가가 필요합니다. 코드는 https://github.com/Tianqi-Zhao/TabReliBench 에서 확인할 수 있습니다.

arXiv:2610.02487v1cs.LG공통 태그 Uncertainty Quantification, Model Selection

임계값 인지 컨포멀 라우팅

Threshold-Aware Conformal Routing

고충실도 시뮬레이션은 과학 및 공학 설계에 필수적이지만 반복 실행 비용이 많이 들 수 있습니다. 학습된 대리 모델(surrogate)은 더 빠른 대안을 제공하지만, 상대적으로 높은 오차로 인해 다운스트림 의사결정이 바뀔 수 있습니다. 이러한 정확도와 속도 간의 절충으로 인해 대리 모델을 사용할 수 있는지, 아니면 완전한 시뮬레이터가 여전히 필요한지를 결정해야 하는 문제가 발생합니다. 본 연구에서는 관심 대상인 스칼라 수량이 고정된 임계값(threshold)의 상위 또는 하위에 위치하는지에 따라 결정되는 의사결정을 연구합니다. 각 입력에 대해 대리 모델의 컨포멀 구간(conformal interval)이 임계값의 한쪽에 완전히 위치할 때는 대리 모델을 사용하고, 구간이 임계값과 교차할 때는 입력을 시뮬레이션으로 라우팅합니다. 표준 컨포멀 예측은 다운스트림 의사결정 임계값을 고려하지 않고 구간을 구성합니다. 즉, 임계값 근처의 좁은 구간이라도 임계값을 가로질러 시뮬레이션을 트리거할 수 있는 반면, 멀리 떨어진 더 넓은 구간은 한쪽에 완전히 머물러 시뮬레이션을 요구하지 않을 수 있습니다. 이에 의사결정 경계 근처에 구간의 조밀함을 집중시키는 임계값 인지 목적 함수를 사용하여 입력 의존적 스케일을 학습하는 임계값 인지 컨포멀 라우팅(TACR)을 제안합니다. 홀드아웃 데이터에 대한 정확한 분할 컨포멀 보정(split-conformal calibration)은 분포 무관 한계 커버리지(distribution-free marginal coverage)를 보존하며, 이는 라우팅되지 않은 잘못된 임계값 결정 확률의 상한선 역할도 수행합니다. 다양한 과학 및 공학 데이터셋에서 TACR은 동일한 목표 커버리지에서 표준 컨포멀 예측 대비 시뮬레이터 위임(deferral)을 14-75% 감소시킵니다. 임계값 국소 가중치를 적용하지 않았으나 유사한 예측 정확도를 지닌 변형 모델과 비교했을 때, TACR은 4개 데이터셋에서 위임을 10-24% 추가로 줄입니다. 이러한 결과는 라우팅을 위한 구간 할당을 최적화함으로써 표준 컨포멀 보장을 약화시키지 않으면서도 시뮬레이터 호출을 줄일 수 있음을 보여줍니다.

arXiv:2610.02695v1cs.LG공통 태그 Uncertainty Quantification, Domain Adaptation

대규모 언어 모델(LLM) 추론을 위한 테스트 시점 캘리브레이션 학습

Test-time Calibration Learning for Large Language Model Reasoning

신뢰할 수 있는 대규모 언어 모델(LLM)은 정확한 답변을 생성하는 것뿐만 아니라, 정답일 확률을 충실히 반영하는 신뢰도(confidence)를 표현해야 한다. 이러한 캘리브레이션(calibration)은 불확실한 예측을 식별하고 실제 배포 환경에서의 신뢰할 수 있는 의사결정을 지원하는 데 필수적이다. 최근 연구들은 캘리브레이션 학습을 강화학습에 결합하여, 정답 여부에 대한 정답(ground-truth) 정확성 감독(supervision)을 이용해 답변 정확성과 언어로 표현된 신뢰도(verbalized confidence)를 공동으로 최적화한다. 그러나 이러한 접근법은 레이블이 있는 데이터에 의존하기 때문에, 정답 레이블을 사용할 수 없고 캘리브레이션이 새롭게 접하는 목표 과제(target task)에 적응해야 하는 실제 테스트 시점(test-time) 환경에서의 적용 가능성이 제한된다. 이러한 문제를 해결하기 위해, 우리는 레이블이 없는 목표 과제 데이터에서 직접 추론 정확도와 언어로 표현된 신뢰도를 공동으로 적응시키는 레이블-프리(label-free) 프레임워크인 테스트 시점 캘리브레이션 학습(Test-Time Calibration Learning, TTCL)을 제안한다. 구체적으로, TTCL은 다수의 모델 생성 응답으로부터 정답 여부와 캘리브레이션 모두에 대한 자기 감독(self-supervision) 신호를 도출하여, 정답 레이블 없이도 테스트 시점에서의 캘리브레이션 학습을 가능하게 한다. 이론적 분석을 통해 TTCL이 이상적인 캘리브레이션 목적함수에 대한 경계가 있는(bounded) 대체 목표(surrogate)임을 추가로 입증한다. 수학적 추론과 사실 기반 질의응답(factual question answering)에 대한 광범위한 실험을 통해, TTCL이 다양한 모델과 과제에서 정확도와 캘리브레이션을 일관되게 향상시킨다는 것을 보인다. 기본 모델(base model)에서 TTCL은 8개의 벤치마크에서 평균 상대 정확도 개선 +40.13%와 ECE(Expected Calibration Error) 감소 +70.80%를 달성한다. 더불어 TTCL은 이미 캘리브레이션된 모델에 대해서도 도메인 변화(domain shift) 상황에서 정확도와 캘리브레이션을 더욱 개선할 수 있으며, 특히 소스 도메인(source-domain)의 캘리브레이션이 목표 과제로 잘 전이되지 않는 경우에 효과적이다. 수학-사실 기반 질의응답(math-to-factQA) 설정에서 TTCL은 평균 상대 정확도 향상 +20.35%를 달성하고 ECE를 +53.83% 감소시킨다. 소스 코드는 https://github.com/tmlr-group/TTCL 에서 공개되어 있다.

arXiv:2609.40134v2cs.RO공통 태그 Uncertainty Quantification, Continuous Control

촉각적 호기심을 통한 로봇 상호작용 유도

Tactile Curiosity Drives Robot Interaction

강화학습(RL)을 통해 로봇 조작 기술을 습득하는 것은 여전히 표본 효율성(sample efficiency)이 크게 떨어집니다. 가장 일반적인 강화학습 알고리즘은 새로운 전략을 발견하기 위해 무작위 행동 샘플링에 의존하므로, 조작 기술이 발현되는 접촉과는 거리가 먼 자유 공간에서의 움직임에 학습 예산의 대부분을 할당하게 됩니다. 모델 불일치나 인식론적 불확실성(epistemic uncertainty)에 기반한 기존 내재적 동기 부여 방법들은 등방성 노이즈보다 개선되었으나, 자유 공간에서의 불규칙한 움직임과 같이 기능적으로 무관한 전이의 불확실성에 대해서도 보상을 제공할 수 있습니다. 본 연구에서는 촉각 피드백이 탐험을 위한 자연스러운 신호를 제공한다고 주장하며, 감각 양식(sensory modalities) 전반에 걸쳐 모델 불확실성을 분해하고 호기심을 촉각 채널로 유도함으로써 촉각을 인식론적 불확실성 기반 탐험에 통합하는 프레임워크인 TacEx를 소개합니다. TacEx는 호기심을 촉각에 고정함으로써 로봇이 복잡한 접촉 동역학을 발견하도록 유도하여, 탐험 과정에서 과제 보상이나 전문가 시연 없이도 물체를 조작하고 파지(grasping)하는 법을 학습하도록 합니다. 이러한 촉각 주도형 호기심을 통해 수집된 상호작용 밀집 데이터셋은 추가적인 환경 상호작용 없이도 다운스트림 집기 및 놓기(pick-and-place) 정책의 오프라인 학습을 지원합니다. 나아가 우리는 촉각 주도형 탐험을 활용하여 비전-언어-행동(VLA) 모델을 사후 학습합니다. VLA는 초기에 촉각 피드백 없이 사전학습되었음에도 불구하고, TacEx를 통한 사후 학습은 매우 높은 표본 효율성을 유지하면서 다운스트림 성능을 실질적으로 향상시킵니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.