한국어 초록
로봇 보상 모델(RRM)은 파운데이션 모델을 사용하여 과제별 보상 설계를 재사용 가능한 과제 조건부 평가로 대체한다. 그러나 하나의 이름 아래에서도 그 출력은 과제가 성공했는지부터 어느 실행이 더 나은지까지 서로 다른 질문에 답한다. 이 서베이는 114개 방법을 고유 출력이 답하는 질문에 따라 결과, 절대 진행도, 상대, 시간적 가치, 혼합의 다섯 가지 의미 계열로 정리한다. 이 분류 체계 안에서 모델 설계가 평가자가 판단할 수 있는 것을 어떻게 결정하는지, 원시 경험이 어떻게 지도 신호가 되는지, 기존 평가 관행이 그 결과를 어떻게 검증하는지 검토한다. 이 검토는 한 가지 공백을 드러낸다. 시연 순서와의 일치도와 하위 정책의 성능 향상은 보상이 과제 달성을 추적하는지 여부를 보여 주지 못한다. 이에 우리는 과제 상태와 카메라 증거 레이블이 붙은 폐루프 실행의 실제 로봇 영상 1,117개로 구성된 RRM-Bench-1K와, 인정되는 조건을 통상적인 단서와 분리하는 네 가지 대조 스위트를 도입한다. 27개 평가자에 대한 통합 연구는 가장 강한 최종 점수가 선택과 필터링에 충분할 만큼 전체 실행의 순위를 잘 매김을 보여 준다. 그러나 밀집 크레딧은 과제 상태보다 실행의 진행을 더 가깝게 따르며, 결정적인 시점이 없을 때 이를 알리는 평가자는 없다. 따라서 보상 모델에 필요한 충실도는 그것이 이끄는 결정에 달려 있다. 우리는 실제 실패 지도 신호에서부터 과제 상태와 시간 순서를 분리하는 지표에 이르는 방향을 제시하고, 기존 RRM 14개를 바로 적용하고 새로운 평가자를 동일한 역량에 대해 시험할 수 있는 도구상자인 RRM-Hub를 오픈소스로 공개한다.
원문 초록
Robotic reward models (RRMs) use foundation models to replace per-task reward engineering with reusable, task-conditioned evaluation. Yet under one name, their outputs answer different questions, from whether a task succeeded to which execution is better. This survey organizes 114 methods into five semantic families by the question their native outputs answer: Outcome, Absolute Progress, Relative, Temporal Value, and Hybrid. Within this taxonomy, we review how model design determines what an evaluator can judge, how raw experience becomes supervision, and how existing evaluation practice tests the result. The review exposes a gap: agreement with demonstration order and downstream policy gains do not show whether a reward tracks task fulfillment. We therefore introduce RRM-Bench-1K, 1,117 real-robot videos of closed-loop executions with task-state and camera-evidence labels, and four contrast suites that separate the credited condition from its usual cues. A unified study of 27 evaluators shows that the strongest final scores rank whole executions well enough for selection and filtering. Dense credit, however, follows the progression of an execution more closely than its task state, and no evaluator signals when the decisive view is missing. How much fidelity a reward model needs therefore depends on the decision it drives. We outline directions from real-failure supervision to metrics that separate task state from chronology, and open-source RRM-Hub, a toolbox in which 14 existing RRMs can be readily applied and new evaluators tested on the same capabilities.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Project page: https://ethanliang99.github.io/awesome-robot-reward-model