arXiv:2610.19148v3 cs.AI

검증 가능한 보상을 활용한 프로그램 학습: 전문가 추적 기록을 프로그램으로 증류하기

Program Learning with Verifiable Rewards: Distilling Expert Traces into Programs

Vishvesh Bhat, Muhammad Ahmed Mohsin, Asad Aali

제출 2026-11-13

한국어 초록

소형 언어 모델은 다단계 절차를 따라야 하는 도구 사용 과제에서 어려움을 겪는다. 이러한 실패가 제한된 능력을 반영하는지, 아니면 절차적 지식의 부재를 반영하는지는 여전히 불분명하다. 본 논문은 모델 가중치를 갱신하지 않고 전문가 추적 기록을 재사용 가능한 프로그램으로 증류하는 검증 가능한 보상 기반 프로그램 학습(Program Learning with Verifiable Rewards, PLVR)을 제안한다. 최첨단 모델이 추적 기록에서 반복되는 연산을 타입이 지정된 기본 요소(primitive)와 규칙으로 변환하고, 탐색 과정이 참조 행동과 학습 과제 검사를 이용해 이들을 조립한다. 동결된 소형 모델이 기본 요소를 실행하며, 결정적 검증기가 그 출력을 확인한다. 이렇게 얻은 프로그램은 학생 모델의 추론을 안내하거나 학생 모델이 제안한 행동을 검사한다. 합성 학습 과제와 보지 못한 벤치마크 테스트 과제를 사용하여, 동일한 프로그램을 여러 학생 모델에 적용해 $\tau^2$-Bench Retail 및 Telecom과 LiveMCPBench에서 평가한다. Telecom에서 PLVR은 8B 모델의 성공률을 43.0%에서 91.2%로 높였으며, 더 큰 학생 모델은 최대 94.4%에 도달한 반면 최고 기준선은 57.9%였다. Retail과 LiveMCPBench에서 PLVR은 최고 기준선들과 대등한 성능을 보이지만, 도구 탐색은 여전히 학생 모델에 더 크게 의존한다. 이러한 결과는 추가적인 추론 연산을 더 신뢰할 수 있는 도구 사용과 맞바꾸어, 동결된 모델들 사이에서 전문가의 절차를 전이하는 방법으로서 프로그램 학습을 뒷받침한다.

원문 초록

Small language models struggle with tool-use tasks that require following multi-step procedures. Whether these failures reflect limited capability or missing procedural knowledge remains unclear. We introduce Program Learning with Verifiable Rewards (PLVR), which distils expert traces into reusable programs without updating model weights. Frontier models turn recurring operations in the traces into typed primitives and rules, and search assembles them using reference actions and training-task checks. A small frozen model executes the primitives, with deterministic verifiers checking their outputs. The resulting program guides a student's reasoning or checks its proposed actions. We evaluate the same program across students on $\tau^2$-Bench Retail and Telecom and LiveMCPBench, using synthetic training tasks and unseen benchmark test tasks. On Telecom, PLVR raises an 8B model's success rate from 43.0% to 91.2%, while larger students reach up to 94.4%, compared with 57.9% for the best baseline. On Retail and LiveMCPBench, PLVR is competitive with the best baselines, although tool search remains more dependent on the student model. These results support program learning as a way to transfer expert procedures across frozen models, trading additional inference computation for more reliable tool use.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.19148v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.