ummc.edu.my

이 이메일 도메인이 관측된 논문 1건

arXiv:2606.20740v1cs.CL

VeriBound: 형식 검증 도구로 학습한 프로세스 보상 모델의 PAC-Bayesian 일반화 경계

VeriBound: PAC-Bayesian Generalization Bounds for Process Reward Models Trained with Formal Verification Tools

프로세스 보상 모델(PRM)은 대규모 언어 모델(LLM) 추론에 대한 단계 수준 검증을 제공하지만, 학습 데이터 확보는 여전히 병목이다. 사람 어노테이션은 비용이 많이 들고 Monte Carlo rollout 추정은 노이즈가 많다. 최근 접근법인 FOVER는 Z3, Isabelle 등 형식 검증(formal verification) 도구로 자동 어노테이션된 단계 수준 오류 레이블로 PRM을 학습하고, 기호(symbolic) 과제에서 다양한 추론 벤치마크로의 과제 간 일반화를 경험적으로 관찰했다. 그러나 이러한 일반화 현상에 대한 이론적 설명은 없으며, 이러한 PRM의 일반화 오류, 표본 복잡도(sample complexity), 수렴 속도, 또는 downstream Best-of-K 성능에 대한 공식적 경계도 존재하지 않는다. 우리는 형식 검증 도구로 학습된 PRM에 대한 PAC-Bayesian 일반화 경계를 제공하는 이론적 프레임워크인 VeriBound를 제안한다. 우리는 네 가지 주요 결과를 확립한다: (i) 형식 검증으로 어노테이션된 학습 데이터上的 경험적 검증 오류를 보지 못한 추론 과제上的 기대 오류와 연결하는 PAC-Bayesian 일반화 경계로, 이 경계는 형식 검증 정확도와 학습·테스트 과제 분포 간 발산(divergence)에 의존한다; (ii) PRM 가설 클래스의 복잡도 $d$에 대해 일반화 오류 $ε$를 확률 $1-δ$로 달성하기 위해 $O(d \log(d/δ) / ε^2)$개의 형식 검증 어노테이션 예시면 충분하다는 표본 복잡도 결과; (iii) $L$-smoothness 및 분산 유계(bounded variance) 조건 하에서 형식 검증 레이블로 PRM 학습이 선형 속도로 수렴함을 증명하는 수렴 분석; (iv) 단계 수준 검증 오류를 Best-of-K 성능 저하와 연결하는 오류 전파 경계.