VERITAS: 제로샷 형식적 정리 증명을 위한 검증기-안내 증명 탐색
VERITAS: Verifier-Guided Proof Search for Zero-Shot Formal Theorem Proving
한국어 초록
LLM 기반 형식적 증명기들은 종종 풍부한 검증기 신호(구문 오류, 타입 불일치, 부분적인 목표 진척)를 이진 통과/실패 비트로 단순화합니다. 본 논문에서는 모든 검증기 신호를 2단계 프로토콜을 통해 증명 탐색으로 다시 전달하는 제로샷 프레임워크인 VERITAS를 제안합니다: 먼저 Best-of-N 샘플링을 수행하고, 이어서 1단계 실패를 명시적 부정 예제로 활용하는 비평자(critic)-안내 MCTS(몬테카를로 트리 탐색) 단계를 거칩니다. 이 프로토콜은 자체 1단계 스윕(sweep)에서 해결된 모든 정리를 보존하므로, 2단계의 추가 해결은 피드백 기반 탐험에 기인한 것으로 볼 수 있습니다. VERITAS는 miniF2F에서 40.6%를 달성했으며(독립 실행된 Best-of-5는 36.9%, Portfolio는 26.2%), 우리가 공개하는 55개 정리의 조합론 벤치마크인 VERITAS-CombiBench에서 7.3%를 기록했습니다. 이 벤치마크에서 Best-of-5(1.8%)는 Portfolio(3.6%)보다 낮은 성능을 보이며, 올바른 보조정리(lemma) 이름을 검증기 피드백으로부터 반복적으로 복구해야 하는 경우 안내되지 않은 샘플링이 성능을 저해한다는 사실을 보여줍니다. 아티팩트는 GitHub에서 확인할 수 있습니다.
원문 초록
LLM-based formal provers often collapse rich verifier signals (syntax errors, type mismatches, partial goal progress) into a binary pass/fail bit. We present VERITAS, a zero-shot framework that routes every verifier signal back into proof search through a two-phase protocol: Best-of-N sampling first, then a critic-guided MCTS pass that ingests Phase 1 failures as explicit negative examples. The protocol preserves every theorem solved by its own Phase 1 sweep, so Phase 2's additional solves are attributable to feedback-driven exploration. VERITAS reaches 40.6% on miniF2F (vs. an independently run Best-of-5 at 36.9%, Portfolio 26.2%) and 7.3% on VERITAS-CombiBench, a 55-theorem combinatorics benchmark we release on which Best-of-5 (1.8%) falls below Portfolio (3.6%), exposing that unguided sampling hurts when correct lemma names must be recovered iteratively from verifier feedback. Artifacts are available on GitHub.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19399v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update for Large Language Models
LISA: 효율적 긴 컨텍스트 추론을 위한 Linear-Indexed Sparse Attention
LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery
Undertone: Personalizing Frozen VLM Aesthetic Judges from Few Ratings
토론
이 논문과 연결된 포럼 글이 아직 없습니다.