Lean을 활용한 정리 증명을 위한 프로세스 검증 강화학습
Process-Verified Reinforcement Learning for Theorem Proving via Lean
한국어 초록
검증 가능한 보상을 통한 강화학습(RLVR)은 일반적으로 단일 이진 검증 신호에 의존해 왔지만, 형식적 추론(formal reasoning)에서의 기호적 증명 보조기(symbolic proof assistants)는 풍부하고 세분화된 구조적 피드백을 제공합니다. 구조화된 프로세스와 비구조화된 보상 사이의 이러한 격차는 밀도가 높고 건전한(sound) 피드백의 중요성을 강조합니다. 본 연구에서는 Lean 증명 보조기(Lean proof assistant) 자체가 기호적 프로세스 오라클(symbolic process oracle)로 기능할 수 있음을 보여주며, 학습(training) 중에 결과 수준(outcome-level)과 세분화된 전술 수준(tactic-level)의 검증된 피드백을 모두 제공합니다. 증명 시도는 전술 시퀀스(tactic sequences)로 파싱되며, Lean의 정제(elaboration) 과정은 국소적으로 건전한 단계와 가장 초기의 실패 단계를 모두 표시하여, 유형 이론(type theory)에 뿌리를 둔 밀도 높고 검증자 기반(grounded)의 크레딧 신호(credit signals)를 생성합니다. 우리는 이러한 구조화된 보상(rewards)을 GRPO 스타일의 강화학습(reinforcement learning) 목적 함수에 통합하며, 이때 첫 번째 오류 전파(first-error propagation) 및 첫 번째 토큰 크레딧(first-token credit) 방법을 사용하여 결과 수준과 프로세스 수준의 이점을 균형 있게 조절합니다. STP-Lean과 DeepSeek-Prover-V1.5를 사용한 실험 결과, 전술 수준(tactic-level) 감독(supervision)이 대부분의 설정에서 결과 전용 기준선(outcome-only baselines)보다 우수한 성능을 보이며, MiniF2F 및 ProofNet과 같은 벤치마크에서 개선을 달성함을 보여줍니다. 경험적 이득을 넘어, 우리의 연구는 더 넓은 관점을 조명합니다: 기호적 증명 보조기는 평가(evaluation) 시점의 검증기(verifier)일 뿐만 아니라 학습(training) 중에 프로세스 수준 보상 오라클(process-level reward oracles)로도 작용할 수 있습니다. 이는 형식적 추론을 위해 언어 모델의 확장성(scalability)과 기호적 검증의 신뢰성(reliability)을 결합하는 강화학습(reinforcement learning) 프레임워크로 가는 길을 엽니다.
원문 초록
While reinforcement learning from verifiable rewards (RLVR) typically has relied on a single binary verification signal, symbolic proof assistants in formal reasoning offer rich, fine-grained structured feedback. This gap between structured processes and unstructured rewards highlights the importance of feedback that is both dense and sound. In this work, we demonstrate that the Lean proof assistant itself can serve as a symbolic process oracle, supplying both outcome-level and fine-grained tactic-level verified feedback during training. Proof attempts are parsed into tactic sequences, and Lean's elaboration marks both locally sound steps and the earliest failing step, yielding dense, verifier-grounded credit signals rooted in type theory. We incorporate these structured rewards into a GRPO-style reinforcement learning objective with first-error propagation and first-token credit methods that balances outcome- and process-level advantages. Experiments with STP-Lean and DeepSeek-Prover-V1.5 show that tactic-level supervision outperforms outcome-only baselines in most settings, delivering improvements on benchmarks such as MiniF2F and ProofNet. Beyond empirical gains, our study highlights a broader perspective: symbolic proof assistants are not only verifiers at evaluation time, but can also act as process-level reward oracles during training. This opens a path toward reinforcement learning frameworks that combine the scalability of language models with the reliability of symbolic verification for formal reasoning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.20068v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다음에 무엇을 탐구할지 학습하기: 장기 연구 에이전트를 위한 메타 추론
Learning What to Investigate Next: Meta-Reasoning for Long-Horizon Research Agents
장기(long-horizon) 연구 에이전트(agent)는 증거가 축적됨에 따라 어떻게 탐구할지뿐만 아니라 다음에 무엇을 탐구할지도 결정해야 합니다. 이러한 결정은 긴 실행 궤적(execution trace) 내에서 드물게 발생하며, 그 결과가 여러 차례의 탐구 이후에 나타날 수 있기 때문에 학습하기 어렵습니다. 본 논문에서는 연구 자원 배분과 실행을 분리하는 계층적 아키텍처인 반복 연구 에이전트를 위한 메타 추론(Meta-reasoning for Iterative Research Agents, MIRA)을 소개합니다. 외부 루프(outer-loop) 메타 추론기는 영구 연구 기록에서 컨텍스트를 큐레이션한 다음, 다음 탐구를 위한 작업 지시서를 작성하거나 에피소드를 종료합니다. 새로운 내부 루프(inner-loop) 실행기는 각 작업 지시서를 수행하여 실행을 메타 추론 행동 간의 전이 과정 일부로 만듭니다. 정책 학습(policy training) 없이도 MIRA는 장기 추론(inference)을 개선하고 정리 증명 및 개방형 신경망 아키텍처 연구에서 추가 연산량을 더 효과적으로 배분합니다. 또한 MIRA의 결정 경계는 신용 할당(credit assignment)을 위한 자연스러운 단위를 제공합니다. 각 경계에서 부분 상태(partial state)로부터 예상 잔여 보상을 예측하도록 생성형 크리틱(generative critic)을 학습시켜 토큰(token) 수준의 대안들보다 우수한 성능을 보였습니다. 교차 환경 사전학습은 예측과 적응을 개선하여 부분적 진행 상황의 가치를 평가하기 위한 전이 가능한 사전 분포(prior)를 산출합니다. 이 사전 분포를 활용하여 별도의 크리틱 모델 없이 잔여 보상을 예측하고 다음 탐구를 선택하도록 공동 학습되는 생성형 액터-크리틱(actor-critic)인 MIRA-AC를 초기화합니다. MIRA-AC는 정책 최적화를 메타 추론 결정에 집중시켜, 이들이 시작하는 더 긴 실행 궤적을 직접 최적화하지 않고도 효율적인 장기 강화학습(reinforcement learning)을 가능하게 합니다. 모델 자체의 프록시 힐클라이밍(hill-climbing) 신호로 MIRA-AC를 학습시키면 4개의 자동 연구(autoresearch) 환경 전반에서 골드 성능이 향상되며, 액터는 교차 환경 가치 초기화(initialization)를 통해 전이됩니다. 종합적으로, 이러한 결과들은 장기 자율 연구를 지휘하기 위한 명시적 정책으로서 메타 추론을 학습할 수 있음을 보여줍니다.
Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해
Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests
다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.
Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery
VideoGen-Agent: 비디오 생성 에이전트 강화
VideoGen-Agent: Reinforcing Video Generation Agents
VIGOR: 모델 기반 강화학습에서 잠재 공간 일관성을 통한 제로샷 시각적 일반화
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
텍스트-이미지 생성에서 대표 다양성을 위한 다축 Max@K 강화학습
Multi-Axis Max@K Reinforcement Learning for Representative Diversity in Text-to-Image Generation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.