PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27833v1cs.LG

추론 문자열에서 부분 순서로: 몫 정책 최적화를 통한 검증기 인증 규칙 전이

From Reasoning Strings to Partial Orders: Verifier-Certified Rule Transport through Quotient Policy Optimization

많은 계산은 독립적인 하위 목표나 서로 겹치지 않는 상태 갱신이 교환 가능(commute)하기 때문에 여러 개의 유효한 실행 순서를 허용한다. 검증 가능한 보상을 사용하는 강화학습(reinforcement learning with verifiable rewards)은 보통 성공한 각 궤적(trace)을 서로 별개의 토큰 시퀀스로 취급하므로, 직렬화(serialization) 선택이 논리적 의존성으로 오인될 수 있다. 우리는 인접한 연산 쌍을 네이티브 검증기(native verifier)로 재실행하는 Verifier-Certified Rule Transport(VCRT)를 제안한다. 두 순서가 모두 수용되고 동일한 정규 상태(canonical state)에 도달하는 쌍은 교환 인증서(commutation certificate)를 제공하며, 거부되거나 상태가 바뀌는 역순은 반다이아몬드(anti-diamond)를 제공한다. VCRT는 반다이아몬드를 사용하여 진정한 선행 조건을 보존하고, 인증된 각 궤도(orbit)의 전체 확률 질량에 정책 크레딧을 할당한다. 또한 교환 후 일관성, 원본 유지(source retention), 정책 드리프트(policy drift)를 제약한다. 우리는 공유된 익명화 관계 그래프 인터페이스를 통해 ProofWriter, CLRS, Lean 전반에서 하나의 환경을 제외하는(leave-one-environment-out) 전이를 평가한다. 모든 학습과 체크포인트 결정은 홀드아웃 평가 이전에 고정되며, 홀드아웃 평가는 탐색이나 검증기 피드백 없이 항목당 하나의 그리디 궤적을 사용한다. VCRT는 가장 강력한 대응 기준선의 64.53%에 비해 77.60%의 매크로 통과율을 달성하였으며, 이는 13.06%p의 짝지은(paired) 향상이다(95% 부트스트랩 신뢰구간 [12.58, 13.54]). 이 향상의 대부분은 33.49%p를 기록한 Lean에서 나오며, ProofWriter와 CLRS는 평균 2.85%p 향상된다. 메커니즘 테스트는 일관되게 반다이아몬드 지도(supervision)를 지지하는 반면, No-Orbit은 전체 VCRT와 통계적으로 구별되지 않는다. 이 증거는 정확한 궤도 집계(exact orbit aggregation)가 전반적인 이점을 준다는 점을 입증하지 못한다.

arXiv:2108.11204v4cs.AI공식 코드 · Papers with Code

복잡한 추론 작업을 위한 서브골 탐색

Subgoal Search For Complex Reasoning Tasks

인간은 한 아이디어에서 관련된 다른 아이디어로 이동하는 정신적 과정을 통해 복잡한 추론(reasoning) 작업을 해결하는 데 뛰어납니다. 이에 영감을 받아, 본 논문에서는 서브골 탐색(Subgoal Search, kSubS) 방법을 제안합니다. 이 방법의 핵심 요소는 달성 가능하면서도 해결책에 더 가까운 다양한 서브골을 생성하는 학습된 서브골 생성기입니다. 서브골을 사용하면 탐색 공간을 줄이고 효율적인 계획 수립(planning)에 적합한 고수준 탐색 그래프를 유도할 수 있습니다. 본 논문에서는 트랜스포머 기반 서브골 모듈을 고전적인 최선 우선 탐색(best-first search) 프레임워크와 결합하여 kSubS를 구현합니다. $k$단계 앞의 서브골을 생성하는 단순한 접근 방식이 두 가지 인기 퍼즐 게임인 소코반(Sokoban) 및 루빅스 큐브(Rubik's Cube), 그리고 부등식 증명 벤치마크인 INT라는 세 가지 까다로운 도메인에서 놀라울 정도로 효율적임을 보여줍니다. kSubS는 적당한 계산 예산 내에서 INT의 최고 성능(SOTA)을 포함한 강력한 결과를 달성합니다.