arXiv:2610.25963v2 cs.AI

ABACUS: 고정된 판단 모델 위에서의 프로그램 기반 다단계 추론

ABACUS: Program-Guided Multistep Reasoning over Frozen Judgment Models

Yuhao Wang, Zelin Zang

제출 2026-11-18

한국어 초록

판단 모델은 유한한 후보 결과 집합에 점수를 매겨 의미론적 질문에 답한다. 재사용 가능한 프로그램이 이러한 국소적 결정을 강력한 다단계 추론으로 바꿀 수 있을까? 본 논문은 고정된 판단 모델을 위한 판단 스키마와 합성 프로그램을 함께 구성하는 프레임워크 \method를 제시한다. 생성형 교사가 절차를 오프라인으로 설계하고, 판단 모델이 국소적 의미 질문을 온라인으로 해결하며, 저장된 프로그램이 그 결정들을 합성하여 답을 만든다. 공유 인터페이스를 통한 구성에 초점을 두어, 사람과 교사 사이의 설계 노력 배분 세 가지를 연구한다. 이 프레임워크를 Kev로 구현한다. 선별한 BIG-Bench Hard 과제 세 개에서, 독립적으로 구성된 프로그램 아홉 개가 150개 개발 입력의 450회 실행을 모두 해결한다. 별도의 배포 연구에서는 개발 세트 기준 일치도 정련 후 프로그램 세 개를 고정하고 보류된 질문 600개로 평가한다. 이 프로그램들은 거의 완벽한 99.67%의 매크로 정확도를 달성하며, 이는 Kev 직접 사용의 64.00%와 최종 답만 내는 Qwen3.5-4B의 68.80%에 비해 높다. 또한 Qwen의 제약 없는 응답 정책(99.07%)과 비교 가능한 관측 정확도를 보이면서, 질문당 0.255초 대 2.150초로 \textbf{8.43배의 온라인 속도 향상}을 달성한다. 이러한 결과는 재사용 가능한 프로그램이 파라미터를 고정한 채로 소형 판단 모델의 추론 능력을 크게 확장할 수 있음을 보여 준다.

원문 초록

Judgment models answer semantic questions by scoring a finite set of candidate outcomes. Can reusable programs turn these local decisions into powerful multistep reasoning? We introduce \method, a framework that jointly constructs judgment schemas and composition programs for frozen judgment models. A generative teacher designs the procedure offline; the judgment model resolves local semantic questions online, and the saved program composes its decisions into an answer. We study three allocations of design effort between humans and the teacher, focusing on construction through a shared interface. We instantiate the framework with Kev. On three selected BIG-Bench Hard tasks, nine independently constructed programs solve all 450 executions of 150 development inputs. A separate deployment study freezes three programs after development-set reference-agreement refinement and evaluates them on 600 held-out questions. These programs achieve near-perfect 99.67\% macro accuracy, versus 64.00\% for direct Kev and 68.80\% for final-answer-only Qwen3.5-4B. They attain comparable observed accuracy to Qwen's unrestricted response policy (99.07\%) with an \textbf{8.43-fold online speedup}: 0.255 versus 2.150 seconds per question. These results show how reusable programs can substantially expand the reasoning capability of a compact judgment model while keeping its parameters fixed.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.25963v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.