arXiv:2605.19597v2 cs.CL

HyperLogic: 실행 기반 정답을 갖춘 고난도 순방향 작성 중국어 논리적 추론 벤치마크

HyperLogic: A Hard, Forward-Authored Chinese Logical Reasoning Benchmark with Execution-Derived Answers

Ming Zhang, Qiyuan Peng, Yinxi Wei, Yujiong Shen, Kexin Tan, Yuhui Wang, Zhenghao Xiang, Junjie Ye, Zhangyue Yin, Zhiheng Xi, Shihan Dou, Weikang Wang, Yuhao Zhang, Tao Gui, Ruizhi Yang 외 4명

제출 2026-05-19

저자 비고

arXiv Comments

39 pages. v2: substantially revised and retitled (v1 title: "LLMEval-Logic: A Solver-Verified Chinese Benchmark for Logical Reasoning of LLMs with Adversarial Hardening"); new construction pipeline, data tiers, and experiments

한국어 초록

기존의 논리 벤치마크는 주로 모델이 추론 질문에 직접 답하는 능력을 측정합니다. 확장 가능한 벤치마크는 종종 정형 구조로부터 텍스트를 생성하므로 정답을 계산하기는 쉽지만, 문제가 작성되기 전에 정형화 방식이 고정되어 버립니다. 순방향 구성(forward construction)은 충실한 정형화를 찾아야 하는 난이도를 보존하지만, 난이도와 정답의 신뢰성을 제어하기 어렵게 만듭니다. 본 연구에서는 문제 작성과 정답 생성을 분리하는 순방향 구성 파이프라인인 HyperLogic을 소개합니다. 멀티 에이전트(multi-agent) 워크플로는 학부생이 작성한 중국어 시드(seed) 문제를 직접 풀지 않으면서 난이도를 높입니다. 서로 다른 모델 계열의 두 에이전트가 완성된 각 문항을 실행 가능한 유한 도메인 모델로 독립적으로 변환하며, 이들의 인코딩과 솔버 기반 정답은 인간 전문가의 감독 하에 계층화된 에이전트 지원 판정을 거칩니다. HyperLogic-Base는 195개 문항과 922개 하위 질문으로 구성되어 있으며, 엄격한 문항 정확도(44.6-77.6%)에서 7개 최전선 모델 간에 33.0%p의 격차를 보입니다. HyperLogic-Hard는 더 크고 결합된 탐색 공간을 가진 100개 문항을 포함하며, 직접 답변 시 16% 정확도를 넘는 모델이 없습니다. 또한 Hard를 사용하여 도구를 활용해 문제를 정형화하고 해결하는 에이전트의 능력을 평가하며, 코드 샌드박스만 사용한 경우와 자체 논리 모델링 라이브러리를 포함한 경우를 비교합니다. 샌드박스는 모든 모델의 성능을 16.7-40.1%p 향상시키며, 라이브러리를 추가하면 5개 모델에는 도움이 되지만 2개 모델에는 오히려 해가 됩니다. 이러한 결과는 도구 접근성이 주어지더라도 충실한 정형화가 여전히 어렵다는 점을 강조합니다.

원문 초록

Existing logic benchmarks primarily measure models' ability to answer reasoning questions directly. Scalable benchmarks often generate text from formal structures, which makes answers easy to compute but fixes the formalization before the problem is written. Forward construction preserves the challenge of finding a faithful formalization, yet makes difficulty and answer reliability harder to control. We introduce HyperLogic, a forward-construction pipeline that separates problem authoring from answer generation. A multi-agent workflow hardens undergraduate-authored Chinese seeds without solving them; two agents from different model families independently translate each finished item into executable finite-domain models; their encodings and solver-derived answers undergo layered, agent-assisted adjudication under human-expert oversight. HyperLogic-Base contains 195 items and 922 sub-questions and separates seven frontier models by 33.0 percentage points in strict item accuracy (44.6-77.6%). HyperLogic-Hard contains 100 items with larger, coupled search spaces, on which no model exceeds 16% accuracy in direct answering. We also use Hard to evaluate agents' ability to formalize and solve problems with tools, comparing a code sandbox alone with one that includes our logic modeling library. The sandbox improves every model by 16.7-40.1 points; adding the library helps five models and hurts two. These results highlight the difficulty of faithful formalization even with tool access.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.19597v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.