arXiv:2608.26187v1 cs.CL

표준적 완결이 틀렸을 때: 대규모 언어 모델에서 도약의 공식화 및 측정

When the Canonical Completion Is Wrong: Formalizing and Measuring the Jump in Large Language Models

Dai Shi, Xiaoyu Li, José Miguel Hernández-Lobato

제출 2026-08-22

한국어 초록

대규모 언어 모델(LLM)이 증거로부터 새로운 공리계로 나아가는 가추적 도약(abductive leap), 즉 흔히 ‘도약(jump)’이라 불리는 과정을 수행할 수 있는지는 최근 상당한 논쟁을 불러일으켰습니다. 유력한 한 입장은 LLM이 구조적으로 이러한 도약을 수행할 수 없다고 주장하는 반면, 최근 연구들은 그 메커니즘과 증거 모두에 의문을 제기합니다. 그러나 분야 내에 여전히 도약에 대한 형식적 정의와 어느 한쪽을 검증할 수 있는 측정 기준이 부족하여 이 논쟁은 쉽게 해결되지 못하고 있습니다. 본 논문에서는 도약에 대한 형식적 설명을 4단계로 전개하고 두 번째 단계를 측정합니다. 이 단계들은 부분 데이터의 기본 완결(default completion)이 무엇인지, 이를 포기해야 하는 시점이 언제인지, 그 포기가 올바른 때는 언제인지, 그리고 연속적인 도약이 어떻게 복합되는지를 묻습니다. 구체적으로, 올바른 완결이 존재하고 이름 변경 수준에서 유일하며 데이터의 표준적 완결(canonical completion)과 다르다는 기계 검증된 인증서(certificate)를 갖춘 유한 확장 문제로 도약 인스턴스(jump instance)를 정의합니다. 표준적 완결은 좌·우 칸 확장(Kan extension)에 의해 주어지며 모델이 제약 조건 없이 생성하는 것이기도 하므로 기본값 역할을 합니다. 저자들은 도약 인스턴스가 잘 정의됨(well-posed)을 증명하고, 열거 없이도 무제한의 난이도를 지닌 인스턴스를 인증하는 족 정리(family theorem)를 확립합니다. 또한 도약이 언제 올바른지, 연속적인 도약이 어떻게 복합되는지를 형식화합니다. 마지막으로, 인증된 9개 인스턴스와 4개 프론티어 모델을 대상으로 측정을 수행합니다. 248회의 제약 조건 하 시험 전체에서 칸-기본 비율은 0이었으므로, 모델들은 실제로 이 단계에서 도약을 수행하며 매번 제외된 기본값을 포기합니다. 더 높은 난이도에서의 실패는 추론 예산의 고갈이나 제약 조건 오류에서 비롯된 것이며, 결코 기본값으로 되돌아가서 발생한 것이 아닙니다. 이러한 결과는 두 번째 단계가 병목이 아님을 보여줍니다. 만약 논쟁이 되고 있는 무능력이 실재한다면, 그것은 제약 조건을 생성하거나 프레임워크를 고안하는 데에 존재합니다. 코드는 https://github.com/EEthanShi/kan-jump-test 에서 확인할 수 있습니다.

원문 초록

Whether large language models (LLMs) can perform the abductive leap from evidence to a new system of axioms, commonly referred to as a jump, has recently attracted considerable debate. A prominent position holds that LLMs are structurally incapable of such jumps, while recent studies challenge both its mechanism and its evidence. However, the debate remains difficult to settle, since the field still lacks a formal definition of the jump and a measure to test either side. In this paper, we develop a formal account of the jump in four steps and measure the second. The steps ask what the default completion of partial data is, when abandoning it is forced, when the abandonment is correct, and how successive jumps compound. Specifically, we define a jump instance as a finite extension problem with a machine-checked certificate that a correct completion exists, is unique up to renaming, and differs from the canonical completion of the data. The canonical completion is given by the left and right Kan extensions and is also what models produce without constraints, so it serves as the default. We prove that jump instances are well-posed and establish a family theorem that certifies instances of unbounded difficulty without enumeration. We further formalize when a jump is correct and how successive jumps compound. Finally, we run the measurement on nine certified instances and four frontier models. The Kan-default rate is zero in all 248 constrained trials, so the models do jump at this step and abandon the excluded default every time. Failures at higher difficulty stem from exhausted reasoning budgets or constraint errors, never from reverting to the default. These results indicate that the second step is not the bottleneck. If the disputed incapacity is real, it lies in generating the constraints or inventing the framework. Code can be found at: https://github.com/EEthanShi/kan-jump-test.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.26187v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.