arXiv:2611.23749v1 cs.AI

구조적 표현을 이용한 LLM 추론 동역학 모델링

Modeling LLM Reasoning Dynamics with Structural Representations

Ilia Karpov, Andrey Atamanyuk, Dmitry Ilvovsky, Aleksandr Anokhin, Alex Elizov, Dmitry Zagorulkin, Sergei O. Kuznetsov

제출 2026-11-19

한국어 초록

언어 모델의 추론은 지속적인 활동과 국소적 연산이 번갈아 나타난다. 우리는 이러한 시간적 구조가 이후 진행을 어떻게 예측하는지, 그리고 이를 분석하는 데 필요한 계산을 연구한다. T/E/S는 텍스트, 국소 이벤트, 활동 구간(span)을 결합한다. 추론 및 정보 탐색 과제 전반에서, 이벤트와 구간은 76개 평가 그룹 중 Transformer에서 70개, LoRA를 적용한 Qwen에서 74개에서 다음 결과 예측을 개선한다. 구간 지속 시간과 선행 이벤트는 전이와 연관되며, 구간 경계를 넘어 이벤트 이력을 유지하면 예측이 개선된다. 우리는 예산 할당 계수(counting) 질의와 행동 조건부 연속 질의를 정식화하고, 명시적 인코딩 하에서 계수 문제의 난해성을 증명하며, 감당 가능한 의사결정 인증을 위한 조건을 도출한다. 유한 과정 실험에서, 공유된 연속 질량을 상쇄하는 경계는 전체 동적 계획법과 동일한 최적 행동을 복원하면서 평균 추론 CPU 시간을 77.7% 줄인다. 71개의 보류된 HotpotQA 및 MuSiQue 질문에서, 간결한 구조적 관찰자(observer)는 고정된 추론 절차가 CPU 허용량 내에 끝나는지에 대한 예측을 개선하며, Brier 손실은 0.0836에서 0.0756으로 감소한다. 주석 감사(annotation audit)는 해당 관찰자에서 상당한 오류를 확인하였으며, 이로써 이 계산적 결과는 그 특징에 대한 의미적 검증과 구분된다.

원문 초록

Language-model reasoning alternates between sustained activities and local operations. We study how this temporal structure predicts continuation and the computation needed to analyze it. T/E/S combines text, local events, and spans of activity. Across reasoning and information-seeking tasks, events and spans improve next-outcome prediction in 70 of 76 evaluation groups for a Transformer and 74 of 76 for Qwen with LoRA. Span duration and preceding events are associated with transitions, and retaining event history across span boundaries improves prediction. We formulate budget-allocation counting and action-conditional continuation queries, prove counting hardness under explicit encodings, and derive conditions for affordable decision certification. In finite-process experiments, bounds that cancel shared continuation mass recover the same optimal actions as full dynamic programming while reducing mean inference CPU time by 77.7%. On 71 held-out HotpotQA and MuSiQue questions, a compact structural observer improves prediction of whether a fixed inference procedure finishes within a CPU allowance: Brier loss falls from 0.0836 to 0.0756. An annotation audit identifies substantial errors in that observer, separating this computational result from semantic validation of its features.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23749v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.