arXiv:2607.18553v4 cs.LG

루프형 언어 모델의 작동적 원시 내성: 답변 이전에 정답 여부 읽기

Operational Proto-Introspection in Looped Language Models: Reading Correctness Before the Answer

Jan Kirin

제출 2026-07-20

한국어 초록

언어 모델이 추론하는 도중에 그 답이 맞을지 알 수 있는가? 루프형 모델은 이를 묻기에 적합한 대상이다. 토큰마다 동일한 층을 여러 번 실행하므로 루프마다 프로브가 읽을 수 있는 은닉 상태가 하나씩 남기 때문이다. 나는 2.6B 파라미터 루프형 모델인 Ouro-RLTT를 프로빙하여, 이 상태들이 추론이 어떻게 끝날지에 대해 무엇을 드러내는지 조사한다. 이러한 정보를 작동적 원시 내성(operational proto-introspection)이라 부른다. 프로브가 읽을 수 있는 것으로 정의되므로 작동적이고, 모델 자체가 이를 사용한다는 것은 여기서 보이지 않으므로 원시적이다. 부분적으로는 그렇다. 아직 답을 말하지 않은 응답에서 추론의 처음 48개 토큰을 읽을 때, 은닉 상태에 대한 프로브는 합성 논리 과제에서 AUROC 0.758에 도달하며, 토큰 신뢰도의 0.515와 대비된다. 질문 난이도는 경쟁 설명이다. 추가 1,164개 질문에서 토큰 신뢰도에 질문의 단순한 특징을 더한 예측기도 비슷한 수준으로 예측한다. 그러나 난이도만의 문제는 아니다. 같은 질문에 대한 두 답변 사이에서 프로브는 74%의 경우 정답에 더 높은 점수를 부여한다. 같은 토큰을 읽는 미세조정된 언어 모델도 비슷한 수준의 성능을 보인다. GSM8K와 두 번째 체크포인트에서는 이 질문 내 검정이 해결되지 않는다. 완성된 후보 답변의 순위를 매기는 프로브는 네 개의 Ouro 체크포인트에서 8층의 첫 번째 루프에서는 약하고, 두 번째 루프에서는 훨씬 좋으며, 세 번째 루프에서는 마지막 층만큼 정확하다. 프로브가 읽는 방향은 루프 간에 대체로 공유된다. 마지막 루프에서 학습한 프로브는 첫 번째 루프에서 직접 학습한 프로브와 거의 비슷하게 첫 번째 루프를 읽는다. 이 신호는 완성된 출력을 어떻게 처리할지 결정하는 데 도움이 된다. 표면적 특징보다 기권(abstention)을 개선하고 후보 중에서 우연보다 나은 수준으로 정답을 고르지만, 표면적 특징도 비슷한 수준으로 고른다. 여러 표본이 완성되고 나면, 그 표본들의 일치도를 아는 기준선은 답변 비의존 프로브가 더할 측정 가능한 것을 남기지 않는다. 이를 이용해 모델이 더 나은 답을 생성하도록 하려는 나의 시도는 어느 것도 효과가 없었다.

원문 초록

Can one tell, while a language model reasons, whether its answer will be right? Looped models are a good place to ask: they run the same layers several times per token, leaving one hidden state per loop for a probe to read. I probe Ouro-RLTT, a 2.6B-parameter looped model, for what these states reveal about how its reasoning will end. I call such information operational proto-introspection: operational because it is defined by what a probe can read, and proto because nothing here shows that the model itself uses it. In part, yes. Reading the first 48 tokens of reasoning, from answers that state no answer yet, a probe on the hidden states reaches an AUROC of 0.758 on a synthetic logic task, against 0.515 for token confidence. Question difficulty is a rival explanation: on 1,164 further questions, token confidence plus simple features of the question predict about as well. It is not only difficulty: between two answers to the same question, the probe scores the correct one higher 74% of the time. A fine-tuned language model reading the same tokens does about as well. On GSM8K and on a second checkpoint this within-question test is unresolved. A probe that ranks finished candidate answers is weak at layer 8 on the first loop, much better on the second, and as accurate as the last layers by the third, on four Ouro checkpoints. The direction it reads is largely shared across loops: a probe trained on the last loop reads the first nearly as well as a probe trained there. The signal helps decide what to do with finished outputs. It improves abstention over surface features and picks correct answers among candidates better than chance, though surface features pick about as well. Once several samples are finished, a baseline that knows their agreement leaves the answer-free probe nothing measurable to add. None of my attempts to use it to make the model generate better answers worked.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.18553v4제출 시각 미확인
  2. arXiv:2607.18553v3제출 시각 미확인
  3. arXiv:2607.18553v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.