사고 사슬 은닉 상태는 직접 답변을 위한 과제 해결 방향을 드러낸다
Chain-of-Thought Hidden States Reveal Task-Solving Directions for Direct Answers
한국어 초록
사고 사슬(CoT) 프롬프팅은 중간 추론 단계를 이끌어냄으로써 대규모 언어 모델의 성능을 향상시킨다. 그러나 CoT는 완벽하지 않다. 일부 과제에서는 모델이 직접 답변 프롬프팅보다 성능이 떨어지고, 다른 과제에서는 정답에 도달하기 위해 수백 개의 토큰을 생성한다. 우리는 먼저 각 CoT 은닉 상태를 직접 프롬프트에 패칭했을 때 정답이 나오면 회복형, 그렇지 않으면 실패형으로 레이블링한다. 선형 프로브는 모델이 이 두 부류를 다르게 부호화함을 보여준다. 이어서 직접 프롬프트의 표현 공간에, 짧은 생성으로 CoT보다 더 자주 모델을 정답으로 이끄는 질문별 방향이 존재함을 보인다. 구체적으로, 생성 전에 직접 프롬프트의 마지막 은닉 상태를 각 질문 자체의 회복형 및 실패형 상태로부터 구성한 방향으로 한 번 회전시킨다. 25개 과제에 걸쳐 이러한 방향은 직접 프롬프트의 평균 정확도를 LLaMA 3.1 8B에서 $46\%$에서 $85\%$로(CoT: $69\%$), Qwen 2.5 7B에서 $52\%$에서 $86\%$로(CoT: $77\%$) 높이며, 토큰은 CoT의 10분의 1만 사용한다. 따라서 CoT는 이 정확도에 이르는 가장 짧은 경로가 아니며, 이러한 방향은 향후 연구에서 모델이 자신의 상태를 이에 정렬하도록 학습시키는 데 사용될 수 있다.
원문 초록
Chain-of-Thought (CoT) prompting improves the performance of Large Language Models by eliciting intermediate reasoning steps. However, CoT is far from perfect: on some tasks, models perform worse than with direct-answer prompting, and on others they generate a few hundred tokens to reach the correct answer. We start by labelling each CoT hidden state as recovering if patching it into the direct prompt yields the correct answer, and failed otherwise. A linear probe shows that the model encodes these two classes differently. We then show that the representation space of the direct prompt holds a direction for each question that leads the model, in a short generation, to the correct answer more often than CoT does. Specifically, we rotate the direct prompt's last hidden state once, before generation, towards a direction built for each question from its own recovering and failed states. Across 25 tasks, these directions raise the direct prompt's mean accuracy from $46\%$ to $85\%$ on LLaMA 3.1 8B (CoT: $69\%$) and from $52\%$ to $86\%$ on Qwen 2.5 7B (CoT: $77\%$), with a tenth of CoT's tokens. CoT is thus not the shortest route to this accuracy, and these directions can be used in future work to train models to align their states with them.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24598v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.