반복 게임에서 LLM 추론 궤적 내 표현 추적
Tracking Representations in LLM Reasoning Traces for Iterated Games
한국어 초록
대규모 언어 모델(LLM) 에이전트는 사고 연쇄(CoT) 추론을 통해 여러 분야에서 최고 수준의 성능을 달성한다. 널리 사용됨에도 불구하고, 외부로 드러난 궤적과 모델의 실제 연산 사이의 관계는 거의 알려져 있지 않다. 본 연구는 불완전 정보를 갖는 반복 게임에서 LLM 에이전트가 어떻게 의사결정을 내리는지 조사하여 이 문제를 다룬다. 일련의 기계적 해석 가능성 기법을 사용하여, 모델이 CoT 전반에 걸쳐 게임에 대한 내부 표현을 형성하고 반복적으로 수정함을 발견하였다. 모델이 잘못된 믿음에 성급히 확정되면 좀처럼 회복하지 못한다. 이러한 실패는 문자 그대로의 궤적과 층별 활성화 모두에서 나타난다. 결국 다중 에이전트 시스템이 더욱 보편화됨에 따라, 본 연구는 이들의 전략적 추론 오류를 보다 집중적으로 진단할 수 있는 길을 연다. 설명을 위해 선별한 샘플 궤적에 대한 본 방법론의 대화형 시각화 도구를 https://interp-self.github.io/gametrace/ 에서 제공한다.
원문 초록
Large language model (LLM) agents achieve state-of-the-art performance across domains through chain-of-thought (CoT) reasoning. Despite their ubiquitous use, little is understood about the relationship between the externalized trace and the model's actual computation. We address this by investigating how LLM agents make decisions in iterative games with incomplete information. Using a series of mechanistic interpretability techniques, we find that the model forms and iteratively revises an internal representation of the game throughout the CoT. Once the model prematurely commits to an incorrect belief, it rarely recovers. This failure is manifested in both the literal trace and the layer activations. Ultimately, as multi-agent systems are more prevalent, our work opens the door to a more focused diagnosis of their strategic reasoning errors. For illustrative purposes, we offer an interactive visualizer of our methodology on selected sample traces at https://interp-self.github.io/gametrace/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23403v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.