LLM 생성으로부터 본 어휘 네트워크 위의 춤추는 토큰
Dancing Tokens on the Vocabulary Network from LLM Generation
한국어 초록
대규모 언어 모델(LLM)은 텍스트를 한 번에 하나의 토큰씩 생성하지만, 특정 생성이 사전학습에서 학습된 기하 구조와 어떤 관계를 갖는지는 여전히 불분명하다. LLM의 근본적인 설명 가능성은 파악하기 어렵다. 본 연구에서는 여섯 개의 오픈 LLM의 입력 임베딩으로 유사도 네트워크를 구축하고 그 위에 생성 과정을 대응시킨다. 토큰 임베딩 네트워크는 공분산이 일치하는 무작위 임베딩과 마찬가지로 척도 없는(scale-free) 특성과 두꺼운 꼬리를 보이지만, 훨씬 더 단편화되어 있다. 입력 임베딩이 대부분 계승되기 때문에 증류는 이 위상을 거의 바꾸지 않는다. 따라서 지식 공간은 사전학습으로부터 결정론적으로 정해진다. 연속하여 생성된 토큰은 그래프상 이웃인 경우가 드물며, 대부분의 모델에서 순서를 섞은 경우보다 더 자주 이웃이지도 않으므로, 생성은 사전에 정의된 네트워크 위의 보행(walk)이 아니지만 방문하는 토큰은 그 안에 집중되어 있다. 로짓 렌즈를 층별로 적용하면 대부분의 모델에서 토큰은 깊은 층에서 늦게 확정되며, 반복적인 모델은 작은 도메인 특화 부분 그래프에 갇혀 있다. 이러한 관측량은 퇴화를 감시하는 추론 시점 모니터로 활용될 수 있다. 이로써 그래프 학습의 노드 또는 링크 예측이라는 미시적 방식으로 LLM 생성을 이해하는 새로운 관점을 제시한다.
원문 초록
Large language models (LLMs) generate text one token at a time, yet how a particular generation relates to the geometry learned in pre-training remains unclear. The fundamental explainability of LLMs is elusive. Here, we build a similarity network from the input embeddings of six open LLMs and map generation onto it. The token-embedding network is scale-free while heavy-tailed, as are random embeddings with matched covariance, but far more fragmented. Distillation barely changes this topology because input embeddings are largely inherited. The knowledge space is thus deterministic from pre-training. Consecutive generated tokens are rarely graph neighbours and, in most models, no more often than in shuffled order, so generation is not a walk on the predefined network, although the tokens it visits are concentrated within it. Through the logit lens in a layer- wise manner, tokens settle late in depth in most models, and repetitive models remain confined to small domain-specific sub-graphs. These observables could serve as inference-time monitors of degeneration. We thus provide a fresh perspective on understanding LLM generation in the microscopic way from node or link prediction by graph learning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
24 pages, 6 figures