트랜스포머를 위한 조건부 무털 정리: 언어 모델은 어떻게 프롬프트를 잊는가
A Conditional No-Hair Theorem for Transformers: How Language Models Forget Their Prompt
한국어 초록
블랙홀은 자신을 형성한 물질의 보존 전하 몇 가지만을 유지한다. 이러한 유추에서 착안하여, 우리는 자기회귀 트랜스포머가 $t$개의 토큰을 생성한 후 프롬프트를 얼마나 유지하는지를 묻는다. 동일한 연속 문장이 뒤따르는 두 프롬프트에 대해, 두 프롬프트의 은닉 상태 차이는 대략 멱법칙 $t^{-\alpha}$를 따라 감소하며, 여기서 $\alpha=1$은 고정된 프롬프트가 균일 어텐션에서 차지하는 비중이 줄어드는 속도이다. 첫 번째 층들을 지나면, 학습된 모델은 동일한 아키텍처의 학습되지 않은 모델($\alpha\approx0.2$--$0.5$)보다 더 빠르게 잊는다($\alpha\approx0.55$--$0.7$). 유한 깊이의 pre-LN 소프트맥스 트랜스포머에서 어텐션 로짓이 유계이고 정규화 이전 활성화가 비퇴화적이라는 조건 아래, 우리는 프롬프트 길이 $P$와 깊이 $L$에 대해 이 오프셋이 $O\big(P(\log t)^{L-1}/t\big)$임을 증명한다. 즉 컨텍스트가 커짐에 따라 프롬프트의 직접적 영향은 희석되며, 연속 토큰을 거치는 \emph{릴레이}는 로그 인자만을 추가한다. 따라서 생성된 텍스트를 조건으로 하면, 다음 토큰에 대한 프롬프트의 영향은 사라진다. 이 상계는 점근적 형태만을 규정하며 학습된 네트워크에서 우리가 측정한 길이에서는 정보를 주지 못한다. 정확히 풀 수 있는 선형 릴레이 모델은 이 상계를 더 개선할 수 없음을 보이고 학습되지 않은 모델의 곡선을 설명한다. 프롬프트에 대한 로짓 편향으로 희석을 상쇄하면 학습 초기에 감소가 멈추며, 학습은 어텐션 싱크가 형성되기 전인 약 10억 토큰 무렵에 릴레이를 억제한다. 임의의 Hugging Face 인과 언어 모델에 대해 $\alpha$를 측정하는 툴킷이 공개되어 있다.
원문 초록
A black hole retains only a few conserved charges of the matter it formed from. We are inspired to make the analogy and we ask how much an autoregressive transformer retains of its prompt after generating $t$ tokens. For two prompts followed by the same continuation, the difference of their hidden states decays approximately as a power law $t^{-\alpha}$, where $\alpha=1$ is the rate at which a fixed prompt's share of uniform attention shrinks. Beyond the first layers, trained models forget faster ($\alpha\approx0.55$--$0.7$) than untrained ones of the same architecture ($\alpha\approx0.2$--$0.5$). For finite-depth pre-LN softmax transformers with bounded attention logits and non-degenerate pre-norm activations, we prove that this offset is $O\big(P(\log t)^{L-1}/t\big)$ for prompt length $P$ and depth $L$: the prompt's direct influence is diluted as the context grows, and \emph{relay} through continuation tokens adds only logarithmic factors. Conditional on the generated text, the prompt's influence on the next token thus vanishes. The bound fixes only the asymptotic shape and is uninformative at the lengths we measure in trained networks; an exactly solvable linear relay model shows that it cannot be improved and accounts for the untrained curves. Cancelling the dilution with a logit bias on the prompt stops the decay early in training, and training suppresses relay by about one billion tokens, before attention sinks form. A toolkit that measures $\alpha$ for any Hugging Face causal language model is publicly available.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.24133v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.