토큰 영향력이 거리에 따라 감쇠하는 방식: 학습된 언어 모델의 그린 함수적 관점
How Token Influence Decays with Distance: A Green-Function View of Trained Language Models
한국어 초록
우리는 자기회귀 트랜스포머 언어 모델의 다음 토큰 예측이 이전 입력 토큰 임베딩의 소규모 섭동에 따라 어떻게 변화하는지를 연구한다. 연산자 학습과 미분 방정식의 반복 솔버에서 영감을 받아, 학습된 모델에서 한 토큰이 다른 토큰에 미치는 영향이 거리에 따라 어떻게 감쇠하는지를 조사한다. 도메인 분해, 멀티그리드, 다중 레벨 전처리와 같은 미분 방정식의 다중 레벨 방법에서는 강한 국소적 상호작용과 약하지만 필수적인 전역적 상호작용 간의 분리를 자주 활용한다. 후자는 그린 함수의 긴 꼬리에 해당하며, 일반적으로 조대 레벨 연산자에 의해 처리된다. 이 관점에 착안하여, 우리는 자동 미분을 사용해 토큰 의존성의 경험적 거리 분해 그래디언트 프로파일을 계산한다. 학습된 Pythia 모델과 Qwen2.5-0.5B에 대한 실험에서, 측정된 거리 범위에 걸쳐 야코비안 감도의 중앙값이 지수 함수적 대안보다 멱함수적 감쇠로 훨씬 더 잘 설명됨을 보인다: 대각 정규화 프로파일은 지수 $p \approx 0.7$--$0.9$(일반적으로 $0.8$--$0.9$)를 가진 $$\overline G(r) \approx γ+β(r+1)^{-p}$$로 잘 기술된다. 이 거동은 Gutenberg와 WikiText-103의 일관된 텍스트에서 나타난다. 토큰 셔플링 실험은 구문과 예측 품질이 무너져도 멱함수 프로파일이 지속되는 반면, 무작위로 초기화된 모델에서는 이를 나타내지 않음을 보여준다. 따라서 천천히 감쇠하는 장거리 감도는 학습된 자기회귀 트랜스포머 연산자의 학습된 특성으로 보인다. 이러한 발견은 언어 모델의 계층적 또는 조대 레벨 메커니즘이 긴 꼬리 감도 프로파일을 활용할 수 있음을 시사한다.
원문 초록
We study how the next-token prediction of an autoregressive Transformer language model changes under small perturbations of earlier input token embeddings. Motivated by operator learning and iterative solvers for differential equations, we investigate how the influence of one token on another decays with distance in a trained model. In multilevel methods for differential equations, such as domain decomposition, multigrid, and multilevel preconditioning, one often exploits a separation between strong local interactions and weaker but essential global interactions. The latter correspond to the long tail of the Green's function and are typically handled by a coarse-level operator. Inspired by this perspective, we compute an empirical, distance-resolved gradient profile of token dependencies using autograd. Experiments on trained Pythia models and Qwen2.5-0.5B show that, over the measured distance range, the median Jacobian sensitivity is much better described by a power-law-type decay than by an exponential alternative: the diagonal-normalized profile is well described by $$\overline G(r) \approx γ+β(r+1)^{-p}$$ with exponents $p \approx 0.7$--$0.9$ (typically $0.8$--$0.9$). This behavior appears on coherent text from Gutenberg and WikiText-103. Token-shuffling experiments show that the power-law profile persists even when syntax and prediction quality collapse, whereas randomly initialized models do not exhibit it. The slowly decaying long-range sensitivity thus appears to be a learned property of trained autoregressive Transformer operators. These findings suggest that hierarchical or coarse-level mechanisms in language models may be able to exploit the long-tailed sensitivity profiles.
요약
학습된 자기회귀 트랜스포머 언어 모델에서 토큰 간 영향력이 거리에 따라 어떻게 감쇠하는지를 그린 함수(Green's function) 관점에서 분석하며, autograd로 야코비안 감도를 측정한 결과 Pythia와 Qwen2.5-0.5B 모두에서 지수 감쇠가 아닌 멱함수적 감쇠($\overline{G}(r) \approx \gamma + \beta(r+1)^{-p}$, $p \approx 0.8$–$0.9$)를 따름을 실증적으로 보였다. 이 장거리 감도 프로파일은 토큰 셔플링 후에도 유지되지만 무작위 초기화 모델에서는 나타나지 않아, 해당 특성이 학습을 통해 획득됨을 시사한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.29139v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
역사는 반복된다: 선형 어텐션에서 롱컨텍스트 능력 발현하기
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
선형 어텐션(linear attention)은 롱컨텍스트(long-context) 언어 모델링에 필요한 효율성을 제공하지만, 크기가 고정된 순환 상태(recurrent state)가 지속적인 연산을 지원하는 동시에 계속 증가하는 과거 정보를 보존해야만 합니다. 이러한 결합은 상태의 메모리 용량이 모델의 롱컨텍스트 능력을 규정한다는 지배적인 관점을 강화해 왔습니다. 본 연구에서는 순환 연산이 장기 저장의 모든 부담을 짊어질 필요가 없다는 점을 들어 이러한 한계성에 의문을 제기합니다. 우리는 미래의 쿼리를 알 수 없는 상태에서 선별된 텍스트를 보관하고, 백본의 고유 특징을 활용하여 기록 및 주소 지정을 수행하며, 리플레이(replay)를 통해 고유의 순전파 연산으로 검색된 근거를 읽어오는 희소 에피소딕 메모리인 NoteBank를 소개합니다. 이 학습 불필요(training-free) 플러그 앤 플레이(plug-and-play) 인터페이스는 외부 임베딩 모델이나 별도로 학습된 검색기, 독립된 신경망 리더(neural reader)를 필요로 하지 않습니다. 100만 토큰 환경에서, 이는 Gated DeltaNet의 6개 RULER 검색 태스크 평균 정확도를 1.7%에서 70.3%로 향상시켰으며, 4K에서 1M 토큰까지 유의미한 검색 성능 저하가 관찰되지 않았습니다. 이러한 성능 회복 과정에서 추가되는 이론적 FLOPs는 0.025% 이하($\leqslant$0.025%)에 불과하며, 영구 컨텍스트 저장 공간은 동일한 너비, 깊이 및 정밀도 조건의 트랜스포머 전체 MHA KV 캐시 대비 약 1/2,600 수준입니다. 실험은 세 가지 1.3B 순환 백본부터 Mamba-2-8B 및 사후학습(post-training)을 거친 Qwen3.5-9B까지 확장되어 LongBench v1/v2와 MemoryAgentBench 전반에서 성능 향상을 입증했습니다. 종합적으로 이러한 결과는 희소 근거 저장과 고유 리플레이 메커니즘이 순환 연산의 효율성을 유지하면서도 사전학습된 선형 어텐션 모델의 롱컨텍스트 역량을 크게 확장할 수 있음을 보여줍니다.
증류의 어둠의 기술에 대한 방어: 서브리미널 학습(subliminal learning)의 비지도 발견
Defence against the dark arts of distillation: Unsupervised discovery of subliminal learning
언어 모델(language model)이 기본 매개변수(parameter)를 공유하는 교사 모델로부터 증류(distillation)될 때, 학생 모델은 해당 특성과 의미적으로 무관한 데이터로부터도 교사 모델의 행동적 특성---정렬 실패(misalignment)를 포함하여---을 물려받을 수 있다(Cloud et al., 2026). 기존의 모든 방어 기법은 해당 특성을 미리 알아야 한다는 조건을 요구한다. 본 연구는 이러한 요구 조건을 제거하고, 서브리미널하게 전이된 특성이 단 하나의 비대칭성을 활용함으로써 감독(supervision) 없이 매개변수 업데이트만으로도 복원될 수 있음을 증명한다: 그 특성은 교사 모델이 생성한 다양한 데이터셋(dataset) 전반에서 일관되게 나타나는 반면, 과제별 능력과 공유 능력은 데이터셋마다 달라진다. 이로부터 도출되는 추정량(estimator)은 가중치(weight) 공간상의 방향을 반환하며, 이를 증폭하여 해당 특성을 발견하고 해석할 수도 있고, 투영 제거(project out)하여 그 특성의 발현을 억제할 수도 있다. (Cloud et al., 2026)의 서브리미널 학습 벤치마크(benchmark)에 적용한 결과, 본 방법은 특성 레이블(label) 없이도 전이된 동물 선호(animal-preference) 특성을 복원하며, 과제 성능에는 거의 영향을 주지 않으면서 그 발현을 억제한다.
멀티스트림 어텐션 잔차
Multi-Stream Attention Residuals
어텐션 잔차(Attention Residuals, AttnRes)는 네트워크 깊이(depth) 축을 따라 콘텐츠 종속적(content-dependent) 검색(retrieval)을 가능하게 하며, 이는 깊이 축을 따른 단일 스트림 소프트맥스 어텐션으로 볼 수 있다. 시퀀스(sequence) 축을 따른 멀티헤드 어텐션(multi-head attention)의 성공에서 영감을 받아, 우리는 AttnRes를 멀티헤드 깊이 어텐션(multi-head depth attention)으로 일반화한 확장 기법인 멀티스트림 어텐션 잔차(Multi-Stream Attention Residuals, MSAR)를 제안하며, 이는 최소한의 추가 오버헤드로 상당한 성능 향상을 가져온다. MSAR는 멀티스케일 코잘 컨볼루션(multi-scale causal convolution)을 통해 시퀀스 컨텍스트로부터 스트림 다양성을 이끌어내며, 이를 통해 서로 다른 헤드가 은닉 표현(hidden representation)의 무결성을 유지하면서도 서로 다른 컨텍스트 관점을 통해 과거 표현(historical representation)을 검색할 수 있도록 한다. 검색된 스트림들은 경량의 적응형 믹싱(adaptive mixing)을 통해 결합되어 단일 스트림 층 입력을 생성한다. 단일 스트림 소스를 유지하면서 필요 시 이를 확장함으로써, MSAR는 지속적인 멀티스트림 저장이나 통신 없이도 멀티스트림 연산을 지원한다. 180억(18B) 및 280억(28B) 규모의 MoE(전문가 혼합) 모델에서 수행한 12개의 다운스트림 벤치마크 전반에 걸쳐, MSAR는 표준 잔차 연결(residual connection), 매니폴드 제약 하이퍼커넥션(manifold-constrained Hyper-Connections, mHC), AttnRes를 포함한 기존의 모든 잔차 변형 기법을 일관되게 능가한다. 스케일링 법칙(scaling-law) 실험 결과, 표준 잔차 기준선 대비 동일 손실(iso-loss) 기준 연산 속도 향상이 $1.58\times$로 나타났으며, 이는 AttnRes의 $1.35\times$ 및 mHC의 $1.30\times$와 비교된다. 이러한 결과는 MSAR를 대규모 사전학습을 위한 유망한 잔차 아키텍처로 만든다.
Orthros: 효율적인 트랜스포머를 위한 단계 인식 이종 어텐션
Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers
선형 어텐션(linear attention)과 슬라이딩 윈도우 어텐션(sliding window attention) 같은 효율적인 어텐션 메커니즘은 트랜스포머의 계산 복잡도를 제곱(quadratic)에서 선형(linear)으로 줄이는 것을 목표로 한다. 그러나 이러한 메커니즘은 문맥 내 재현율(in-context recall)이 저하되는 경우가 많아 전체 어텐션(full attention) 레이어를 교차 배치해야 하는 경우가 많으며, 이로 인해 긴 문맥(long-context) 처리에서 제곱 복잡도 병목이 여전히 해결되지 않은 채로 남아 있다. 이를 해결하기 위해, 우리는 효율성 패러다임을 구조적 할당(structural allocation)에서 단계 인식 분리(phase-aware decoupling)로 전환하는 Orthros 어텐션을 제안한다. Orthros는 통합된 모듈로서 시퀀스 처리의 서로 다른 단계(phase)에 걸쳐 계산 패턴을 동적으로 전환하여, 프리필링(prefilling)에서는 선형 복잡도를, 디코딩(decoding)에서는 전체 어텐션을 가능하게 한다. 이러한 설계는 무거운 프리필링과 가벼운 디코딩으로 특징지어지는 일반적인 긴 문맥 시나리오에서 Orthros 어텐션이 기본 트랜스포머(vanilla Transformer)보다 더 낮은 점근적 복잡도(asymptotic complexity)를 갖도록 한다. 이론적 정식화와 복잡도 분석을 넘어, 광범위한 실증적 평가를 통해 Orthros가 여러 측면에서 우수함을 입증한다. 첫째, 우리는 Orthros의 기본적인 언어 모델링 능력을 검증하여 다양한 모델 크기에 걸친 확장성(scalability)과 종합적인 아키텍처 비교에서의 강력한 경쟁력을 보여준다. 둘째, Orthros는 데이터 효율적인 트랜스포머-투-Orthros 변환(Transformer-to-Orthros conversion)을 통해 뛰어난 변환 가능성(conversion feasibility)을 보여주며, 원본 트랜스포머를 능가하는 성능을 달성한다. 마지막으로, Orthros는 트랜스포머 대비 21.9배의 프리필링 속도 향상(prefilling speedup)을 달성하며 종단 간(end-to-end) 추론 성능 향상을 보이는 동시에, 거의 완벽한 128K 니들 인 어 헤이스택(needle-in-a-haystack) 결과와 실제 문맥 내 재현율 과제에서 트랜스포머 수준의 성능을 통해 긴 문맥 처리 능력을 유지한다. 전반적으로, 이러한 높은 성능, 유연성, 효율성의 장점들은 Orthros를 산업 응용 분야에서 트랜스포머를 계승할 유망한 후보로 자리매김하게 한다.
점수는 구조가 아니다: 뇌 정렬과 교차 언어 전이
The Score Is Not the Structure: Brain Alignment and Cross-Lingual Transfer
유사도 점수는 모델(model)이 뇌 또는 여러 언어 전반에 걸쳐 구조를 공유한다는 증거로 자주 제시됩니다. 본 연구에서는 두 가지 설정에서 해당 구조가 제거되거나 이를 측정하는 도구가 작동하지 않을 때 이러한 점수가 무엇을 나타내는지 질문합니다. 17개 언어 전반에서 문법성 프로브(probe)는 거리가 더 먼 언어 간에 전이 성능이 더 낮습니다(r = -0.66). 그러나 프로브 자체의 정확도도 동일한 축을 따라 하락하며 가장 먼 5개 언어 중 4개를 포함한 4개 언어에서는 무작위 확률 수준(chance level)에 머뭅니다. 이들을 제외하면 설명 변량이 절반으로 줄어들고, 거리 범위 또한 좁아지기 때문에 이러한 설계로는 그래디언트(gradient) 중 얼마만큼이 측정 도구에 기인한 것인지 밝힐 수 없습니다. 272개의 언어 쌍을 독립적인 것으로 간주하면 조향 효과(steering effect)에 대해 p = 0.0006이 산출되지만, 17개 언어를 단위로 삼을 경우 이는 무효합니다(p = 0.155). 뇌 정렬(brain alignment)의 경우, 학습(training) 목표는 언어 모델(language model)과 fMRI 반응 간의 유사도를 0.10에서 0.34로 높이지만(신뢰도 상한선 0.54), 뇌 대응 관계가 파괴된 타깃도 여전히 0.31에 도달합니다. 셔플된 타깃은 랭크 k와 n개의 문장에 대해 실제 타깃 대비 약 k/n의 점수를 기록하는데, 이는 어떤 모델도 학습되기 전에 계산할 수 있는 기준선(baseline)입니다. 두 개입 모두 작동하지만, 거리 등급에 따른 조향 효과나 정렬을 통한 구문론적 이점은 감지되지 않았습니다. 대응 점수를 해석하기 전에, 대응 관계가 없는 상태에서 해당 점수가 얼마만큼 유지되는지 먼저 측정해야 합니다.
Latent-MOPD: 잠재 다중 교사 온-정책 증류
Latent-MOPD: Latent Multi-Teacher On-Policy Distillation
온-정책 증류(OPD)는 학생 모델이 직접 생성한 응답을 바탕으로 학생 모델을 학습시킵니다. 기존의 대규모 언어 모델(LLM) 다중 교사 OPD는 전문가 모델들이 예측한 내용을 출력 분포를 통해 전이합니다. 본 논문에서는 우리가 아는 한 LLM을 위한 최초의 표현 수준(representation-level) 다중 교사 OPD 방법인 Latent-MOPD를 소개합니다. 이 방법은 추가적인 교사 학습 없이, 기존 전문가 모델들의 예측값뿐만 아니라 이를 계산하는 데 사용된 은닉 상태(hidden state)까지 함께 활용하여 전문가 모델들을 통합합니다. 여러 전문가 모델로부터의 표현 지도를 조율하기 위해, 교사-학생 관계에 따라 후반 층(late-layer) 타깃을 선택하고, 공유 투영(shared projection)을 통해 서로 다른 은닉 차원 너비를 연결하며, 도메인별로 업데이트를 그룹화합니다. 각 교사의 지도는 은닉 상태에서 토큰 예측으로 점진적으로 전환되며, 두 채널 모두 동일한 라우팅된 전문가 모델을 사용합니다. 주요 동일 계열(same-family) 설정에서 Latent-MOPD는 수학, 코드, 논리에 걸친 9개 벤치마크 전체에서 토큰 전용, 표현 전용 및 균일 평균화(uniform-averaging) 베이스라인보다 뛰어난 성능을 보였습니다. 각 교사와 동일한 매개변수 수를 가진 학생 모델은 이러한 벤치마크 대다수에서 벤치마크별 최고 성능 교사의 성능을 능가하기도 했습니다. 별도로 개발된 더 큰 이종 계열(cross-family) 교사를 사용한 설정에서도 Latent-MOPD는 모든 벤치마크에서 두 단일 채널 베이스라인을 모두 능가했습니다. 동일 계열의 모든 층 표현 전용 대조군은 도메인 순수 업데이트에서는 안정적으로 유지되었으나, 하나의 업데이트 내에서 교사 도메인이 교차될 때는 붕괴되었습니다. 본 연구 결과는 단일 학생 모델이 여러 전문가 모델의 출력 분포와 내부 표현 모두를 통해 이들의 역량을 성공적으로 통합할 수 있음을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.