arXiv:2607.05583v2 cs.CL

ResonatorLM: 효율적인 장문맥 언어 모델링을 위한 인과적 공명 필드 혼합

ResonatorLM: Causal Resonant Field Mixing for Efficient Long-Context Language Modeling

Archie Chaudhury

제출 2026-07-06

한국어 초록

현대 언어 모델은 트랜스포머 아키텍처가 주도하고 있으며, 이는 셀프 어텐션 메커니즘을 활용하여 광범위한 문서와 코퍼스에 걸쳐 효율적이고 병렬화된 학습을 가능하게 한다. 이를 통해 트랜스포머는 다양한 모달리티와 컨텍스트에 걸쳐 데이터를 효과적으로 모델링할 수 있었다. 그러나 트랜스포머는 순환 신경망(RNN), 합성곱 신경망(CNN)과 같은 기존 모델들과 마찬가지로, 긴 문맥을 처리할 때 효율성을 유지하는 데 어려움을 겪는 경우가 많다. 우리는 어텐션을 물리학에서 파생된 대안으로 대체하는 새로운 메커니즘인 ResonatorLM을 제안한다. ResonatorLM은 토큰 시퀀스를 단일의 구동되는 1차원 잠재 필드로 취급하고, 어텐션 내적을 감쇠 공명자(damped resonator)의 인과적 함수로 대체한다. 우리는 ResonatorLM을 기존 네트워크 아키텍처에 구현하고 표준 장문맥 모델링 과제에서 평가하였다. 600만 파라미터의 동일 규모 설정에서, 학습 및 프리필(prefill) 속도 향상은 시퀀스 길이에 따라 증가하고, 디코드 속도는 32K 토큰에서 표준 최적화 트랜스포머 대비 6.47배에 달하며, WikiText에서의 정확도는 55.32%에 비해 61.31%를 달성하였다.

원문 초록

Contemporary language models are dominated by the transformer architecture, which leverages self-attention mechanisms to enable more efficient, parallelized training across a wide set of documents and corpora. This has allowed transformers to effectively model data across a wide range of modalities and contexts. However, transformers, along with their conventional counterparts such as recurrent neural networks (RNNs) and convolutional neural networks (CNNs), often struggle to maintain efficiency when processing long contexts. We introduce ResonatorLM, a new mechanism that replaces attention with a physics-derived alternative. ResonatorLM treats token sequences as a single, driven one-dimensional latent field and replaces attention dot products with causal functions of damped resonators. We implement ResonatorLM on a traditional network architecture and test it on standard long-context modeling tasks. We find that in a small, 6M matched setting, training and prefill speedups increase with sequence length, decode speed reaches 6.47x compared to that of a standard, optimized transformer at 32K tokens, and accuracy reaches 61.31 percent (compared to 55.32 percent) on WikiText.

요약

ResonatorLM은 트랜스포머의 셀프 어텐션을 물리학에서 착안한 감쇠 공명자(damped resonator) 기반의 인과적 공명 필드 믹싱으로 대체하는 새로운 언어 모델 아키텍처로, 학습 및 프리필 시에는 O(n log n) FFT 합성곱을, 자기회귀 디코딩 시에는 고정 크기 순환 상태를 사용한다. 6M 파라미터 설정에서 32K 토큰 기준 디코딩 속도 6.47배 향상을 달성하면서 WikiText에서 정확도도 55.32%에서 61.31%로 향상되었다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.05583v2제출 시각 미확인
  2. arXiv:2607.05583v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27294v1cs.LG공통 태그 Language Modeling, Decoder, Computational Efficiency

KITE: 효율적인 에이전트 LLM 스케일링을 위한 KV 불변 트랜스포머 확장

KITE: KV-Invariant Transformer Expansion for Efficient Agentic LLM Scaling

언어 모델 스케일링은 최종 품질만의 문제가 아니다. 아키텍처 선택은 특정 모델 품질을 달성하기 위해 학습, 프롬프트 처리, 자기회귀(autoregressive) 디코딩에 얼마나 많은 연산이 소비되는지를 결정한다. 이상적인 모델 아키텍처는 더 큰 모델로의 스케일링을 촉진하기 위해 위의 모든 연산 비용을 낮추면서, 더 큰 모델이 실제로 더 작은 베이스라인보다 우수한 성능을 내야 한다. 우리는 이 목표를 달성하는 스케일링 패러다임인 KV 불변 트랜스포머 확장(KV-Invariant Transformer Expansion, KITE)을 제안한다. KITE는 모델을 더 작은 크기에서 더 큰 크기로 학습시키며(즉, 업사이클링(upcycling)을 통해 학습 비용을 절감), 새로 추가된 파라미터를 어텐션 KV에 영향을 주지 않는 영역에 배치한다. 따라서 추론 시 프리필(prefilling) KV는 모델의 더 작은 부분에만 의존하므로 추론 비용이 절감된다. 구체적인 구현으로, 한 타워가 KV를 생성하고 다른 타워가 이를 읽는 이중 타워 디코더인 Step Scale Transformer(SST)를 제시한다. 동등한 누적 학습 연산량에서, 디코드 토큰당 활성 body 파라미터 2.15B인 67B MoE 모델 SST는, 활성 body 파라미터가 각각 1.48B 및 2.02B인 47B 및 63B MoE 트랜스포머보다 더 낮은 학습 손실을 달성하면서, 추정 추론 비용을 각각 6.7% 및 31.6% 줄인다.

arXiv:2609.27581v1cs.LG공통 태그 Language Modeling, Decoder, Computational Efficiency

Step Law는 소규모 언어 모델에도 전이되는가? 59M 파라미터 미만에서의 실증적 재보정

Does Step Law Transfer to Small-Scale Language Models? An Empirical Recalibration Below 59M Parameters

Step Law는 언어 모델 사전학습 시 최적 피크 학습률 η*와 배치 크기 B*에 대한 멱법칙(power-law) 공식을 제공한다. 원 저자들은 59M~1B 파라미터 모델에서 이를 보정했으며, N < 59M인 소규모 모델 영역은 실증적으로 검증한 적이 없다. 이 영역은 단일 GPU 학습, 해석 가능성 연구, 교육용 실험, 메모리·비용상 더 큰 모델을 쓰기 어려운 환경에서 중요하다. 우리는 Step Law가 소규모 언어 모델에도 전이되는지 검증한다. 세 가지 결과를 가정한다. H1: 원래 계수를 그대로 쓸 수 있다. H2: 멱법칙 형태는 유지되나 계수가 다르다. H3: 이 영역에서는 멱법칙이 최적점을 설명하지 못한다. 모든 실험은 2048 토큰 BPE 어휘, AdamW, warmup-cosine 스케줄을 사용하는 단일 nanoGPT/TinyStories 파이프라인에서 수행했다. 각 (N, D) 셀의 최적점은 평활화된 학습 손실에 대해 log-log 좌표에서 국소 이차 근사를 통해 손실 표면 L(η, B)에서 추출했다. 최종 데이터셋은 서로 다른 (N, D) 셀 29개와 분석에 사용 가능한 run 935개를 포함한다. 주 재적합은 작업 구간 4 <= D/N <= 600에서 25개 셀(815 runs)을 사용한다. 풀링 데이터에서는 H2를 채택한다. 함수 형태는 유지되나 계수는 원 논문과 다르다. η*(N, D) = 0.0985 N^(-0.508) D^(0.238) (R^2 = 0.834)와 B*(D) = 3.6 × 10^(-4) D^(0.931) (R^2 = 0.950)를 얻었다. Step Law의 구조적 주장인 B*의 N 비의존성은 재현된다(p = 0.87). 다만 B*가 D에 따라 증가하는 기울기는 원 논문의 거의 2배다. Step Law를 직접 전이하면 최적 학습률을 체계적으로 과대 추정한다. η_SL / η*의 중앙값 비는 약 4.0배이며, 범위는 2.4배에서 6.6배이다.

arXiv:2609.27657v1cs.LG공통 태그 Language Modeling, Decoder, Computational Efficiency

FLEET: 텍스트 생성에서 로짓 엔트로피로부터 향상된 궤적으로

FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation

대규모 언어 모델(LLM) 기반의 솔루션은 완성 분포(completion distribution)에서 여러 샘플을 추출해 종합함으로써 정확도와 안정성을 향상하기 위해 온도 샘플링(temperature sampling)에 자주 의존합니다. 그러나 이러한 무기억(memoryless) 접근법은 본질적으로 차선책입니다. 이전 생성 결과 및 해당 평가에 대한 인식이 부족하기 때문에, 더 많은 샘플을 추출할수록 의미론적으로 중복된 답변의 비율이 증가하여 수확 체감으로 이어집니다. 이러한 한계를 해결하기 위해 생성 과정에 메모리 메커니즘을 통합하는 새로운 방법인 FLEET을 도입합니다. FLEET은 엔트로피가 사전 정의된 임계값을 초과하는 상태를 통과하는 희소 궤적(sparse trajectory)으로 각 생성을 표현하며, 이러한 궤적을 사용하여 로짓을 조정하는 토큰(token)별 효용 점수를 추론합니다. 벤치마크(benchmark) 평가는 FLEET이 반복 샘플링 기준선(baseline)과 동일한 정확도를 3배 빠른 속도로 달성하며, 동일한 예산 내에서 복잡한 코딩 태스크의 정확도를 크게 향상함(LiveCodeBench Pass@32가 59.9%에서 66.2%로 증가)을 입증합니다. 나아가 본 논문에서 평가된 탐욕적 디코딩(greedy-decoding) 구성에서 이 접근법은 결정론적이며 단일 캘리브레이션 패스를 사용하여 주요 하이퍼파라미터를 도출하므로 기존 LLM 파이프라인에 대한 수정이 최소한으로만 필요합니다.

arXiv:2609.28006v1cs.LG공통 태그 Language Modeling, Decoder, Computational Efficiency

공유 전역 KV와 층별 로컬 히스토리

Shared Global KV with Layer-Specific Local History

디코더 전용 트랜스포머(Transformer) 언어 모델은 생성 과정에서 과거 연산을 재사용하기 위해 키와 값(KV)을 캐시한다. 층 간에 KV를 공유하면 저장 공간을 절약할 수 있지만, 깊이에 따라 사용할 수 있는 표현의 다양성이 줄어든다. 본 연구는 공유된 전역 KV와 함께 로컬 메모리가 무엇을 보존해야 하는지를 연구하며, 이때 히스토리 내용과 그것을 형성하는 데 사용되는 입력 소스를 구분한다. 126M 파라미터와 2K 컨텍스트에서 수행한 8개 시드 실험 결과, 로컬 히스토리를 사용한 경우가 현재 토큰 로컬 브랜치를 사용한 경우보다 보류(held-out) 테스트 퍼플렉시티가 약 1.4% 낮았다. 용량, 항목 수, 학습 연산량 통제 실험은 히스토리 내용의 가치를 뒷받침한다. 2개 시드 비교에서는 인접한 층이 로컬 입력을 공유하면서도 독립적인 프로젝션을 유지하는 경우에도 이 가치가 유지되며, 소스 공유는 정확한 캐시 구성 의존성도 단축한다. GQA 및 인접 층 KV 공유와 비교했을 때, 동일한 제한 범위의 학습률 탐색과 새로운 시드를 이용한 확인 실험에서 더 큰 캐시와 더 높은 긴 요청 지연 시간을 대가로 동일 소스 가능도가 더 우수했다. 인접 층 공유와의 이러한 순위는 동일 토큰 수로 8K까지 적응시킨 뒤에도 유지되지만, 짧은 컨텍스트에서는 비용이 발생한다. 8개 시드로 측정한 외부 도서 히스토리 효과는 여전히 불확실하며, 다운스트림 결과는 작업에 따라 다르다. 또한 정확한 산술 하에서 완전한 캐시를 보존하면서 상위 층의 구성 작업량을 줄이는 충분 접미사 스케줄(sufficient suffix schedule)을 유도한다.

arXiv:2609.28212v1cs.LG공통 태그 Language Modeling, Decoder, Computational Efficiency

대수 깊이 순환 언어 모델링

Log-Depth Recurrent Language Modeling

Transformer를 이용한 언어 모델링은 고정된 계산 깊이와 입력 토큰 수에 대한 이차 시간 복잡도에도 불구하고 널리 쓰이게 되었다. 반면 순환 모델은 선형 깊이를 제공하지만 병렬 실행은 불가능하다. 본 연구에서는 균형 트리(balanced-tree) 재귀 연산자를 시퀀스 인코딩에서 자기회귀(autoregressive) 예측으로 확장하여, 모든 접두 문맥 표현을 대수 깊이와 선형 실행 시간으로 계산할 수 있게 한다. 실험을 통해 이 모델 클래스에 대한 초기 특성 분석을 제공하며, 견고한 길이 외삽(length extrapolation)과 ALiBi 기반 Transformer에 근접한 성능을 보여, 언어 모델링을 위한 대안 아키텍처로서의 잠재력을 부각한다.

arXiv:2610.13605v1cs.CL공통 태그 Language Modeling, Computational Efficiency

zip2zip++: 최소한의 품질 손실로 추론 시점 토큰 압축을 향하여

zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss

Lempel-Ziv-Welch(LZW) 압축을 통해 즉석에서 구축되는 동적 어휘(dynamic vocabulary)는 언어 모델이 동일한 텍스트를 더 적은 토큰으로 표현할 수 있게 해주지만, 기존 연구에 따르면 이러한 효율성은 추론 능력과 퍼플렉시티(perplexity)의 저하를 대가로 한다. 우리는 이러한 품질 격차가 압축에 따른 근본적인 대가가 아니며, 기반이 되는 사전학습된 언어 모델을 수정하지 않고도 압축 층과 LZW 코덱에 대한 표적화된 개선을 통해 상당 부분 해소될 수 있음을 보인다. 우리의 분석은 네 가지 핵심 문제를 밝혀낸다: (1) LZW의 압축 알고리즘은 입력 임베딩과 출력 임베딩 사이에 암묵적인 충돌을 발생시키며, 이는 단일한 공유 임베딩으로는 해결할 수 없는 긴장 관계이다; (2) RoPE를 LZW로 압축된 시퀀스에 단순하게 적용하면 병합된 토큰이 여러 토큰에 걸쳐 있을 수 있다는 사실을 무시하게 된다; (3) 특정 토큰(특히 숫자)의 병합은 다운스트림 정확도를 불균형적으로 저해한다; 그리고 (4) 동적 어휘는 표준 평가를 혼란스럽게 만드는 본질적인 분절 모호성을 야기한다. 우리는 입력/출력을 분리한 동적 임베딩 층, 크기를 인식하는 RoPE 위치 인코딩, 그리고 선택적 병합과 다중 관점 분절(multi-view segmentation)을 지원하는 수정된 LZW 코덱을 통해 이러한 문제들을 해결한다. 네 가지 모델에 걸쳐, 우리의 방법은 평가한 모든 코퍼스에서 퍼플렉시티를 개선할 뿐만 아니라 수학적 추론 정확도도 향상시키며, 일반 텍스트에서 유사한 압축률로 zip2zip과 비압축 기준선 사이의 품질 격차를 대략 절반으로 줄인다. 이는 언어 모델을 위한 무손실 적응형 어휘 압축을 향한 중요한 진전을 의미한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.