Modular Norm RandOpt: 아키텍처 인식 교란을 통한 인구 효율적 앙상블
Modular Norm RandOpt: Population-Efficient Ensembling through Architecture-Aware Perturbations
한국어 초록
RandOpt는 가중치가 교란된 언어 모델을 샘플링하고 최상위 순위 후보들을 다수결 투표로 앙상블하지만, 전역 교란 스케일은 모듈마다 다른 기하 구조를 무시한다. 우리는 Modular Norm RandOpt를 제안한다. 이는 모듈별 natural norm과 보정된 스케일을 사용하는 아키텍처 인식 샘플링 방법으로, 선택과 투표 방식은 그대로 유지한다. Countdown에서는 RandOpt보다 $3\times$ 적은 후보로 더 나은 성능을, GSM8K에서는 최소 $12\times$ 적은 후보로 더 나은 성능을 보이며, 이에 상응하는 wall-clock 절감이 있다. 7개 과제와 Qwen 3가지 규모($0.5$B--$3$B)에 걸친 평가에서 Countdown, GSM8K, MATH-500에서 모든 규모에서 RandOpt보다 평균 정확도가 더 높다. 이득은 Countdown과 GSM8K에서 Llama 3.2 $3$B와 Gemma 3 $4$B까지 확장된다. Qwen2.5-1.5B에서는 비교 가능한 main-run 평가 예산에서 두 과제 모두 반복적 베이스라인보다 평균 정확도가 더 높은 앙상블도 달성한다. GSM8K에서 tail-density 진단은 후보 감소가 $1.2$--$1.8\times$에 불과함을 시사하는 반면, 앙상블 개선의 대부분은 더 유리한 correct-expert support와 연관된다. 이러한 결과는 교란 기하학이 사전학습 모델 주변의 인구 효율적·그래디언트 없는 탐색에서 핵심 설계 선택임을 부각한다.
원문 초록
RandOpt samples weight-perturbed language models and ensembles top-ranked candidates through plurality voting, but its global perturbation scale ignores heterogeneous module geometry. We propose Modular Norm RandOpt, an architecture-aware sampling method using module-wise natural norms and calibrated scales while preserving selection and voting. It outperforms RandOpt using $3\times$ fewer candidates on Countdown and at least $12\times$ fewer on GSM8K, with corresponding wall-clock savings. Evaluations across seven tasks and three Qwen scales ($0.5$B--$3$B) show higher mean accuracy than RandOpt on Countdown, GSM8K, and MATH-500 at every scale. The gains extend to Llama 3.2 $3$B and Gemma 3 $4$B on Countdown and GSM8K. On Qwen2.5-1.5B, our ensembles also achieve higher mean accuracy than iterative baselines on both tasks at comparable main-run evaluation budgets. On GSM8K, a tail-density diagnostic implies only a $1.2$--$1.8\times$ candidate reduction, while most ensemble improvement is associated with more favorable correct-expert support. These results highlight perturbation geometry as a key design choice for population-efficient, gradient-free search around pretrained models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.25745v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
zip2zip++: 최소한의 품질 손실로 추론 시점 토큰 압축을 향하여
zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss
Lempel-Ziv-Welch(LZW) 압축을 통해 즉석에서 구축되는 동적 어휘(dynamic vocabulary)는 언어 모델이 동일한 텍스트를 더 적은 토큰으로 표현할 수 있게 해주지만, 기존 연구에 따르면 이러한 효율성은 추론 능력과 퍼플렉시티(perplexity)의 저하를 대가로 한다. 우리는 이러한 품질 격차가 압축에 따른 근본적인 대가가 아니며, 기반이 되는 사전학습된 언어 모델을 수정하지 않고도 압축 층과 LZW 코덱에 대한 표적화된 개선을 통해 상당 부분 해소될 수 있음을 보인다. 우리의 분석은 네 가지 핵심 문제를 밝혀낸다: (1) LZW의 압축 알고리즘은 입력 임베딩과 출력 임베딩 사이에 암묵적인 충돌을 발생시키며, 이는 단일한 공유 임베딩으로는 해결할 수 없는 긴장 관계이다; (2) RoPE를 LZW로 압축된 시퀀스에 단순하게 적용하면 병합된 토큰이 여러 토큰에 걸쳐 있을 수 있다는 사실을 무시하게 된다; (3) 특정 토큰(특히 숫자)의 병합은 다운스트림 정확도를 불균형적으로 저해한다; 그리고 (4) 동적 어휘는 표준 평가를 혼란스럽게 만드는 본질적인 분절 모호성을 야기한다. 우리는 입력/출력을 분리한 동적 임베딩 층, 크기를 인식하는 RoPE 위치 인코딩, 그리고 선택적 병합과 다중 관점 분절(multi-view segmentation)을 지원하는 수정된 LZW 코덱을 통해 이러한 문제들을 해결한다. 네 가지 모델에 걸쳐, 우리의 방법은 평가한 모든 코퍼스에서 퍼플렉시티를 개선할 뿐만 아니라 수학적 추론 정확도도 향상시키며, 일반 텍스트에서 유사한 압축률로 zip2zip과 비압축 기준선 사이의 품질 격차를 대략 절반으로 줄인다. 이는 언어 모델을 위한 무손실 적응형 어휘 압축을 향한 중요한 진전을 의미한다.
AI를 위한 진정한 장기 기억: 재계산보다 더 빠르고 저렴한 5,000만 토큰 윈도우
Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute
대규모 언어 모델(LLM)은 컨텍스트 윈도우에 들어가는 텍스트만 사용할 수 있으며, 프롬프트가 전송될 때마다 해당 프롬프트에 대한 내부 키-값(KV) 상태를 다시 계산합니다. 본 연구에서는 약 16,000개 토큰 블록의 KV 상태를 암호화된 로컬 NVMe 디스크에 저장하고, 이후 재계산 없이 바이트 단위로 정확하게(byte-exact) 다시 로드하는 메모리 층인 공개 패키지 galahad-kv를 테스트합니다. 단일 NVIDIA H100에서 vLLM을 통해 서빙되는 50,000,000개 토큰의 실제 공개 텍스트를 대상으로 Gemma 4 12B 및 Gemma 4 31B와 함께 이를 실행했습니다. 조사한 모든 블록은 두 모델 모두에서 재계산 없이 암호화된 저장소로부터 다시 로드되었습니다(0부터 5,000만 토큰 깊이에서 100회 중 100회). 블록을 로드하는 것은 재계산하는 것보다 2.8배에서 4.3배 더 빨랐고 GPU 에너지를 8.8배에서 12.3배 적게 사용했으며, 전체 5,000만 토큰 스트림 동안 GPU 메모리는 일정하게 유지되었습니다. 수백만 토큰 앞서 심어둔 사실에 대한 질문에서 12B 모델은 100회 중 82회, 31B 모델은 100회 중 98회 올바른 답변을 제시했습니다. 두 모델 모두 답을 지어내지 않았습니다. 한계점은 다음과 같습니다. 이는 더 넓은 어텐션 윈도우가 아니라 저장된 상태를 재사용하는 것입니다. 즉, 한 번에 하나의 블록이 로드되며, 질문에 얼마나 잘 답하는지는 모델에 달려 있습니다. 메모리 쓰기는 일회성 비용이며 저장소는 수 테라바이트의 로컬 NVMe 디스크를 차지합니다. 본 논문에서는 롱 컨텍스트 벤치마크를 왜곡하는 일반적인 방식에 대응하도록 설계된 테스트 프로토콜을 설명하고, 공개 소프트웨어 및 해당 패키지의 무료 라이선스를 활용하는 단일 GPU 재현 방안을 제공합니다.
스파이킹 언어 모델에서 시간적 인코딩과 비선형 연산 간의 트레이드오프 재고
Rethinking the Tradeoff Between Temporal Encoding and Nonlinear Computation in Spiking Language Models
스파이킹 언어 모델(Spiking language models)은 짧은 시간 윈도우에서 연속적인 의미적 특징을 표현하는 것과 비용이 많이 드는 비선형 어텐션(attention) 연산을 유지하는 것 사이의 트레이드오프에 직면합니다. 본 논문에서는 스파이크 인코딩과 어텐션 연산자를 공동 설계하는 Spora를 제안합니다. 이진 시간 가중치(binary temporal weights)를 통해 $T$개의 스파이크가 최대 $T$ 비트의 용량으로 구성적 값(compositional values)을 표현할 수 있도록 하며, 이는 스파이크 수 판독(spike-count readout)의 $O(\log_2 T)$ 비트와 대비됩니다. 단극성 이진 스파이킹(Unipolar Binary Spiking, UBS)은 임계값과 스파이크 트리거 잔차 감쇠를 사용하여 음이 아닌 정수 코드를 생성하고, 양극성 이진 스파이킹(Bipolar Binary Spiking, BBS)은 부호와 크기를 분리하며 부호화된 활성화에 대한 스케일을 학습합니다. 이러한 표현은 어텐션에서 누적 및 시프트(accumulation-and-shift) 내적과 정수 지수 매핑을 지원합니다. 4개 타임스텝에서 Spora는 평균 GLUE 점수 76.6점과 CoLA MCC 44.1점을 달성하여 SpikeLM 대비 각각 1.2점 및 6.2점 향상되었습니다. BBS를 6개 스텝으로 확장하면 이 점수는 각각 78.2점과 47.4점으로 상승합니다. 조건부 감쇠 분석, 예산 일치 활성화 양자화(quantization) 비교, 이벤트 워크로드 통계, 고정소수점 평가를 통해 인코딩 충실도와 계산 비용 간의 관계를 추가로 규명합니다.
LionMuon: 효율적인 학습을 위한 스펙트럼 및 부호 하강 교차 기법
LionMuon: Alternating Spectral and Sign Descent for Efficient Training
언어 모델 사전학습에는 막대한 양의 연산량이 소모되며, 적절한 옵티마이저를 사용하면 이를 상당 부분 절감할 수 있습니다. Muon의 스펙트럼 스텝은 부호(sign) 스텝보다 더 강력한 방향을 제공하지만 연산 비용이 큽니다. 매 스텝마다 전체 행렬에 대해 뉴턴-슐츠 반복(Newton-Schulz iterations)을 수행하며, 분산 학습 환경에서는 추가적인 올리듀스(all-reduce)가 발생합니다. 반면 Lion 및 Signum과 같은 부호 스텝은 비용이 저렴하며 각 디바이스에 국소적으로 유지됩니다. 본 논문에서는 $P$ 반복마다 한 번의 Muon 스텝을 수행하고 그 사이에는 Lion 스텝을 수행하며, 두 방식이 단일 듀얼 EMA 모멘텀 버퍼를 공유하는 LionMuon을 제안합니다. Muon의 연산 및 통신 비용은 $P$ 스텝마다 한 번만 발생하며, 옵티마이저 상태 메모리는 AdamW의 절반 수준입니다. 단일 EMA 변형인 SignMuon만으로도 이미 Muon 대비 성능 향상을 보입니다. 저자들은 주기 $P$가 Muon과 Lion의 매끄러움(smoothness) 및 노이즈 상수를 보간하며 LionMuon이 두 방법보다 더 빠른 조건을 제시하는 꼬리가 두꺼운 노이즈(heavy-tailed noise) 환경에서의 복잡도 한계를 증명합니다. FineWeb으로 학습된 124M 및 355M 모델에서 $P=2$ 및 $P=5$인 LionMuon은 동일한 토큰 수에서 Muon, AdamW, Lion, Signum보다 더 낮은 손실을 달성합니다. 4개 GPU 데이터 병렬 학습 환경의 PCIe 상에서 LionMuon은 Muon의 최종 손실에 도달하면서도 소요 시간(wall-clock)을 3분의 1 줄였으며, 정확한 그래디언트를 유지하면서도 노출되는 통신량 증가 없이 통신 효율적인 Muon 변형인 Dion 및 MuonBP보다 더 우수한 손실 성능을 보입니다. 코드: https://github.com/brain-lab-research/lion-muon
KV$^2$: 자체 정제형 키-값(KV) 캐시
KV$^2$: A Self-Refining KV Cache
키-값(KV) 캐시의 메모리 점유 공간은 긴 문맥(long-context) 모델의 실용적 활용을 제약하며, 사전 채움(prefilled)된 단일 문맥이 이후 여러 다양한 질의를 처리해야 할 때 비용의 대부분을 차지합니다. 이러한 재사용 환경에서 질의 무관(query-agnostic) 압축은 비용과 품질 간의 트레이드오프를 가집니다. 경량 추정기는 연산 비용이 저렴하지만 정확도가 낮고, 전체 문맥 재구성 점수 산정 방식은 더 정확하지만 전체 프롬프트(prompt)를 다시 처리해야 합니다. 본 연구에서는 선택적 재구성을 기반으로 한 질의 무관 KV 캐시 압축 기법인 KV$^2$를 소개합니다. KV$^2$는 먼저 경량 프록시 점수 산정기를 사용하여 문맥 내 유익한 토큰을 식별한 다음, 이 하위 집합만을 다시 처리하여 최종 축출(eviction) 점수를 계산합니다. RULER, Needle-in-a-Haystack, LongBench 벤치마크에서 KV$^2$는 예산이 빠듯해질수록 기준선(baseline) 대비 마진(margin) 격차를 넓힙니다. 2%의 KV 캐시 예산을 사용한 RULER 16K에서 차상위 기준선 대비 평균 점수를 40%p 이상 향상시켰으며, LongBench에서는 2%~10% 예산 전반에 걸쳐 전체 문맥 재구성 방식보다 압축 단계의 실행 시간 및 피크 메모리를 낮추면서도 가장 높은 평균 점수를 달성했습니다. 따라서 재사용 가능한 KV 캐시 압축은 전체 문맥을 다시 처리할 필요가 없습니다. 본 연구의 코드는 https://anonymous.4open.science/r/KVsquared-0B97 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.