LightRNN: Memory and Computation-Efficient Recurrent Neural Networks
원문 초록
Recurrent neural networks (RNNs) have achieved state-of-the-art performances in many natural language processing tasks, such as language modeling and machine translation. However, when the vocabulary is large, the RNN model will become very big (e.g., possibly beyond the memory capacity of a GPU device) and its training will become very inefficient. In this work, we propose a novel technique to tackle this challenge. The key idea is to use 2-Component (2C) shared embedding for word representations. We allocate every word in the vocabulary into a table, each row of which is associated with a vector, and each column associated with another vector. Depending on its position in the table, a word is jointly represented by two components: a row vector and a column vector. Since the words in the same row share the row vector and the words in the same column share the column vector, we only need $2 \sqrt{|V|}$ vectors to represent a vocabulary of $|V|$ unique words, which are far less than the $|V|$ vectors required by existing approaches. Based on the 2-Component shared embedding, we design a new RNN algorithm and evaluate it using the language modeling task on several benchmark datasets. The results show that our algorithm significantly reduces the model size and speeds up the training process, without sacrifice of accuracy (it achieves similar, if not better, perplexity as compared to state-of-the-art language models). Remarkably, on the One-Billion-Word benchmark Dataset, our algorithm achieves comparable perplexity to previous language models, whilst reducing the model size by a factor of 40-100, and speeding up the training process by a factor of 2. We name our proposed algorithm \emph{LightRNN} to reflect its very small model size and very high training speed.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
반복 데이터 사전학습 스케일링: 배치 크기, 정규화 및 GPU-시간 트레이드오프
Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs
본 연구에서는 연산량은 풍부하지만 고유한 학습(training) 데이터가 유한하여 동일한 데이터에 대한 반복 학습이 필요한 환경에서의 사전학습(pre-training)을 다룹니다. 먼저 무한 연산량 사전학습(Kim et al. 2026)을 재검토하여, 그 프론티어가 기존에 고정되었거나 개별적으로만 연구되었던 선택 사항들에 결정적으로 의존함을 보입니다. 특히 에포크(epoch) 수와 함께 배치(batch) 크기를 최적화하면 검증 손실(validation loss)과 배치 크기 사이에 U자형 관계가 나타나 일반적인 사전학습보다 더 작은 배치를 선호하게 됨을 밝히며, 이는 소배치 그래디언트(gradient) 노이즈가 암묵적 정규화(implicit regularization)를 제공하기 때문인 것으로 보입니다. 나아가 기존에 단일 패스 가정 하에서 최적화되었던 학습 레시피를 조정할 수 있음을 확인했습니다. 예를 들어 에포크마다 문서를 새로운 시퀀스로 재패킹하는 것, 가중치 공유(weight tying), 그리고 양의 임베딩 가중치 감쇠(positive embedding weight decay) 등이 있습니다. 이후 무한 연산량 가정을 완화합니다. 특히 일반적인 경우보다 작은 배치 크기는 지나치게 긴 순차적 학습 시간을 요구할 수 있으므로, GPU와 시간을 별개의 자원으로 다루어야 할 필요성이 발생합니다. 마감 기한이 촉박할수록 더 큰 배치가 유리하며, 지연 시간 중심의 병렬 처리를 통해 추가 GPU를 투입하여 학습 시간을 단축할 수 있습니다. 그럼에도 불구하고 고정된 시간 예산 내에서도 더 적은 수의 GPU와 작은 배치를 사용하는 것이 더 많은 GPU와 큰 배치를 사용하는 것보다 더 낮은 검증 손실을 달성할 수 있으며, 이는 마감 기한 내에서 GPU 활용도를 극대화하기 위해 데이터 병렬 처리를 늘리는 일반적인 관행에 도전합니다. 종합적으로 본 연구 결과는 반복 데이터 학습에서 충분히 탐구되지 않았던 요인들을 식별하고, 단일 패스 사전학습 대비 학습 레시피와 자원 할당이 어떻게 변화해야 하는지에 대한 구체적인 지침을 제공합니다.
AI를 위한 진정한 장기 기억: 재계산보다 더 빠르고 저렴한 5,000만 토큰 윈도우
Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute
대규모 언어 모델(LLM)은 컨텍스트 윈도우에 들어가는 텍스트만 사용할 수 있으며, 프롬프트가 전송될 때마다 해당 프롬프트에 대한 내부 키-값(KV) 상태를 다시 계산합니다. 본 연구에서는 약 16,000개 토큰 블록의 KV 상태를 암호화된 로컬 NVMe 디스크에 저장하고, 이후 재계산 없이 바이트 단위로 정확하게(byte-exact) 다시 로드하는 메모리 층인 공개 패키지 galahad-kv를 테스트합니다. 단일 NVIDIA H100에서 vLLM을 통해 서빙되는 50,000,000개 토큰의 실제 공개 텍스트를 대상으로 Gemma 4 12B 및 Gemma 4 31B와 함께 이를 실행했습니다. 조사한 모든 블록은 두 모델 모두에서 재계산 없이 암호화된 저장소로부터 다시 로드되었습니다(0부터 5,000만 토큰 깊이에서 100회 중 100회). 블록을 로드하는 것은 재계산하는 것보다 2.8배에서 4.3배 더 빨랐고 GPU 에너지를 8.8배에서 12.3배 적게 사용했으며, 전체 5,000만 토큰 스트림 동안 GPU 메모리는 일정하게 유지되었습니다. 수백만 토큰 앞서 심어둔 사실에 대한 질문에서 12B 모델은 100회 중 82회, 31B 모델은 100회 중 98회 올바른 답변을 제시했습니다. 두 모델 모두 답을 지어내지 않았습니다. 한계점은 다음과 같습니다. 이는 더 넓은 어텐션 윈도우가 아니라 저장된 상태를 재사용하는 것입니다. 즉, 한 번에 하나의 블록이 로드되며, 질문에 얼마나 잘 답하는지는 모델에 달려 있습니다. 메모리 쓰기는 일회성 비용이며 저장소는 수 테라바이트의 로컬 NVMe 디스크를 차지합니다. 본 논문에서는 롱 컨텍스트 벤치마크를 왜곡하는 일반적인 방식에 대응하도록 설계된 테스트 프로토콜을 설명하고, 공개 소프트웨어 및 해당 패키지의 무료 라이선스를 활용하는 단일 GPU 재현 방안을 제공합니다.
TransBERT: 도메인 특화 언어 모델링을 위한 합성 번역 프레임워크
TransBERT: A Framework for Synthetic Translation in Domain-Specific Language Modeling
전문 도메인에서 비영어권 언어 데이터가 부족하다는 점은 효과적인 자연어 처리(NLP) 도구의 개발을 크게 제한한다. 본 논문에서는 오직 합성 번역된 텍스트만을 사용하여 언어 모델을 사전학습하는 새로운 프레임워크인 TransBERT를 제시하고, 확장 가능한 번역 툴킷인 TransCorpus를 함께 소개한다. 프랑스어 생명과학 도메인에 초점을 맞춘 본 접근법은, 합성 번역 데이터만을 활용하여도 다양한 다운스트림 태스크에서 최고 수준(state-of-the-art)의 성능을 달성할 수 있음을 보여준다. 우리는 TransCorpus 툴킷, TransCorpus-bio-fr 코퍼스(36.4GB 분량의 프랑스어 생명과학 텍스트), 이와 연관된 사전학습 언어 모델인 TransBERT-bio-fr, 그리고 사전학습과 미세조정 모두를 위한 재현 가능한 코드를 공개한다. 본 연구의 결과는 자원이 풍부한 번역 방향에서의 합성 번역이, 저자원 언어/도메인 쌍에서 고품질 NLP 자원을 구축하는 데 실효성이 있음을 보여준다.
Rust 환경에서 엔드투엔드로 언어 모델 학습하기: 경험 보고서
Training a Language Model End-to-End in Rust: An Experience Report
본 연구에서는 대여한 GPU 비용 164달러로 팀 없이 혼자, PyTorch와 Python을 학습 경로에 전혀 사용하지 않고 Rust 환경에서 순수하게 언어 모델(LM)을 엔드투엔드(end-to-end)로 사전학습(pre-training)했습니다. 이는 추천이 아닌 성과로서 보고하는 것이며, 본 논문의 더 유용한 기여는 2026년 기준 학습(추론이 아님) 백엔드로서 대표적인 두 Rust ML 프레임워크인 Candle과 Burn의 실측된 실패 분류 체계(failure taxonomy)를 제시한다는 점입니다. 저자는 그래디언트를 조용히 생성하지 않는 융합 커널(fused kernel)을 포함한 5건의 Candle 결함과, 이론적 GPU 처리량의 약 3% 수준에 불과한 역전파(backward pass) 및 수십억 개 매개변수 규모에서 학습 중간에 세그멘테이션 오류(segfault)를 일으키는 커널 융합 경로를 포함한 3건의 Burn 결함을 상세히 기술합니다. 모든 결함은 일반적인 손실 곡선 검사를 통과했으며, 어떤 결함도 스스로 드러나지 않았습니다. 저자는 이러한 6가지 은밀한 오류를 잡아낸 검증 규율을 설명하며, 이는 어떤 프레임워크에도 일반화할 수 있는 '그래디언트 흐름 중재자(gradient-flow arbiter)'—한 번의 순전파/역전파를 실행하고 학습 가능한 모든 매개변수가 유한하고 0이 아닌 그래디언트를 받는지 단언(assert)하는 테스트—를 중심으로 합니다. 학습된 모델(약 0.4B 매개변수, 벵골어 중심)은 무작위 초기화된 동일 모델의 12.60 대비 토큰당 음의 로그 가능도(NLL) 0.93을 기록하며 강력한 벵골어 언어 모델링 신호를 보여주었으며, 영어 상식 객관식 평가에서는 우연 수준의 점수를 기록했는데, 이는 의도적으로 작게 설정된 벵골어 위주의 예산(약 20억 토큰, 54.6시간, 대여한 H100 1장)에서 예상된 결과입니다. 또한 저자는 벵골 문자 체계에서의 토크나이저 다산성 함정(fertility trap)을 보고합니다. 단순 바이트 수준 토큰화는 벵골어를 토큰당 약 1.4자로 축소시켜 영어의 3.9자에 비해 코퍼스의 언어 균형을 은밀히 역전시켰으며, 이를 수정한 후에는 약 4.1자에 도달했습니다. 저자가 아는 한, 이는 순수 Rust 환경에서 문서화된 최초의 엔드투엔드 언어 모델 사전학습 사례 중 하나입니다. 이번 실행 이후 저자는 학습을 PyTorch로 옮기고 온디바이스 서빙에만 Rust를 유지했습니다. 저자의 경험에 비추어 볼 때, Rust는 언어 모델을 서빙하기에는 좋은 환경일 수 있으나 언어 모델을 학습하기에는 아직 경쟁력 있는 환경이 아닙니다.
소형 모델은 제공한 법률을 실제로 활용하는가? 방글라데시 법률 QA를 위한 컨텍스트 주입 미세조정
Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh
소형 언어 모델은 관련 법 조항을 제공받아도 여전히 잘못된 답을 할 수 있다. 우리는 관련 법률이 포함된 예시에 대한 미세조정이 이후 검색된 법률의 활용을 개선하는지 검증한다. 방글라데시 법률 6개와 부칙 3개에서 2,165건의 이중언어 QA 레코드를 구축한 뒤, Qwen3.5 0.8B, 2B, 4B 규모에서 미세조정한다. 평가는 2022년 및 2023년 방글라데시 변호사협회 시험 문제를 벵골어 원문과 기계 번역 영어로 사용하며, 검색(retrieval), BM25, FAISS 없이 세 번의 시드 고정 실행에 대한 엄격한 일관성으로 채점한다. 0.8B에서는 미세조정으로 2022 영어 FAISS 점수가 100점 만점에 2점에서 34점으로 상승한다. 0.8B와 2B에서의 이득은 대응 검정(paired testing)을 통과하지만, 4B 모델에서는 관측 가능한 순이득이 없다. 벵골어 성능은 개선되는 반면 여러 영어 조건에서는 후퇴한다. 미세조정은 또한 벵골어로 요청했음에도 답변이 대부분 영어로 흐르는 비율을 44.0–53.2%에서 0.2–0.7%로 줄이며, 모든 규모에서 보정 p<.001이다. 따라서 검색 품질만이 병목은 아니다. 소형 이중언어 법률 모델은 제공된 법률을 어떻게 활용하는지, 그리고 요청된 언어로 답하는지 여부에서도 차이를 보인다. 데이터셋은 https://huggingface.co/datasets/momahadi/bangladesh-legal-qa-dataset 에서 공개된다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
토론
이 논문과 연결된 포럼 글이 아직 없습니다.