LongSSM: On the Length Extension of State-space Models in Language Modelling
원문 초록
In this paper, we investigate the length-extension of state-space models (SSMs) in language modeling. Length extension involves training models on short sequences and testing them on longer ones. We show that state-space models trained with zero hidden states initialization have difficulty doing length extension. We explain this difficulty by pointing out the length extension is equivalent to polynomial extrapolation. Based on the theory, we propose a simple yet effective method - changing the hidden states initialization scheme - to improve the length extension. Moreover, our method shows that using long training sequence length is beneficial but not necessary to length extension. Changing the hidden state initialization enables the efficient training of long-memory model with a smaller training context length.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
저비트 순환 상태 양자화에서 업데이트 보존
Preserving Updates in Low-Bit Recurrent State Quantization
선형 어텐션(Linear attention) 및 순환 모델(recurrent model)은 이전 토큰들을 매 스텝마다 업데이트되는 고정 크기의 상태(state)로 압축합니다. 그러나 대규모 배치 크기에서 이러한 상태를 높은 정밀도로 저장하면 상당한 메모리 및 대역폭 비용이 발생하므로 저비트 상태 양자화(quantization)가 요구됩니다. 가중치나 키-값 캐시(key-value cache)와 달리, 순환 상태는 매 업데이트 후 다시 양자화되므로 양자화 오차가 스텝에 걸쳐 누적됩니다. 본 연구의 분석에 따르면 이러한 오차는 스텝 전반에 걸쳐 높은 일관성(coherence)을 보이므로, 스텝별 오차를 줄이는 것만으로는 충분하지 않습니다. 이러한 일관성은 주로 반올림 과정에서 손실되는 미세한 업데이트로 인해 발생합니다. 본 논문에서는 이러한 업데이트를 보존하기 위해 반올림 전과 반올림 시점 모두에서 개입하는 방안을 제안합니다. 반올림 전 단계에서는 미세한 업데이트를 소형 저계수 버퍼(low-rank buffer)에 누적하고 충분히 커진 요소를 주기적으로 상태에 병합하는 저계수 바이패스(Low-Rank Bypass, LRB)를 제안합니다. 반올림 시점에서는 상태 요소가 업데이트 방향과 반대로 이동할 수도 있으며, 이러한 역전 현상이 특히 유해함을 확인했습니다. 따라서 추가적인 저장 공간 없이 역전된 요소를 업데이트 방향으로 반올림하는 유계 방향성 반올림(Bounded Directional Rounding, BDR)을 제안합니다. BDR은 반올림 오차를 증가시키지만 모델 성능을 향상시키며, 이는 단일 스텝에서의 반올림 오차보다 업데이트 방향이 더 중요함을 시사합니다. Gated DeltaNet, GLA, Mamba2, RetNet 전반에서 본 연구의 학습(training) 불필요 방식은 INT4를 크게 능가하는 동시에, FP32 상태 대비 상태 메모리를 최대 5.3배 절감하고 디코딩 속도를 최대 1.9배 향상합니다.
Agora: 집단적 자동 연구를 위한 공유 메모리로서의 Git
Agora: Git as Shared Memory for Collective AutoResearch
서로 다른 세션에서 작업하는 연구 에이전트(agent)는 다른 에이전트가 무엇을 시도했는지, 어떤 결과를 기반으로 발전시킬 수 있는지 알아야 합니다. Agora는 이들의 기여를 Git 내의 추가 전용(append-only) 방향성 비순환 그래프(DAG)로 저장합니다. 각 커밋은 결과, 인사이트, 가설, 검증 또는 보고서를 기록하고 이를 이전 작업과 연결합니다. 검색 가능한 뷰는 선도적인 결과, 방치된 브랜치, 검증 상태를 보여주며, 다양성을 고려한 추천은 현재 선도 모델을 넘어선 실험을 제안합니다. 본 논문에서는 할당된 작업이나 중앙 플래너 없이 13개의 언어 모델 워커가 Agora를 사용하여 가중치 이전(weight-transfer) 문제를 해결한 약 12일간의 실행 과정을 보고합니다. 141개의 사전학습(pre-training)된 기증자(donor) 모델과 어떤 기증자와도 차원이 일치하지 않는 동결된 119.6M 매개변수 어텐션-SSM 하이브리드가 주어졌을 때, 워커들은 학습 데이터나 그래디언트 업데이트 없이 타깃을 초기화해야 했습니다. 워커들은 1,703건의 기여를 게시하였으며, 개발 평가자 점수를 바이트당 3.39비트에서 1.899비트로 낮춰 학습된 GPT-2 124M과의 격차를 62% 줄였습니다. 가장 우수한 방법은 기증자의 다음 토큰 통계를 타깃의 임베딩 및 출력 헤드로 압축한 후, 어텐션, 피드포워드, 상태 공간(state-space) 블록에 대한 희소 편집을 통해 단거리 문맥을 추가합니다. 이 방법의 145개 커밋 계보는 15개 계정에 걸쳐 있습니다. 참가자들은 또한 95개 타깃에 걸쳐 165회의 독립적인 재현을 게시했으며 보고된 실패는 없었습니다. 이번 실행은 에이전트가 공유된 작업을 어떻게 재사용하고 검증했는지를 기록합니다. 연산 단위당 발견 효과를 측정하려면 대조 비교가 필요합니다.
언어 재생성: 재구성에 대한 정보 국소성 효과 탐구
Language Re-generation: An investigation into information locality effects on reconstruction
정보 국소성(information locality)은 구문적으로 관련된 단어들이 서로 가까이 나타나는 경향으로, 인간의 언어 처리와 언어 모델 학습 모두에 영향을 미친다. 언어 모델이 불가능한 언어(impossible language)를 습득할 수 있는지에 대한 선행 연구가 있었지만, 언어 모델이 그러한 입력으로부터 자연어를 복원할 수 있는지, 그리고 이것이 언어 모델의 귀납적 바이어스에 대해 무엇을 드러내는지는 아직 불분명하다. 우리는 학습 가능성 기반 접근법을 재구성 프레임워크로 보완함으로써 이 문제를 다룬다: 불가능한 언어로 사전학습된 GPT-2 모델을 미세조정하여 세 가지 유형의 교란(perturbation)으로부터 자연스러운 영어를 재구성한다. 우리의 결과에 따르면, 복원된 구조는 원본 텍스트보다 짧은 의존성 길이(dependency length)를 나타내며, 이는 제약 없는 언어 모델 생성에서 관찰되는 국소성 선호를 반영하고 학습 가능성 실험만으로는 드러나지 않는 아키텍처 바이어스의 정량적 특징을 제공한다. 복원 난이도는 국소성 교란의 정도에 따라 증가한다. 구조적 복원(의존성 Triple F1)은 표면적 복원(정확 일치)과 분리되며, 전역 셔플링(global shuffling) 하에서 유창성은 충실한 재구성과 분리된다. 문장 길이는 성능을 추가로 조절하는데, 긴 문장은 지역 구조가 보존될 때 복원을 촉진하지만 전역 셔플링 하에서는 완전한 붕괴를 초래한다. 마지막으로, 복원 난이도는 교란 유형 전반에 걸쳐 학습 가능성 난이도를 추적하며, 이는 정보 국소성이 두 현상 모두를 지배하는 공통 제약임을 시사한다.
종카어 다음 단어 예측 시스템
Dzongkha Next Word Prediction System
종카어(Dzongkha)는 부탄의 국가 언어로서 국내에서 광범위하게 사용되는 언어이다. 공식 문서, 경전, 기타 문학 작품은 문화적 가치를 보존하기 위해 종카어로 작성된다. 그러나 종카어 문서화는 스크립트의 복잡성, 음절당 다수의 키 입력 필요성, 효율적인 입력 도구의 부족으로 인해 어렵고 시간이 많이 소요되는 과정이다. 종카어에 대해 가능한 단어 목록을 예측하고 표시하는 즉각적인 시스템이 이 문제의 해결책이다. 본 프로젝트는 키 입력 횟수를 줄여 종카어 타이핑을 최대한 편리하게 만드는 것을 주요 목표로 한다. 데이터셋은 DCDD에서 수집하였으며 총 100,000개의 문장, 1,331,282개의 단어, 28,344개의 고유 단어로 구성된다. 데이터 전처리는 모든 영숫자 문자 제거, 토큰화, N-gram 시퀀스 생성 및 패딩을 통해 수행되었다. 학습에 선택된 세 가지 모델은 LSTM, Bi-LSTM, GRU이다. 학습 과정에는 모델의 하이퍼파라미터 미세조정이 포함되었다. GRU는 경량이면서 대규모 데이터셋을 처리할 수 있어 74.03%의 정확도로 가장 우수한 성능을 보였으며 과적합 문제도 해결하였다.
대규모 언어 모델에서의 생성과 지각: 토큰 확률 접근법
Production and Perception in LLMs: A Token Probability Approach
언어 생성과 지각 간의 비대칭성은 심리언어학에서 잘 문서화되어 있다. 대규모 언어 모델(LLM)이 기능적으로 유사한 구분을 나타내는지는 여전히 열린 질문으로 남아 있으며, 특히 LLM이 입력 및 출력 처리 모두에 동일한 기저 메커니즘(다음 토큰 예측)을 사용한다는 점에서 더욱 그러하다. 이 탐색적 연구에서 우리는 메타언어적 프롬프팅 대신 직접적인 토큰 확률 측정을 통해 생성-지각 구분을 조작화한다. 기본 Llama-3.1-8B 모델을 사용하여 생성 프롬프트로 시를 생성한 후, 동일한 토큰들을 재구성된 생성 프롬프트와 지각 지향 프롬프트로 재점수화하였다. 네 가지 생성 프롬프트와 세 가지 지각 프롬프트를 사용한 확장 실험에서, 생성-지각 거리는 생성-생성 거리를 일관되고 실질적으로 초과하였으며, 조건 간 범위가 겹치지 않았고 전체 평균 비율은 약 1.8이었다. 생성-생성 통제 조건에서의 거의 천장에 달하는 상관관계는 이 효과가 프롬프트 표면 변이가 아닌 의사소통적 프레이밍에 특이적임을 확인해 주며, 해당 효과가 기본 및 인스트럭션 튜닝 변형 모두를 포함하는 다섯 가지 오픈-가중치 모델(Llama-3.1-8B, EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct)에서 재현됨을 보였다. 시간적 분석에서는 지각 프롬프트가 시퀀스 초반에 가장 강한 영향을 미치며, 생성된 컨텍스트가 축적됨에 따라 발산이 감소하지만 이 감소의 구체적인 형태는 프롬프트 쌍마다 다양한 것으로 나타났다. 이러한 결과들은 디코더 전용 아키텍처 내에서도 프롬프트 프레이밍만으로 LLM 확률 분포에 생성-지각 구분이 유도됨을 시사한다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
토론
이 논문과 연결된 포럼 글이 아직 없습니다.