RoVE: 상대 위치 의존적 값 경로를 위한 회전형 값 임베딩 어텐션
RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways
한국어 초록
회전형 위치 임베딩(RoPE)은 어텐션 점수를 위치에 상대적으로 만들지만, 값 경로(value pathway)는 위치를 인식하지 못하게 둡니다. 즉, 값 토큰이 전달하는 메시지는 쿼리로부터의 거리에 관계없이 동일합니다. 본 논문에서는 RoVE를 제안합니다. RoVE는 키(key)와 동시에 값을 회전시켜 위치에 민감하게 만드는 매개변수가 없는 수정 방식이며, RoPE 어텐션을 어텐션 합성곱(attentive convolution)으로 변환함을 보여줍니다. 이 새로운 관점은 컴퓨터 비전, 로봇공학, 현대 대규모 언어 모델(LLM) 아키텍처에 걸쳐 동일한 연산에 대한 여러 독립적인 정형화를 통합합니다. 학습된 124M 및 354M GPT-2 모델은 퓨샷 문맥 내 학습(ICL), 분포 외 퍼플렉서티, 긴 문맥 검색에서 RoPE 대비 일관된 경험적 이득을 보여주었으며, 특히 장거리 집계가 필요한 작업에서 가장 명확한 개선 효과를 나타냈습니다.
원문 초록
Rotary Position Embeddings (RoPE) make attention scores position-relative but leave the value pathway position-blind: the message sent by a value token is the same regardless of its distance from the query. We propose RoVE, a parameter-free modification that makes values position-sensitive by rotating them simultaneously with keys, and show that it turns RoPE attention into attentive convolution. This new perspective unifies several independent formulations of the same operation across computer vision, robotics, and modern LLM architectures. Trained 124M and 354M GPT-2 models show consistent empirical gains over RoPE on few-shot in-context learning, out-of-distribution perplexity, and long-context retrieval, with the clearest improvements on tasks that require long-range aggregation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.11275v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가
Latent Taxonomies: How Property Induction Develops in Language Model Pre-training
로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.
학습된 에이전틱 컨텍스트 관리
Trained Agentic Context Management
본 연구는 장문 컨텍스트 언어 모델을 다룬다. 장문 컨텍스트를 네이티브로 학습하거나 장문 컨텍스트 하니스(harness)를 설계하는 대신, 우리는 가능한 가장 단순한 하니스 위에서 모델을 학습시킨다: 임의로 지정한 프롬프트로 자기 자신을 호출하는 도구와 입력 컨텍스트에서 특정 범위의 토큰을 읽는 도구가 그것이다. 우리는 이 하니스를 사용하여 다양한 합성 데이터셋으로 Qwen3.6-35B-A3B를 파인튜닝한다. 단 8,000 토큰의 컨텍스트만으로도, 우리의 소형 모델은 문서 길이가 40K 토큰을 초과할 때 OOLONG-synth 벤치마크에서 1M 토큰의 컨텍스트를 가진 GPT-5.4만큼 강력한 성능을 보인다.
LumoTree: 하이브리드 언어 모델을 위한 경로 병렬 투기적 검증
LumoTree: Path-Parallel Speculative Verification for Hybrid Language Models
하이브리드 언어 모델(hybrid language model)을 위한 트리 투기적 디코딩(tree speculative decoding)은 순환(recurrent), 합성곱(convolution), 어텐션(attention) 상태 전반에서 하나의 일관된 연속성을 유지해야 합니다. 본 논문에서는 순환 경로를 병렬로 실행하고 각 경로 내에서 상태 타일을 재사용하며, 공유된 논리적 트리를 통해 네이티브 순환 재생(recurrent replay), 합성곱 기록 수집(convolution-history gathering), 어텐션 캐시 재매핑을 조율하는 검증기인 LumoTree를 제시합니다. 융합된 후보 선택(fused candidate selection), GPU 상주 수락(GPU-resident acceptance), 그룹화된 split-K 어텐션이 검증 주기를 지원합니다. 컴포넌트 실험 결과, 정확한 후보 선택 동등성과 쌍을 이룬 오차 범위 내에서의 순환 일치성을 확인했습니다. 단일 NVIDIA DGX Spark(GB10)에서의 탐색적 Qwen3.8-27B NVFP4 배포는 10개의 SWE-bench Verified Astropy 태스크에서 초당 25.63 풀링 토큰(pooled tokens/s)을 기록했습니다. 이러한 결과는 컴포넌트 수준의 수치적 일치성과 코딩 에이전트(agent) 배포 특성을 보여주며, 완전한 모델 연속성 및 통제된 애플리케이션 속도 향상은 향후 과제로 남아 있습니다.
사용자 생성 텍스트의 음소화: 벤치마크, 분류 체계 및 조합적 접근
Phonemizing User-Generated Text: A Benchmark, Taxonomy, and Compositional Approach
텍스트 음성 변환 시스템은 ppl, imo와 같은 사용자 생성 텍스트(UGT)를 점점 더 많이 처리하며, 이러한 텍스트의 발음은 표면 형태가 아니라 정규(canonical) 형태로부터 추론해야 한다. 우리는 영어, 베트남어, 한국어 UGT를 위한 최초의 grapheme-to-phoneme(G2P) 벤치마크 UGTPhon과, 세밀한 진단을 위한 추론 기반 분류 체계를 제안한다. 기존 G2P 모델과 최신 프론티어 LLM은 체계적인 정규-비정규 성능 격차를 보이며, 최대 66.8 PER points에 이른다. 벤치마크 기준선으로, exact-match lookup과 단계적 디코딩(staged decoding)을 통해 정규 형태 증거를 통합하는 단순한 조합적 G2P 접근법을 제안한다. 매칭된 ByT5 및 Qwen2.5-0.5B 백본 전반에서 명시적 정규 형태 모델링은 비정규 G2P 오류를 일관되게 줄인다. 0.5B 변형은 훨씬 더 큰 퓨샷(few-shot) 프론티어 LLM과도 경쟁력 있는 성능을 보이며, UGT 음소화를 위해 정규 형태 추론을 명시적으로 모델링하는 이점을 부각한다.
트랜스포머 언어 모델의 순차 연산 증류
Distilling Sequential Computation in Transformer Language Models
트랜스포머 언어 모델은 자기회귀적으로 시퀀스를 토큰 단위로 처리하므로, 컨텍스트가 길어질수록 비용이 점점 커진다. 그러나 인접한 많은 토큰 구간은 예측 가능성이 높거나 안정적인 단위로 자주 등장하여, 이들의 표현은 압축 가능할 수 있음을 시사한다. 우리는 입력 토큰 구간을 경량 merge 모듈이 즉석에서 계산하는 축약 표현으로 대체함으로써 순차 연산을 증류하는 방법을 제안한다. 이 모듈은 정적 토큰 임베딩 시퀀스로부터 여러 토큰의 기능적 역할을 포착하는 단일 대리 임베딩을 생성하여, 사전학습된 모델이 아키텍처 변경이나 재학습 없이 압축된 입력으로 동작할 수 있게 한다. 이 접근법을 추론 시 프롬프트와 중간 디코딩 단계 모두를 압축하는 데 적용하며, 롤백 메커니즘으로 저장된 다중 토큰 KV 캐시 항목을 단일 단계 대리 표현으로 대체한다. 다양한 모델에 걸친 실험에서 merge 모듈을 사용하면 언어 모델링 평가와 질의응답, 요약, 상식 추론, 장문 수학적 추론 등 다운스트림 과제에서 정확도 저하를 최소화하면서 유효 시퀀스 길이를 최대 40%까지 줄일 수 있음을 보였다. merge 모듈에 대한 추가적인 경량 적응은 일부 설정에서 정확도-압축 트레이드오프를 더욱 개선한다. 이 결과는 트랜스포머에서의 순차적 토큰 연산이 모델 갱신 없이 원래 동작을 근사하는 응축된 대리 표현을 통해 효과적으로 근사될 수 있음을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.