자동 분할 및 블록 증류를 통한 블록 어텐션 일반화
Towards Generalization of Block Attention via Automatic Segmentation and Block Distillation
한국어 초록
서로를 어텐션(attention)할 수 없는 개별 블록으로 입력을 처리하는 블록 어텐션은 검색-증강 생성(RAG)과 같은 롱컨텍스트(long-context) 시나리오에서 KV 캐시 재사용을 개선할 수 있는 상당한 잠재력을 제공합니다. 그러나 더 광범위한 적용은 두 가지 주요 과제로 인해 저해됩니다. 입력 텍스트를 의미 있고 독립적인 블록으로 분할하는 데 따르는 어려움과, 성능 저하 위험이 있는 기존 블록 미세조정(fine-tuning) 방식의 비효율성입니다. 이를 해결하기 위해, 본 연구에서는 먼저 도서, 코드, 웹 텍스트, 대화를 포함하여 2k에서 32k에 이르는 텍스트 길이를 가진 16개 범주에 걸쳐 3만 개 이상의 인스턴스를 포함하는 대규모의 다양한 의미론적 분할 데이터셋(dataset)인 SemanticSeg를 구축합니다. 이 데이터셋을 사용하여, 제어 가능한 세분성으로 텍스트를 인간의 직관에 부합하는 블록으로 자동 분할하는 경량 세그멘터를 학습(training)합니다. 둘째로, 고정된 풀 어텐션(full-attention) 교사 모델(teacher model)을 사용하여 블록 어텐션 학생 모델을 유도하는, 블록 미세조정보다 더 효율적인 학습 프레임워크인 블록 증류(block distillation)를 제안합니다. 이 프레임워크는 세 가지 새로운 구성 요소를 통합합니다. 블록 경계에서의 정보 손실을 완화하는 블록 싱크 토큰(token), 모든 블록의 학습 신호를 활용하는 블록 드롭아웃(dropout), 그리고 블록 어텐션에 민감한 토큰에 학습을 집중시키는 토큰 수준 손실(loss) 가중치 부여입니다. 여러 모델과 벤치마크에 걸친 실험은 제안된 세그멘터가 휴리스틱 및 통계적 베이스라인을 능가하며, 블록 증류가 블록 어텐션 하에서 풀 어텐션에 가까운 성능을 달성하여 블록 어텐션을 배포하기 위한 실용적이고 확장 가능한 경로를 구축함을 보여줍니다.
원문 초록
Block attention, which processes the input as separate blocks that cannot attend to one another, offers significant potential to improve KV cache reuse in long-context scenarios such as Retrieval-Augmented Generation (RAG). However, its broader application is hindered by two key challenges: the difficulty of segmenting input text into meaningful, self-contained blocks, and the inefficiency of existing block fine-tuning methods that risk degrading performance. To address these, we first construct SemanticSeg, a large and diverse semantic segmentation dataset containing over 30k instances across 16 categories-including books, code, web text, and conversations with text lengths ranging from 2k to 32k. Using this dataset, we train a lightweight segmenter to automatically partition text into human-instinct-aligned blocks with controllable granularity. Second, we propose block distillation, a training framework that is more efficient than block fine-tuning, which uses a frozen full-attention teacher model to guide the block-attention student. This framework integrates three novel components: block sink tokens to mitigate information loss at block boundaries, block dropout to leverage training signals from all blocks, and token-level loss weighting to focus learning on block-attention-sensitive tokens. Experiments across multiple models and benchmarks demonstrate that our segmenter outperforms heuristic and statistical baselines, and block distillation achieves near-full-attention performance under block attention, establishing a practical and scalable pathway for deploying block attention.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.15913v5제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.