arXiv:2605.08044 cs.CL

Fast Byte Latent Transformer

제출 2026-05-08

한국어 초록

최근 바이트 수준 언어 모델(LM)은 서브워드 어휘에 의존하지 않으면서도 토큰 수준 모델의 성능과 맞먹지만, 느린 바이트 단위 자기회귀 생성 때문에 활용성이 제한됩니다. 우리는 새로운 학습 및 생성 기법을 통해 바이트 잠재 트랜스포머(Byte Latent Transformer, BLT)에서 이러한 병목을 해결합니다. 먼저, 표준 다음 바이트 예측 손실과 함께 블록 단위 확산 보조 목적 함수를 사용해 학습하는 새로운 모델이자 가장 빠른 BLT 변형인 BLT 디퓨전(BLT Diffusion, BLT-D)을 소개합니다. 이를 통해 디코딩 단계마다 여러 바이트를 병렬로 생성하는 추론 절차가 가능해지며, 시퀀스를 생성하는 데 필요한 순전파 횟수를 크게 줄일 수 있습니다. 둘째, 우리는 이러한 속도의 일부를 더 높은 생성 품질과 맞바꾸는, 스펙ულേറ്റివ్ 디코딩에서 영감을 받은 두 가지 확장 기법을 제안합니다. BLT 셀프-스펙ুল레이션(BLT Self-speculation, BLT-S)은 BLT의 로컬 디코더가 일반적인 패치 경계를 넘어 계속 생성하여 초안을 만들고, 이를 단 한 번의 전체 모델 순전파로 검증하는 방식입니다. BLT 디퓨전+검증(BLT Diffusion+Verification, BLT-DV)은 확산 기반 생성 후에 자기회귀 검증 단계를 추가한 방식입니다. 모든 방법은 생성 작업에서 BLT 대비 추정 메모리-대역폭 비용을 50% 이상 낮출 수 있습니다. 각 접근법은 고유한 장점을 제공하며, 이들을 종합하면 바이트 수준 언어 모델의 실용적 활용을 가로막는 핵심 장벽을 제거합니다.

요약

바이트 단위 언어 모델(byte-level language model)은 서브워드 어휘에 의존하지 않고도 강력한 성능을 보이며, 언어 표현의 유연성과 토큰화 문제에 대한 의존도를 줄일 수 있다는 점에서 주목받아 왔습니다. 그러나 이러한 장점에도 불구하고, 바이트를 한 번에 하나씩 순차적으로 생성해야 하는 자기회귀적 추론 방식은 생성 속도를 크게 저해하며 실제 활용을 어렵게 만드는 핵심 병목으로 남아 있습니다. Fast Byte Latent Transformer는 바로 이 문제를 겨냥하여, Byte Latent Transformer(BLT)의 생성 과정을 보다 효율적으로 바꾸는 새로운 학습 및 추론 전략을 제안합니다. 특히 이 연구는 단순히 모델 크기나 학습량을 늘리는 방향이 아니라, 생성 단계에서 불필요하게 많은 forward pass를 줄이고 여러 바이트를 더 병렬적으로 다룰 수 있도록 설계의 중심을 이동시킨다는 점에서 의미가 큽니다. 가장 핵심적인 제안은 BLT Diffusion(BLT-D)로, 표준적인 다음 바이트 예측 손실에 더해 블록 단위 디퓨전(block-wise diffusion) 보조 목표를 함께 학습합니다. 이를 통해 한 번의 디코딩 단계에서 여러 바이트를 병렬로 생성할 수 있어, 기존의 바이트별 순차 생성이 요구하던 반복 계산을 크게 줄일 수 있습니다. 이 방법은 BLT의 구조적 장점을 유지하면서도 추론 효율을 높인다는 점에서, 바이트 수준 언어 모델의 실용성을 높이는 가장 직접적인 해법으로 볼 수 있습니다. 여기에 더해 논문은 스펙큘레이티브 디코딩(speculative decoding)에서 영감을 받은 두 가지 확장도 제안합니다. BLT Self-speculation(BLT-S)은 로컬 디코더가 원래의 패치 경계를 넘어 후보 바이트를 계속 생성한 뒤, 이를 하나의 전체 모델 forward pass로 검증하여 속도와 품질 사이의 균형을 맞춥니다. 또 다른 확장인 BLT Diffusion+Verification(BLT-DV)은 디퓨전 기반의 병렬 생성 이후에 자기회귀적 검증 단계를 추가함으로써, 빠른 생성이 가져올 수 있는 품질 저하를 완화하려는 방식입니다. 세 방법은 모두 동일한 목표를 향하지만, 속도와 품질 사이의 서로 다른 절충점을 제공한다는 점에서 전략적 다양성을 갖습니다. 실험 결과는 이러한 접근이 단순한 이론적 제안에 그치지 않음을 보여주며, 특히 생성 시 메모리 대역폭 비용을 BLT 대비 50% 이상 줄일 수 있음을 시사합니다. 이는 바이트 단위 모델이 지닌 토큰화 독립성의 장점을 유지하면서도, 실제 서비스 환경에서 요구되는 응답 속도와 자원 효율성을 함께 개선할 수 있음을 의미합니다. 결국 이 논문은 바이트 수준 언어 모델의 가장 큰 장애였던 느린 추론 문제를 디퓨전과 검증 기반 병렬 생성으로 정면 돌파함으로써, 고성능이면서도 실용적인 차세대 생성 모델의 가능성을 제시합니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.