선형 어텐션(linear attention)과 슬라이딩 윈도우 어텐션(sliding window attention) 같은 효율적인 어텐션 메커니즘은 트랜스포머의 계산 복잡도를 제곱(quadratic)에서 선형(linear)으로 줄이는 것을 목표로 한다. 그러나 이러한 메커니즘은 문맥 내 재현율(in-context recall)이 저하되는 경우가 많아 전체 어텐션(full attention) 레이어를 교차 배치해야 하는 경우가 많으며, 이로 인해 긴 문맥(long-context) 처리에서 제곱 복잡도 병목이 여전히 해결되지 않은 채로 남아 있다. 이를 해결하기 위해, 우리는 효율성 패러다임을 구조적 할당(structural allocation)에서 단계 인식 분리(phase-aware decoupling)로 전환하는 Orthros 어텐션을 제안한다. Orthros는 통합된 모듈로서 시퀀스 처리의 서로 다른 단계(phase)에 걸쳐 계산 패턴을 동적으로 전환하여, 프리필링(prefilling)에서는 선형 복잡도를, 디코딩(decoding)에서는 전체 어텐션을 가능하게 한다. 이러한 설계는 무거운 프리필링과 가벼운 디코딩으로 특징지어지는 일반적인 긴 문맥 시나리오에서 Orthros 어텐션이 기본 트랜스포머(vanilla Transformer)보다 더 낮은 점근적 복잡도(asymptotic complexity)를 갖도록 한다. 이론적 정식화와 복잡도 분석을 넘어, 광범위한 실증적 평가를 통해 Orthros가 여러 측면에서 우수함을 입증한다. 첫째, 우리는 Orthros의 기본적인 언어 모델링 능력을 검증하여 다양한 모델 크기에 걸친 확장성(scalability)과 종합적인 아키텍처 비교에서의 강력한 경쟁력을 보여준다. 둘째, Orthros는 데이터 효율적인 트랜스포머-투-Orthros 변환(Transformer-to-Orthros conversion)을 통해 뛰어난 변환 가능성(conversion feasibility)을 보여주며, 원본 트랜스포머를 능가하는 성능을 달성한다. 마지막으로, Orthros는 트랜스포머 대비 21.9배의 프리필링 속도 향상(prefilling speedup)을 달성하며 종단 간(end-to-end) 추론 성능 향상을 보이는 동시에, 거의 완벽한 128K 니들 인 어 헤이스택(needle-in-a-haystack) 결과와 실제 문맥 내 재현율 과제에서 트랜스포머 수준의 성능을 통해 긴 문맥 처리 능력을 유지한다. 전반적으로, 이러한 높은 성능, 유연성, 효율성의 장점들은 Orthros를 산업 응용 분야에서 트랜스포머를 계승할 유망한 후보로 자리매김하게 한다.
MiMo-V2.5 모델 패밀리를 위한 전체 파이프라인 추론 최적화를 제안한다. 이 모델은 Hybrid Sliding Window Attention(Hybrid SWA), sparse 전문가 혼합(MoE), 멀티모달 인코더를 결합한다. Hybrid SWA는 이상적으로 Full Attention에 비해 어텐션 연산과 KVCache 저장을 모두 크게 줄일 수 있지만, 프로덕션에서 이러한 이득을 실현하려면 상당한 엔지니어링 노력이 필요하다. 우리는 계층별 프리페치, SWA 인식 접두 문맥 캐시 트리, 특화된 배치 전략을 통해 KVCache 시스템을 체계적으로 최적화하여 엄격한 $O(W)$ SWA 저장과 높은 캐시 적중률을 달성한다. 또한 RDMA 최적화 네트워킹을 갖춘 고성능 분산 캐시 인프라 GCache를 구축하고, 로드 밸런싱을 유지하면서 연산을 줄이기 위한 KVCache-affinity 라우터를 개발한다. 멀티모달 입력에 대한 최적화도 수행하며, GPU 이미지 전처리, 병렬 비디오 디코딩, 멀티모달 캐시 공유를 포함한다. 이러한 최적화를 종합하면 Hybrid SWA + MoE + 멀티모달 복합 아키텍처를 효율적으로 다루는 최초의 대규모 언어 모델(LLM) 프로덕션 서빙 시스템을 구성한다.
전체 self-attention으로 인해 메모리·연산 비용이 시퀀스 길이에 따라 제곱으로 증가하는 디코더 전용 자기회귀 TTS(AR-TTS) 모델의 효율 문제를 해결하기 위해 WAND(Windowed Attention and Knowledge Distillation)를 제안하며, 조건 토큰에는 전역 어텐션을, 생성 음성 토큰에는 슬라이딩 윈도우 어텐션을 적용하고 커리큘럼 학습과 full-attention 교사 모델의 지식 증류로 적응을 안정화합니다. CosyVoice 2, IndexTTS 1.5, SparkTTS 등 세 AR-TTS 모델에서 음질을 유지하면서 KV cache 메모리를 최대 66.2% 줄이고 길이에 무관한 거의 일정한 단계별 지연과 상수 복잡도 추론을 달성합니다.
풀 어텐션(FA)과 슬라이딩 윈도우 어텐션(SWA)을 결합한 하이브리드 아키텍처는 효율적인 대규모 언어 모델(LLM) 추론을 위한 유망한 패러다임입니다. 그러나 기존 방법들은 FA/SWA 할당을 위해 일반적으로 수작업 규칙이나 간단한 사후 휴리스틱에 의존하며, 이러한 설계의 기반이 되는 어텐션 동작에 대한 분석은 제한적입니다. 우리는 사용자 지정 희소성 목표 하에서 최적의 FA/SWA 할당을 학습하는 프레임워크인 하이브리드 어텐션 내 제어 가능한 희소성(ConSA)을 제안합니다. ConSA는 각 어텐션 유닛에 대해 FA와 SWA를 선택하는 이진 마스크를 학습하기 위해 L0 정규화를 사용하며, 증강된 라그랑지안 제약 조건은 층 또는 KV-헤드 단위에서 목표 희소성을 강제합니다. 우리는 0.6B 및 1.7B 규모의 두 LLM에서 ConSA를 평가했습니다. 학습된 할당은 규칙 기반 베이스라인을 일관되게 능가하며, KV-헤드 단위 할당은 층 단위 할당에 비해 명확한 이득을 보여주었습니다. 학습된 패턴은 SWA를 하위 층에 배치하고 FA를 연속적인 중간 층 블록에 집중시키는 반면, 규칙 기반 방법의 균등하게 인터리빙된 패턴과는 다른 양상을 보입니다. 이 구조는 모델 규모, 희소성 수준 및 할당 단위에 걸쳐 지속되며, 학습된 할당의 기반이 되는 내재적 어텐션 동작의 미세한 스펙트럼을 드러냅니다.