Top-k 선택은 데이터베이스, 정보 검색, 신호 처리뿐만 아니라 희소 활성화 및 어텐션(attention) 가지치기(pruning)를 포함한 현대 머신러닝 워크로드 전반에 활용되는 핵심적인 기본 연산(computational primitive)입니다. 데이터 규모가 커짐에 따라 기존 접근법은 비효율적이 됩니다. 정확한(exact) 방식은 높은 메모리 및 연산 오버헤드를 유발하며, 근사(approximate) 방식은 취약한 휴리스틱에 의존하는 경우가 많아 적대적이거나 두터운 꼬리(heavy-tailed) 분포를 갖는 입력에서 성능이 저하됩니다. 본 논문에서는 정확한 Top-k 선택을 위한 빠르고 확장 가능하며 분포에 구애받지 않는(distribution-agnostic) 알고리즘인 Prof-K를 소개합니다. Prof-K는 단일 패스 필터링 절차를 수행합니다. 즉, 작은 무작위 표본을 통해 적응형 임계값을 추정한 후, N개의 입력 요소를 컴팩트한 버퍼로 한 번 스트리밍하며, 이 버퍼에 대해 정확한 Top-k 루틴을 수행하여 사용자가 지정한 $\varepsilon>0$에 대해 최소 $1-\varepsilon$의 확률로 첫 번째 시도에서 실제 Top-k 요소를 복원합니다. 본 연구는 N과 k의 함수로서 오버헤드를 최소화하는 대략적으로 최적화된 표본 크기와 함께, 정확도 및 버퍼 크기에 대한 높은 확률 보장(high-probability guarantees)을 도출합니다. 실증적으로 Prof-K는 고도로 최적화된 PyTorch topk 및 최근의 RadiK 구현 대비 1.5배~15배의 속도 향상을 달성하며, 기존 방법들이 가장 취약했던 대규모이면서 작거나 중간 크기의 k 영역에서 가장 큰 성능 향상을 보입니다. 이전 접근법과 달리 이러한 보장은 입력 분포와 무관하게 유지되므로 적대적 설정에 대한 견고성을 보장합니다. 런타임 검사를 통해 드물게 발생하는 실패를 감지하고 재시도를 트리거하므로, 반환되는 집합은 항상 정확하며 $\varepsilon$은 추가 패스가 필요할 확률만을 제한합니다. 나아가 Top-k 선택이 학습 비용의 상당 부분을 차지하는 BatchTopK 희소 오토인코더(SAE) 학습(training)에서 Prof-K의 효과를 입증합니다.
멀티모달 대규모 언어 모델(MLLM)은 긴 시각-텍스트 시퀀스를 처리할 때 상당한 추론 비용을 초래합니다. 기존의 연산 압축 방식들은 모달리티 수준의 중복성을 활용하지만, 어텐션 헤드 내 연산과 공유 순전파 신경망(FFN) 채널을 대체로 단일 단위로 취급하여 더 미세한 단위의 중복성은 충분히 탐색하지 못하고 있습니다. 본 연구에서는 동일한 어텐션 헤드 내의 모달리티 간 상호작용 경로와 동일한 FFN 채널의 시각 및 텍스트 실행 전반에서 중복성이 서로 다르게 나타남을 발견했습니다. 이러한 발견을 바탕으로, 각 층 내에서 시각-시각(V2V), 텍스트-시각(T2V), 텍스트-텍스트(T2T) 어텐션 경로를 독립적으로 가지치기하고, 시각 및 텍스트 입력에 대해 FFN 채널을 개별적으로 선택하는 모달리티 인지 너비 단위 연산 가지치기(MWOP)를 제안합니다. 1차 테일러 기준(first-order Taylor criterion)이 가지치기 과정을 유도하며, 어텐션 가지치기와 LoRA 기반 복구 학습을 거친 후 FFN 중요도를 재평가합니다. 그 결과로 얻어지는 미세한 희소성을 실제 가속으로 전환하기 위해, 경로 희소(path-sparse) Triton 어텐션 커널과 컴팩트한 시각 측 FFN 실행 방식을 추가로 개발했습니다. MWOP는 어텐션 및 FFN 연산을 줄이면서도 토큰 시퀀스를 보존하므로 토큰 압축 기법과 상호 보완적이며, 시퀀스 길이와 토큰당 연산량을 동시에 줄일 수 있도록 합니다. LLaVA-OneVision-7B에서 MWOP 단독으로 12개 벤치마크에 걸쳐 99.7%의 평균 성능 유지율과 함께 1.6배의 프리필(prefill) 속도 향상을 달성했습니다. 대표적인 두 가지 토큰 압축 방법과 결합했을 때는 프리필 속도 향상을 각각 2.0배 및 1.9배에서 2.9배 및 2.7배로 더욱 증가시켰습니다. Qwen2.5-VL-7B에서의 결과는 다양한 아키텍처 전반에 걸친 적용 가능성을 추가로 입증합니다. 코드는 https://github.com/EIT-NLP/MWOP 에서 이용할 수 있습니다.
Wan2.2-5B 서버급 모델을 순환 증류(recurrent distillation)와 학습 가능한 어텐션 헤드 가지치기, 샘플링 단계 증류, 메모리 최적화 VAE 디코딩을 결합해 모바일 기기에 배포 가능하도록 압축한 MobileWan을 제안하며, 상용 모바일 기기에서 20초 내에 480×832 해상도의 5초 영상을 16 FPS로 생성하고 VBench 83.79점으로 모바일 비디오 생성 최고 성능을 달성했다.
비전 자기회귀(VAR) 모델은 최근 낮은 지연 시간을 유지하면서 인상적인 이미지 생성 품질을 입증했습니다. 그러나 이들은 심각한 KV 캐시 메모리 제약 문제를 겪으며, 생성된 이미지당 종종 수 기가바이트의 메모리가 필요합니다. 우리는 이전에 생성된 스케일(scales)에 대한 어텐션(attention)을 기반으로 각 헤드의 캐시 할당을 조정하는 새로운 압축 방법인 HeatKV를 소개합니다. 작은 오프라인 보정(calibration) 세트를 사용하여, 어텐션 헤드는 이전 스케일에 대한 어텐션 점수에 따라 순위가 매겨집니다. 이 순위를 기반으로, 주어진 메모리 예산에 맞춰진 정적 가지치기(pruning) 스케줄을 구성합니다. Infinity-2B 모델에 적용했을 때, HeatKV는 기존 방법에 비해 KV 캐시를 위한 메모리 할당에서 $2 \times$ 더 높은 압축률을 달성하면서도, 유사하거나 더 우수한 이미지 충실도, 프롬프트 정렬(alignment) 및 인간 지각 점수를 유지합니다. 우리의 방법은 VAR 모델 KV 캐시 압축에 대한 새로운 최신 성능(SOTA)을 달성하여, 세분화된 헤드별 캐시 할당의 효과를 입증합니다. 코드와 보정 스크립트는 https://github.com/arm-research/heatkv 에서 확인할 수 있습니다.
자연어 처리(NLP)에서 트랜스포머 기반 모델의 획기적인 성공은 아키텍처 스케일링에서 비롯되었으나, 이는 많은 수의 파라미터를 초래하여 자원 제약 환경에서의 배포를 방해합니다. 구조적 가지치기(pruning)는 압축의 방법을 제공하지만, 기존 최신 방법들은 종종 그래디언트 기반 중요도 순위나 확률적 게이팅에 의존하여 불안정성, 구조적 퇴화, 그리고 광범위한 수동 하이퍼파라미터 튜닝의 필요성이라는 문제를 겪습니다. 본 논문에서는 헤드 선택을 전역 그래프 이론적 문제로 재정의하는 새로운 사후(post-hoc) 프레임워크인 CAHP(Complementary Attention Head Pruning)를 소개합니다. CAHP는 헤드를 개별적으로 평가하는 대신, 그래프 기반 클러스터링과 정보 이론적 거리 측정을 결합하여 위상적으로 다양한 상호 보완적 어텐션 헤드의 부분 집합을 식별하고 보존합니다. 미리 정의된 희소성(sparsity) 수준이나 가지치기 비율 없이도, 해당 프레임워크는 추가 헤드 가지치기가 선택된 다항식 차수에 따라 결정되는 성능의 급격한 저하로 이어지는 한계 성능 감소 곡선을 식별하여, 레이어 전체에서 선택된 어텐션 헤드의 수를 자동으로 결정합니다. 다양한 트랜스포머 모델 스케일에 걸친 SST-5 및 MNLI 벤치마크에 대한 광범위한 평가 결과, CAHP는 특히 고압축 영역에서 경쟁 베이스라인을 일관되게 능가함을 입증합니다. 또한, 구조적 분석을 통해 CAHP는 출력에 가까운 레이어의 헤드를 주로 보존하는 경향이 있는 그래디언트 기반 가지치기 방법의 '근접성 바이어스(proximity bias)'를 피하고, 대신 모델의 중간 레이어에서 기능적으로 중요한 어텐션 헤드 집합을 유지함을 보여줍니다.
대규모 언어 모델(LLM)의 긴 문맥(long-context) 디코딩은 키-값(Key-Value, KV) 캐시에 접근하고 처리하는 비용에 의해 제한됩니다. 어텐션 출력이 키와 값에 공동으로 의존한다는 증거가 있음에도 불구하고, 값을 통합하는 것이 과도한 오버헤드를 초래하기 때문에 대부분의 기존 KV 관리 방법은 키 전용(key-only) 가지치기에 의존합니다. 본 논문에서는 커널 실행 중 누적된 어텐션 출력을 추적하고 추가적인 기여가 무시할 수 있게 되면 후속 KV 블록 접근을 종료하는 가벼운 런타임 메커니즘인 어텐션 런타임 종료(ART)를 제안합니다. ART는 KV 선택을 대체하는 것이 아니라, 기존의 밀집(dense) 또는 희소(sparse) 어텐션 정책 위에서 중복된 KV 순회(traversal)를 동적으로 종료합니다. 중간 어텐션 출력의 크기와 방향의 변화를 모두 모니터링하는 안정성 기반(stability-based) 기준을 도입하고, 결과적으로 발생하는 절단 오차(truncation error)에 대한 이론적 특성화를 제공합니다. LongBench 및 RULER Needle-in-a-Haystack 작업에 대한 실험 결과, ART는 결과 품질을 저하시키지 않으면서 기존 KV 캐시 방법의 생성 처리량(throughput)을 최대 20%까지 증가시키는 것으로 나타났습니다.