DeltaS: 스트리밍 비디오에서 KV 캐시 제거를 위한 게이트 선형 어텐션 상태 활용
DeltaS: Reading the Gated Linear Attention State for KV Cache Eviction in Streaming Video
한국어 초록
최근 비전-언어 모델은 효율적인 장문맥 처리를 위해 선형 어텐션과 전체(full) 어텐션 레이어를 교차 배치하는 하이브리드 아키텍처를 점점 더 많이 채택한다. 선형 어텐션의 순환 상태(recurrent state) 크기는 고정된 반면, 전체 어텐션의 KV 캐시는 비디오 스트림에 따라 계속 커지므로, 제한된 메모리 예산 하에서는 제거(eviction)가 필요하다. 스트리밍에서 핵심 과제는 질문이 도착하기 전에 제거가 이루어져야 하므로, 무엇을 유지할지를 질문 없이 결정해야 한다는 점이다. 기존 제거 방법은 위치, 어텐션, 또는 키-값 표현을 사용해 KV 캐시 자체에서 토큰 점수를 도출하며, 어텐션 기반 점수는 추가로 프록시 쿼리나 추가 연산이 필요하다. 하이브리드 백본은 또 다른 신호 원천을 제공한다. 게이트-델타(gated-delta) 선형 어텐션에서는 순환 상태가 각 입력과 상태에서 이미 검색 가능한 것 사이의 잔차(residual)로 갱신되므로, 프레임 청크에 걸친 상태 변화는 해당 청크가 얼마나 많은 새 정보를 가져오는지를 반영한다. 우리는 쿼리에 무관하고 학습이 필요 없는 방법인 DeltaS를 제안하며, 정규화된 상태 변화, 즉 상태 표류(state drift)가 더 큰 비디오 청크를 유지한다. 예산과 유지 정책을 고정한 통제 비교에서 상태 표류는 위치-, 어텐션-, 키-값 기반 신호보다 우수하다. 순전파의 1.9%에 해당하는 비용의 신호만으로 DeltaS는 여섯 개의 장영상 벤치마크에서 평균 2.1점, 가장 긴 벤치마크에서는 5.6점만큼 최강의 쿼리-무관 제한 메모리 기준선을 능가한다. 이 결과는 하이브리드 아키텍처의 두 기억이 협력적으로 작동할 수 있음을 시사한다. 코드는 https://github.com/MaumAI-Company/DeltaS 에서 이용할 수 있다.
원문 초록
Recent video-language models increasingly adopt hybrid architectures that interleave linear and full attention layers for efficient long-context processing. While the recurrent state of linear attention remains fixed in size, the KV cache of full attention continues to grow with the video stream, making eviction necessary under a bounded memory budget. The key challenge in streaming is that eviction must occur before the question arrives, so what to retain has to be decided without the question. Existing eviction methods derive token scores from the KV cache itself, using position, attention, or key-value representations, and attention-based scores further require proxy queries or extra computation. Hybrid backbones offer another source of signal. In gated-delta linear attention, the recurrent state is updated by the residual between each input and what can already be retrieved from the state, so its change over a chunk of frames reflects how much new information the chunk brings. We propose DeltaS, a query-agnostic, training-free method that retains video chunks inducing larger normalized state change, or state drift. In a controlled comparison with the budget and retention policy held fixed, state drift outperforms position-, attention-, and key-value-based signals. With a signal costing only 1.9% of the forward pass, DeltaS surpasses the strongest query-agnostic bounded-memory baseline by 2.1 points on average across six long-video benchmarks and by 5.6 points on the longest benchmark. These results suggest that the two memories of hybrid architectures can work cooperatively. Code is available at https://github.com/MaumAI-Company/DeltaS.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27470v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SLICEChat: 전슬라이드 병리 언어 모델을 위한 점진적 인코더 내 토큰 가지치기
SLICEChat: Progressive In-Encoder Token Pruning for Whole-Slide Pathology Language Models
전슬라이드 병리 이미지(WSI)는 기가픽셀 규모의 시각 정보를 담고 있어, 슬라이드 수준 멀티모달 대규모 언어 모델(MLLM)의 확장성에 큰 난제를 만든다. 기존 접근은 수천 개의 패치 토큰을 처리하고, 보통 슬라이드 인코딩 이후에만 압축을 적용하여 멀티모달 어텐션이 계산적으로 비싸게 남는다. 우리는 하이브리드 Mamba–트랜스포머 슬라이드 인코더 안에 점진적 토큰 가지치기를 통합한 슬라이드 수준 MLLM인 SLICEChat을 제안한다. Mamba 레이어는 효율적인 장거리 전파를 가능하게 하고, 트랜스포머 레이어는 시퀀스가 점진적으로 짧아지는 동안 전역 상호작용을 유지한다. 단계 사이에서는 언어 지도 하의 영역 인식 가지치기가 제어된 유지율(keep-rate) 스케줄 하에서 공간적으로 일관된 저유용 영역을 제거하여, 멀티모달 융합 전에 압축된 슬라이드 표현을 만든다. SlideBench VQA에서 SLICEChat은 TCGA에서 79.84%, BCNB 코호트에서 59.09% 정확도를 달성해 기존 슬라이드 수준 병리 MLLM을 능가했으며, WSI-Bench 전체 지표에서도 최고 성능을 기록했다. 또한 평가된 모델 중 경쟁력 있는 메모리 사용량과 추론 지연 시간을 보였다. 이 결과는 기가픽셀 WSI에 대한 정확하고 계산적으로 효율적인 멀티모달 추론을 보여 준다.
모든 차원이 동등하지는 않다: 그룹화된 이차 커널을 이용한 이상치 인식 어텐션 선형화
Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels
소프트맥스(softmax) 어텐션을 선형화하는 것은 효율적인 트랜스포머(Transformer) 추론을 달성하는 경로를 제공하지만, 사전학습된 어텐션을 보존하는 것은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 표준 선형화 기법들이 간과해 온 중요한 근사 오차 원인을 규명합니다. 즉, 소수의 이상치 차원이 쿼리-키 내적에 불균형적으로 크게 기여하며 근사 오차의 상당 부분을 차지한다는 점입니다. 이러한 이질성에 착안하여, 본 논문에서는 이차 어텐션 근사를 구성하기 위한 차원 인식 기법인 이상치 인식 어텐션 선형화(Outlier-Aware Attention Linearization, OAL)를 제안합니다. 2차 테일러 근사에서 출발하여, 개별 쿼리-키의 기여를 명시적으로 만드는 아다마르 곱(Hadamard-product) 정식을 도입합니다. 이 정식은 전역적으로 공유되는 계수를 완화하여 분리 가능한 평가 방식을 유지하면서도 차원별 선형 항과 차원 간 이차 상호작용을 지원합니다. 적은 수의 파라미터로 이러한 유연성을 유지하기 위해, OAL은 기여도 규모가 유사한 차원들을 묶어 계수를 공유하도록 하는 동시에 소수의 이상치는 별도로 처리할 수 있도록 합니다. 이를 통해 생성된 양의 이차 커널은 사전학습된 어텐션 출력을 기준으로 보정되며, 고정된 헤드 차원에 대해 시퀀스 길이에 선형인 시간 복잡도로 계산이 가능합니다. Qwen2.5-0.5B 모델에서 OAL은 DiJiang 대비 고정된 어텐션 출력의 상대 MSE를 약 8.9% 감소시킵니다. 중간 층의 어텐션 모듈을 교체하고 LoRA를 통해 커널 계수를 공동으로 미세조정(fine-tuning)하면, 학습된 전역 이차 커널 방식과 비교해 WikiText-103 퍼플렉시티(perplexity)를 31.71에서 27.50으로 낮추는 동시에 PIQA, HellaSwag, ARC-E에서의 정확도를 향상시킵니다. 이러한 결과는 어텐션 근사와 사전학습 모델 변환 모두에서 이상치 인식 차원 그룹화의 유효성을 입증합니다. 코드는 https://github.com/wuqianyue09/OAL 에서 확인할 수 있습니다.
Orthros: 효율적인 트랜스포머를 위한 단계 인식 이종 어텐션
Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers
선형 어텐션(linear attention)과 슬라이딩 윈도우 어텐션(sliding window attention) 같은 효율적인 어텐션 메커니즘은 트랜스포머의 계산 복잡도를 제곱(quadratic)에서 선형(linear)으로 줄이는 것을 목표로 한다. 그러나 이러한 메커니즘은 문맥 내 재현율(in-context recall)이 저하되는 경우가 많아 전체 어텐션(full attention) 레이어를 교차 배치해야 하는 경우가 많으며, 이로 인해 긴 문맥(long-context) 처리에서 제곱 복잡도 병목이 여전히 해결되지 않은 채로 남아 있다. 이를 해결하기 위해, 우리는 효율성 패러다임을 구조적 할당(structural allocation)에서 단계 인식 분리(phase-aware decoupling)로 전환하는 Orthros 어텐션을 제안한다. Orthros는 통합된 모듈로서 시퀀스 처리의 서로 다른 단계(phase)에 걸쳐 계산 패턴을 동적으로 전환하여, 프리필링(prefilling)에서는 선형 복잡도를, 디코딩(decoding)에서는 전체 어텐션을 가능하게 한다. 이러한 설계는 무거운 프리필링과 가벼운 디코딩으로 특징지어지는 일반적인 긴 문맥 시나리오에서 Orthros 어텐션이 기본 트랜스포머(vanilla Transformer)보다 더 낮은 점근적 복잡도(asymptotic complexity)를 갖도록 한다. 이론적 정식화와 복잡도 분석을 넘어, 광범위한 실증적 평가를 통해 Orthros가 여러 측면에서 우수함을 입증한다. 첫째, 우리는 Orthros의 기본적인 언어 모델링 능력을 검증하여 다양한 모델 크기에 걸친 확장성(scalability)과 종합적인 아키텍처 비교에서의 강력한 경쟁력을 보여준다. 둘째, Orthros는 데이터 효율적인 트랜스포머-투-Orthros 변환(Transformer-to-Orthros conversion)을 통해 뛰어난 변환 가능성(conversion feasibility)을 보여주며, 원본 트랜스포머를 능가하는 성능을 달성한다. 마지막으로, Orthros는 트랜스포머 대비 21.9배의 프리필링 속도 향상(prefilling speedup)을 달성하며 종단 간(end-to-end) 추론 성능 향상을 보이는 동시에, 거의 완벽한 128K 니들 인 어 헤이스택(needle-in-a-haystack) 결과와 실제 문맥 내 재현율 과제에서 트랜스포머 수준의 성능을 통해 긴 문맥 처리 능력을 유지한다. 전반적으로, 이러한 높은 성능, 유연성, 효율성의 장점들은 Orthros를 산업 응용 분야에서 트랜스포머를 계승할 유망한 후보로 자리매김하게 한다.
SketchSSM: 전체 상태에 쓰고, 간결한 스케치에서 읽기
SketchSSM: Write to the Full State, Read from a Compact Sketch
하이브리드 어텐션(hybrid-attention) 모델은 대부분의 소프트맥스 어텐션 레이어를 선형 어텐션으로 대체하여 KV 캐시 증가를 줄이고 더 큰 디코드 배치를 가능하게 하지만, 이 경우 순환 상태(recurrent-state) 접근이 주요 병목이 됩니다. ReplaySSM은 키와 값을 버퍼링하여 상태 업데이트 비용을 분할 상환하지만, 상태 업데이트 사이에 상태가 변하지 않더라도 각각의 새로운 쿼리는 여전히 전체 상태 읽기를 필요로 합니다. 본 연구에서는 저랭크(low-rank) 상태 가중 쿼리 근사가 상태 읽기 출력을 정확하게 보존함을 관찰했습니다. 미래의 쿼리는 알 수 없지만, 이를 근사하는 데 사용되는 기저 벡터(basis vector)는 오프라인에서 고정할 수 있습니다. 이러한 관찰을 바탕으로, 전체 상태 업데이트는 유지하면서 읽기를 근사하는 SketchSSM을 제안합니다. 각 상태 업데이트 시 SketchSSM은 전체 상태를 한 번 읽어 이러한 기저 벡터에 대한 출력을 사전 계산하고 이를 간결한 스케치에 저장합니다. 이후의 각 디코드 단계는 전체 상태 읽기 없이 스케치 벡터를 쿼리 종속 계수와 결합하여 출력을 재구성합니다. Mamba-2, GDN, KDA 기반의 4개 모델 전반에서 평균 스케치 랭크 8의 SketchSSM은 4개의 디코드 벤치마크에 걸쳐 FP32 전체 상태 기준선(baseline)의 평균 정확도를 유지하면서 상태 접근 트래픽을 약 10$\times$ 감소시켰으며, 4개의 RULER 검색 작업에서 재현율(recall)을 보존했습니다. 단일 NVIDIA B300 환경의 해당 랭크에서 표준 vLLM 기준선 대비 선형 어텐션 커널 속도 향상은 Mamba-2, GDN, KDA에 대해 각각 7.30$\times$, 5.02$\times$, 5.24$\times$에 달했으며, Nemotron 3 Super에서 최대 2.77$\times$ 더 높은 디코드 처리량을 달성했습니다.
비디오 MLLM 사후 학습을 위한 행동 팩 최적화
Behavior Pack Optimization for Video MLLM Post-Training
비디오 다중모달 대규모 언어 모델(video multimodal large language model, Video MLLM)은 비디오 질의응답 벤치마크에서 지속적으로 성능을 높이고 있지만, 프레임을 섞거나 정답을 뒷받침하는 구간을 마스킹하거나 대상 객체를 가려도 예측 결과는 거의 변하지 않습니다. 이러한 정확도는 질문이 요구하는 시간적 증거가 아닌 외형 및 언어 사전확률(prior)에 의존하고 있습니다. 저자들은 이 원인이 사후 학습(post-training) 단위에 있음을 밝혀냈습니다. 즉, 보상(reward)이 원본 클립에 대한 단일 응답에 대해서만 계산되므로, 모델이 다양한 관점(view)에 걸쳐 일관되게 행동하도록 요구받지 않는다는 점입니다. 이에 저자들은 단일 응답 대신 질문 유형에 따라 선택된 반사실적 관점들에 걸친 출력들의 행동 팩(behavior pack)으로 대체하고 이를 공동으로 평가하는 행동 팩 최적화(Behavior Pack Optimization, BPO)를 제안합니다. 팩 보상은 개입이 무관할 때는 안정성을, 핵심 증거가 제거되었을 때는 민감성을, 증거가 전혀 남아있지 않을 때는 기권(abstention)을 요구합니다. 작은 팩 크기에서도 이 목적 함수를 안정적으로 유지하기 위해, BPO는 앵커 상대적 이점(anchor-relative advantage)을 사용합니다. 즉, 혼합된 관점들의 그룹 평균 대신 원본 관점의 응답이 프롬프트별 참조 역할을 수행합니다. TempCompass, MVBench, NExT-QA에서 BPO는 동일한 SFT 체크포인트 기반의 예산 매칭된 바닐라 GRPO 기준선(baseline) 대비 Qwen2.5-VL-7B-Instruct의 매크로 정확도를 4.7%p, 시간적으로 까다로운(temporal-hard) 하위 집합을 7.8%p, 기권 F1을 20.0%p 향상시킵니다. 이러한 이득은 Video-MME, LongVideoBench 및 LLaVA-Video-7B로도 전이되며, 소거 연구(ablation)를 통해 이러한 성과가 롤아웃(rollout) 횟수가 아닌 관점 세트에 기인함을 확인했습니다. 연구진은 증거에 기반한(evidence-grounded) 비디오 추론으로 나아가는 과정에서, 이러한 팩 수준의 관점이 비디오 MLLM 및 다중모달 사후 학습 커뮤니티에 유용한 출발점을 제공하기를 기대합니다.
비디오 증거 인덱싱(Video Evidence Indexing): 토큰 예산 제약 장시간 비디오 질의응답을 위해 비디오 프리뷰로부터 어디를 볼지 학습하기
Video Evidence Indexing: Learning Where to Look from Video Previews for Token-Budgeted Long-Video Question Answering
장시간 비디오 질의응답(long-video question answering)은 비주얼 토큰의 높은 비용과 현재 VLM(비전-언어 모델)의 고정된 컨텍스트 폭(context width)으로 인해 제약을 받는다. 장시간 비디오에 대한 질문은 넓은 시간적 범위(temporal coverage)를 요구할 수 있지만, 정답은 흔히 소수의 압축된 순간들(moments)에 의해서만 뒷받침된다. 이러한 순간들을 효율적으로 찾아내기 위해, 우리는 토큰 예산이 제한된 비디오 증거 인덱싱(token-budgeted Video Evidence Indexing, VEI)을 제안한다: 조밀한 저해상도 비디오 프리뷰(Video Preview)가 주어지면, 모델은 최종 추론을 위한 압축된 고해상도 증거 집합(Evidence Set)을 구성한다. 우리는 VEI를 질문과 관련된 순간을 찾는 증거 위치 추정(evidence localization)과, 제한된 고해상도 프레임 예산을 어디에 사용할지 결정하는 예산 계획(budget planning)을 함께 해결해야 하는 정책(policy)으로 다룬다. 우리는 이 아이디어를 하나의 추론 파이프라인으로 구현한다: 비디오 프리뷰는 저비용의 전역적 커버리지를 제공하고, 비디오 증거 인덱싱은 증거 집합을 구성하며, 답변 생성(Answer Generation)은 최종 VQA를 위해 두 입력을 결합한다. 프레임 수준의 감독(supervision)이 부재한 문제를 해결하기 위해, 우리는 특권적 자기 증류(privileged self-distillation)를 채택하는데, 여기서는 정답을 아는 교사(answer-aware teacher)가 학생이 생성한 인덱싱 흔적(indexing trace)에 대해 일반적인 테스트 시점(test-time) 정책을 지도한다. 우리는 프레임당 1, 6, 12, 24개의 비주얼 토큰을 가진 프리뷰를 탐구하며, 이 네 가지 해상도를 모두 지원하는 단일 정책을 학습시킨다. 실험 결과, 비디오 증거 인덱싱은 제한된 비주얼 예산 하에서 정확도를 향상시키며, 자기 증류는 QA 정확도와 시간적 증거 위치 추정(temporal evidence localization) 모두를 추가로 향상시킨다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.