arXiv:2510.00536v2 cs.CL

GUI-KV: 시공간 인식을 갖춘 KV 캐시를 통한 효율적인 GUI 에이전트

GUI-KV: Efficient GUI Agents via KV Cache with Spatio-Temporal Awareness

Kung-Hsiang Huang, Haoyi Qiu, Yutong Dai, Caiming Xiong, Chien-Sheng Wu

제출 2025-10-01

저자 비고

arXiv Comments

Accepted by TMLR

한국어 초록

비전-언어(vision-language) 모델을 기반으로 구축된 그래픽 사용자 인터페이스(GUI) 에이전트(agent)는 인간과 컴퓨터 간의 워크플로를 자동화하는 유망한 접근 방식으로 부상했습니다. 그러나 고해상도 스크린샷의 긴 시퀀스를 처리하고 장기적인(long-horizon) 작업을 해결해야 하므로 추론(inference)이 느리고 비용이 많이 들며 메모리 제약이 심해지는 비효율성 문제에 직면해 있습니다. 키-값(KV) 캐싱으로 이를 완화할 수 있지만, 이미지가 많은 컨텍스트에서는 전체 캐시를 저장하는 데 큰 부담이 따릅니다. 기존의 캐시 압축 방법들은 GUI의 공간적 및 시간적 중복성을 고려하지 않기 때문에 최적의 성능을 내지 못합니다. 본 연구에서는 먼저 GUI 에이전트 워크로드의 어텐션(attention) 패턴을 분석하여, 자연 이미지와 달리 모든 트랜스포머(transformer) 층(layer)에 걸쳐 어텐션 희소성(sparsity)이 균일하게 높다는 점을 발견했습니다. 이러한 통찰을 바탕으로 단순한 균일 예산 할당 전략을 고안했으며, 이것이 더 복잡한 층별 가변 방식보다 실증적으로 우수함을 보였습니다. 이를 기반으로 재학습이 필요 없는 GUI 에이전트용 플러그 앤 플레이 KV 캐시 압축 방법인 GUI-KV를 제안합니다. GUI-KV는 두 가지 새로운 기술을 결합합니다: (i) 은닉 상태의 L2 노름으로 어텐션 점수를 보강하여 의미론적으로 중요한 시각적 토큰을 더 잘 보존하는 공간적 현저성(spatial saliency) 안내, 그리고 (ii) 이전 프레임의 키를 현재 프레임의 키 부분공간에 투영하여 중복된 히스토리를 우선적으로 프루닝(pruning)하는 시간적 중복성 스코어링입니다. 표준 GUI 에이전트 벤치마크 및 모델 전반에서 GUI-KV는 경쟁력 있는 KV 압축 기준선(baseline)들을 능가하며, 적당한 예산에서도 전체 캐시 정확도에 밀접하게 근접합니다. 특히 AgentNetBench 벤치마크의 5개 스크린샷 설정에서 GUI-KV는 전체 캐시 기준선 대비 디코딩 FLOPs를 38.9% 줄이는 동시에 단계별 정확도를 4.1% 향상시켰습니다. 이러한 결과는 GUI 고유의 중복성을 활용함으로써 효율적이고 신뢰할 수 있는 에이전트 성능을 달성할 수 있음을 보여줍니다.

원문 초록

Graphical user interface (GUI) agents built on vision-language models have emerged as a promising approach to automate human-computer workflows. However, they also face the inefficiency challenge as they process long sequences of high-resolution screenshots and solving long-horizon tasks, making inference slow, costly and memory-bound. While key-value (KV) caching can mitigate this, storing the full cache is prohibitive for image-heavy contexts. Existing cache-compression methods are sub-optimal as they do not account for the spatial and temporal redundancy of GUIs. In this work, we first analyze attention patterns in GUI agent workloads and find that, unlike in natural images, attention sparsity is uniformly high across all transformer layers. This insight motivates a simple uniform budget allocation strategy, which we show empirically outperforms more complex layer-varying schemes. Building on this, we introduce GUI-KV, a plug-and-play KV cache compression method for GUI agents that requires no retraining. GUI-KV combines two novel techniques: (i) spatial saliency guidance, which augments attention scores with the L2 norm of hidden states to better preserve semantically important visual tokens, and (ii) temporal redundancy scoring, which projects previous frames' keys onto the current frame's key subspace to preferentially prune redundant history. Across standard GUI agent benchmarks and models, GUI-KV outperforms competitive KV compression baselines, closely matching full-cache accuracy at modest budgets. Notably, in a 5-screenshot setting on the AgentNetBench benchmark, GUI-KV reduces decoding FLOPs by 38.9% while increasing step accuracy by 4.1% over the full-cache baseline. These results demonstrate that exploiting GUI-specific redundancies enables efficient and reliable agent performance.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2510.00536v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03198v1cs.AI공통 태그 Computational Efficiency, Model Compression, kv cache compression

KV$^2$: 자체 정제형 키-값(KV) 캐시

KV$^2$: A Self-Refining KV Cache

키-값(KV) 캐시의 메모리 점유 공간은 긴 문맥(long-context) 모델의 실용적 활용을 제약하며, 사전 채움(prefilled)된 단일 문맥이 이후 여러 다양한 질의를 처리해야 할 때 비용의 대부분을 차지합니다. 이러한 재사용 환경에서 질의 무관(query-agnostic) 압축은 비용과 품질 간의 트레이드오프를 가집니다. 경량 추정기는 연산 비용이 저렴하지만 정확도가 낮고, 전체 문맥 재구성 점수 산정 방식은 더 정확하지만 전체 프롬프트(prompt)를 다시 처리해야 합니다. 본 연구에서는 선택적 재구성을 기반으로 한 질의 무관 KV 캐시 압축 기법인 KV$^2$를 소개합니다. KV$^2$는 먼저 경량 프록시 점수 산정기를 사용하여 문맥 내 유익한 토큰을 식별한 다음, 이 하위 집합만을 다시 처리하여 최종 축출(eviction) 점수를 계산합니다. RULER, Needle-in-a-Haystack, LongBench 벤치마크에서 KV$^2$는 예산이 빠듯해질수록 기준선(baseline) 대비 마진(margin) 격차를 넓힙니다. 2%의 KV 캐시 예산을 사용한 RULER 16K에서 차상위 기준선 대비 평균 점수를 40%p 이상 향상시켰으며, LongBench에서는 2%~10% 예산 전반에 걸쳐 전체 문맥 재구성 방식보다 압축 단계의 실행 시간 및 피크 메모리를 낮추면서도 가장 높은 평균 점수를 달성했습니다. 따라서 재사용 가능한 KV 캐시 압축은 전체 문맥을 다시 처리할 필요가 없습니다. 본 연구의 코드는 https://anonymous.4open.science/r/KVsquared-0B97 에서 확인할 수 있습니다.

arXiv:2610.01785v1cs.CV공통 태그 Computational Efficiency, Model Compression, vision-language model

VETO: 비전-언어 모델을 위한 비디오 효율적 토큰 최적화

VETO: Video Efficient Token Optimization for Vision Language Models

비전-언어 모델(VLM)로 긴 비디오를 처리하는 것은 시각적 토큰(token)의 이차(quadratic) 비용으로 인해 병목 현상이 발생하여, 장시간 추론(inference)의 비용이 매우 높아집니다. 단일 축 압축 방식들이 이를 완화하긴 하지만, 공간적 및 시간적 중복성을 독립적으로 다루기 때문에 뚜렷한 효율성의 한계에 부딪힙니다. 본 논문에서는 이중 축 압축을 통해 이러한 병목 현상을 해소하는 학습(training) 선택형 플러그인인 VETO(비전-언어 모델을 위한 비디오 효율적 토큰 최적화)를 제시합니다: (i) 최적 수송(optimal-transport)에서 영감을 얻은 매칭을 통해 각 프레임 내에서 의미론적으로 유사한 토큰들을 병합하는 프레임 내(intra-frame) 압축기, 그리고 (ii) 시간적으로 중복되는 프레임을 식별하여 병합하는 프레임 간(inter-frame) 압축기입니다. 핵심적인 설계 통찰은 계층적 순서화입니다. 공간적 차원을 먼저 압축함으로써 VETO는 후속되는 전역적 시간 매칭 비용을 대폭 절감하여 단일 축 접근 방식의 효율성 한계를 우회하며, 최신 완전 융합 어텐션(fully-fused attention) 인프라에서 이러한 이점이 더욱 커집니다. 실증적으로 VETO는 정확도를 유지하거나 향상시키면서 최대 45% 더 빠른 추론을 달성합니다(예: LLaVA-OneVision-7B). 극단적인 토큰 결핍 상태(10% 예산)에서 VETO는 55.7%의 정확도를 기록하여 VFlowOpt(54.9%), VisionZip(52.6%), FastV(47.9%)보다 뛰어난 성능을 보입니다. 또한 LLaVA-OneVision, InternVL-2.5, LongVA 전반에 걸친 보편적 적용 가능성을 입증하며, 모든 경우에서 제로샷(zero-shot) 정확도가 유지되거나 향상됨을 확인했습니다.

arXiv:2609.24485v1cs.CV공통 태그 Computational Efficiency, Model Compression, vision-language model

VPRune: 효율적인 학습 없는 LLM 이전 비주얼 토큰 가지치기

VPRune: Efficient Training-free Pre-LLM Visual Token Pruning

비주얼 토큰 가지치기(pruning)는 대규모 비전-언어 모델(LVLM)의 추론(inference) 비용을 줄이는 유망한 접근법이지만, 공격적인 토큰(token) 감축은 종종 심각한 성능 저하를 초래합니다. 본 연구에서는 이러한 성능 저하의 배후에 있는 세 가지 핵심 요인으로 텍스트 기반 선택 바이어스(bias), 폐기된 토큰으로 인한 정보 손실(loss), 그리고 시퀀스 압축으로 인한 위치 왜곡을 규명합니다. 이러한 관찰을 바탕으로, 시각 정보 전용 다양성 선택, 유사도 기반 토큰 재활용, 위치 보존 복원으로 구성된 학습(training) 없는 LLM 이전 가지치기 프레임워크인 VPRune을 제안합니다. 여러 비전-언어 벤치마크에 걸친 FastVLM-1.5B 실험은 VPRune이 특히 공격적인 압축 환경에서 두드러진 이점을 보이며 우수한 정확도-압축 트레이드오프를 달성함을 입증합니다. 나아가 엣지 디바이스 평가를 통해 VPRune이 우수한 태스크 성능을 유지하면서 종단간(end-to-end) 추론 지연 시간을 효과적으로 줄여, 자원 제약이 있는 환경에서의 LVLM 배포에 대한 실용성을 입증합니다.

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency, Model Compression

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2609.24894v2cs.CV공통 태그 Computational Efficiency, Model Compression

SLICEChat: 전슬라이드 병리 언어 모델을 위한 점진적 인코더 내 토큰 가지치기

SLICEChat: Progressive In-Encoder Token Pruning for Whole-Slide Pathology Language Models

전슬라이드 병리 이미지(WSI)는 기가픽셀 규모의 시각 정보를 담고 있어, 슬라이드 수준 멀티모달 대규모 언어 모델(MLLM)의 확장성에 큰 난제를 만든다. 기존 접근은 수천 개의 패치 토큰을 처리하고, 보통 슬라이드 인코딩 이후에만 압축을 적용하여 멀티모달 어텐션이 계산적으로 비싸게 남는다. 우리는 하이브리드 Mamba–트랜스포머 슬라이드 인코더 안에 점진적 토큰 가지치기를 통합한 슬라이드 수준 MLLM인 SLICEChat을 제안한다. Mamba 레이어는 효율적인 장거리 전파를 가능하게 하고, 트랜스포머 레이어는 시퀀스가 점진적으로 짧아지는 동안 전역 상호작용을 유지한다. 단계 사이에서는 언어 지도 하의 영역 인식 가지치기가 제어된 유지율(keep-rate) 스케줄 하에서 공간적으로 일관된 저유용 영역을 제거하여, 멀티모달 융합 전에 압축된 슬라이드 표현을 만든다. SlideBench VQA에서 SLICEChat은 TCGA에서 79.84%, BCNB 코호트에서 59.09% 정확도를 달성해 기존 슬라이드 수준 병리 MLLM을 능가했으며, WSI-Bench 전체 지표에서도 최고 성능을 기록했다. 또한 평가된 모델 중 경쟁력 있는 메모리 사용량과 추론 지연 시간을 보였다. 이 결과는 기가픽셀 WSI에 대한 정확하고 계산적으로 효율적인 멀티모달 추론을 보여 준다.

arXiv:2610.15781v1cs.LG공통 태그 Computational Efficiency, Model Compression

하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기

Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models

학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.