PyTorchKR Papers

최신 논문

총 17편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.13898v4cs.CV

HiLo-Token: Input-Adaptive High-Low Frequency Token Compression for Efficient Image Editing Model Serving

Creative image editing tools, such as Adobe Photoshop's Remove and Generative Fill buttons, are central to everyday customer use and account for a major share of traffic. However, current generative AI models face significant latency challenges, which become even more pronounced as the field transitions from convolution-based U-Nets to Diffusion Transformers (DiTs). In our evaluation on hundreds of representative image editing samples spanning a wide range of mask ratios, the DiT module alone accounts for an average of 73% of the total model latency, even after being distilled from 50 timesteps down to 8 timesteps. To tackle this challenge, we propose $\textbf{HiLo-Token}$, an input-adaptive token compression framework that allocates a larger token budget to high-frequency, rich-context regions while assigning fewer tokens to low-frequency areas. Specifically, for the editing region specified by the user mask, we retain all tokens within a dilated mask to preserve strong locality and contextual relevance. Outside the editing region, we introduce a simple yet effective high-frequency token selection strategy based on spatial frequency to capture important local details, while using tokens from a heavily downsampled image to represent low-frequency components and preserve the coarse global structure. Extensive experiments on production-level evaluation data validate the effectiveness of the proposed method, which achieves 3.13$\times$, 2.59$\times$, and 1.67$\times$ DiT speedups on A100-80GB for image editing tasks across small, medium, and large mask ratio categories with average ratios of 6.38%, 15.92%, and 35.36%, respectively, without any regression in generation quality. In production, where the editing pipeline is served as disaggregated, independently autoscaled GPU workers, these per-request savings translate into a 33% reduction in the GPUs required to serve the models.

arXiv:2610.13858v1cs.CV

LapMerge: 선형 시간 내 미분 가능한 정확한 예산 기반 토큰 병합

LapMerge: Differentiable Exact-Budget Token Merging in Linear Time

현대 비전 및 언어 모델은 점차 더 긴 토큰 시퀀스를 처리하며, 이를 줄이는 것이 다운스트림 비용을 절감하는 핵심 수단입니다. 그러나 토큰 압축은 근본적인 트레이드오프에 직면해 있습니다. 즉, 토큰을 선택하는 방식은 정보를 폐기하는 반면, 기존 병합 방식은 토큰 간 쌍별(pairwise) 매칭이나 $MN$ 토큰-출력 상호작용을 통해서만 정보를 보존합니다. 본 논문에서는 정렬된 시퀀스에 대해 이러한 트레이드오프를 해결하는 미분 가능한 병합 연산자인 LapMerge를 소개합니다. 이는 학습된 질량 분포가 라플라스 커널(Laplace-kernel) 밀도 하에서 시퀀스를 정확히 $N$개의 동일한 질량 세그먼트로 분할하고, 접두 문맥/접미 스캔이 각 세그먼트를 집계함으로써 순전파와 역전파 모두 $\mathcal{O}(M+N)$ 시간에 실행되도록 합니다. 이러한 정확한 출력 예산(exact output budget), 엔드투엔드 미분 가능성, 선형 비용의 결합은 이전 감축 기법들이 서로 상충하며 포기해야 했던 요소들입니다. 연산자 파라미터를 변경하지 않고도 예산을 변경할 수 있으며, 학습된 질량은 예산이 할당된 위치를 나타내는 토큰 수준 맵의 역할도 겸합니다. 비전 및 비전-언어(vision-language) 작업 전반에서 LapMerge는 강력한 토큰 감축 기법들과 대등하거나 그 이상의 성능을 보이면서도 시퀀스 길이가 길어질 때 최대 두 자릿수(up to two orders of magnitude) 더 빠릅니다. 특히 토큰 순서가 공간적 또는 시간적 국소성을 반영할 때 효과적이며, 드롭인 감축 모듈이자 학습 가능한 아키텍처 구성 요소로서 모두 작동합니다.

arXiv:2610.13605v1cs.CL

zip2zip++: 최소한의 품질 손실로 추론 시점 토큰 압축을 향하여

zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss

Lempel-Ziv-Welch(LZW) 압축을 통해 즉석에서 구축되는 동적 어휘(dynamic vocabulary)는 언어 모델이 동일한 텍스트를 더 적은 토큰으로 표현할 수 있게 해주지만, 기존 연구에 따르면 이러한 효율성은 추론 능력과 퍼플렉시티(perplexity)의 저하를 대가로 한다. 우리는 이러한 품질 격차가 압축에 따른 근본적인 대가가 아니며, 기반이 되는 사전학습된 언어 모델을 수정하지 않고도 압축 층과 LZW 코덱에 대한 표적화된 개선을 통해 상당 부분 해소될 수 있음을 보인다. 우리의 분석은 네 가지 핵심 문제를 밝혀낸다: (1) LZW의 압축 알고리즘은 입력 임베딩과 출력 임베딩 사이에 암묵적인 충돌을 발생시키며, 이는 단일한 공유 임베딩으로는 해결할 수 없는 긴장 관계이다; (2) RoPE를 LZW로 압축된 시퀀스에 단순하게 적용하면 병합된 토큰이 여러 토큰에 걸쳐 있을 수 있다는 사실을 무시하게 된다; (3) 특정 토큰(특히 숫자)의 병합은 다운스트림 정확도를 불균형적으로 저해한다; 그리고 (4) 동적 어휘는 표준 평가를 혼란스럽게 만드는 본질적인 분절 모호성을 야기한다. 우리는 입력/출력을 분리한 동적 임베딩 층, 크기를 인식하는 RoPE 위치 인코딩, 그리고 선택적 병합과 다중 관점 분절(multi-view segmentation)을 지원하는 수정된 LZW 코덱을 통해 이러한 문제들을 해결한다. 네 가지 모델에 걸쳐, 우리의 방법은 평가한 모든 코퍼스에서 퍼플렉시티를 개선할 뿐만 아니라 수학적 추론 정확도도 향상시키며, 일반 텍스트에서 유사한 압축률로 zip2zip과 비압축 기준선 사이의 품질 격차를 대략 절반으로 줄인다. 이는 언어 모델을 위한 무손실 적응형 어휘 압축을 향한 중요한 진전을 의미한다.

arXiv:2606.07464v3cs.RO

장기 컨텍스트 자율주행을 위한 계획 정렬 토큰 압축

Planning-aligned Token Compression for Long-Context Autonomous Driving

단일체(monolithic) 비전-행동(vision-action) 모델은 자율주행에서 새로 부상하는 패러다임을 나타낸다. 하지만 이 아키텍처는 복잡한 상호작용을 위해 확장된 시간적 컨텍스트를 인코딩할 때 토큰 시퀀스가 실시간 계산 예산을 빠르게 초과하게 한다. 선형 트랜스포머(linear transformer)와 외부 메모리(external memory) 같은 접근법은 컨텍스트를 경량화하려 하지만, 토큰 압축은 백본 수정이 필요 없어 아키텍처와 가장 호환된다. 그러나 기존 압축은 계획과 분리된 시간적 감쇠(temporal decay) 같은 규칙 기반 휴리스틱을 채택하여 결정에 중요한 정보 손실 위험이 있다. 우리는 조건부 VQ-VAE 기반의 계획 정렬 작업 기억(working memory) 프레임워크 COMPACT-VA를 제안한다. 이는 확장된 컨텍스트를 유한한 표현으로 압축한다. 압축은 역사적 궤적과, 역 인코더(posterior encoder)가 학습(training) 중 미래 궤적에서 증류(distillation)하는 학습된 계획 의도 모두에 조건화된다. 사전 인코더(prior encoder)는 압축된 관측에서 이를 예측하는 것을 학습한다. 압축된 메모리는 예측된 잠재 변수와 연결되어 정책에 입력되며, 결정에 중요한 정보를 보존한 채 종단간 최적화와 계획을 수행한다. 우리는 행동 정확성에 역사적 컨텍스트가 가장 중요한 고신호(high-signal) 동적 시나리오(예: 정지, 양보, 진행)에서 평가하고, 이에 맞춰 행동 지표를 설계한다. 유사한 토큰 예산 하에서 성공률에서 >6% 개선(68.3%)을 달성하고 지표 전반에서 일관된 향상을 보인다. 절제 실험(ablation)은 계획 정렬 결합의 효과를 검증한다. 폐루프(closed-loop) 평가는 COMPACT-VA가 비압축 처리 대비 3.3배 속도 향상과 2.7배 메모리 감소를 달성한 채 일반 주행 성능을 유지함을 확인한다.

arXiv:2607.23193v2cs.CV

OmniScope: 옴니모달 대규모 언어 모델을 위한 모달리티 분리 토큰 압축

OmniScope: Modality-Decoupled Token Compression for Omnimodal Large Language Models

기존 옴니모달 대규모 언어 모델의 토큰 압축 방법은 일반적으로 한 모달리티에 의존하여 다른 모달리티에서 무엇을 유지할지 결정합니다. 우리는 이 가정이 종종 무너진다는 것을 보여줍니다. 동일한 쿼리에 대해 오디오와 비디오의 관련성은 종종 서로 다른 시점에 정점을 찍습니다. 이러한 교차 모달리티 현저성(salience) 불일치는 단방향 안내가 공격적인 압축 하에서 답변에 결정적인 단서를 버리기 쉽게 만듭니다. 우리는 쿼리를 공유 의미 앵커로 사용하면서 오디오와 비디오에 대해 관련성을 각각 별도로 추정하는 학습 없는(training-free) 토큰 압축 프레임워크인 OmniScope를 제안합니다. OmniScope는 모달리티별 토큰 예산을 할당하고, 전역 컨텍스트와 시간적 변화를 모두 보존하는 anchor-delta 전략으로 시각 토큰을 가지치기(prune)하며, 시간적 연속성을 유지하면서 중복을 줄이기 위해 각 초 내의 오디오 토큰을 병합합니다. 4개의 오디오-비디오 벤치마크와 두 가지 Qwen2.5-Omni 모델 규모에서 OmniScope는 모든 압축 설정에서 최고의 평균 정확도를 달성합니다. 전체 토큰 유지율 25%에서 최대 3.53배 prefill 속도 향상과 15% 이상의 GPU 메모리 감소를 제공하며, 평균 정확도는 0.35포인트만 하락합니다. 이 결과는 OmniLLM 추론(inference)을 위한 간단한 설계 원칙을 시사합니다. 모달리티 간에 쿼리는 공유하되, 현저성 추정치는 공유하지 않는다. 코드는 https://github.com/MAC-AutoML/OmniScope 에서 이용할 수 있습니다.

arXiv:2607.23265v1cs.CV

WaveZip: 비디오 토큰 응집을 위한 웨이블릿 기반 시공간 분리

WaveZip: Wavelet-Driven Space-Time Decoupling for Video Token Condensation

기존 대규모 비전-언어 모델(LVLM)은 시각 토큰의 이차 계산 비용으로 인해 장시간 비디오 이해에 어려움을 겪는다. 최근의 효율적인 방법들은 강한 가지치기나 균일 병합을 통해 토큰을 압축하려 시도하지만, 견고한 구조적 문맥과 구별력 있는 의미적 세부 정보가 본질적으로 얽혀 있는 공간 특징 영역에서만 동작한다. 본 연구에서는 효율적인 비디오 추론을 위한 신호-주파수 영역 공동 프레임워크인 WaveZip을 제안한다. 시간적 중복은 저역 통과 근사 스케일에 존재하고 공간적 현저성(saliency)은 고주파 성분과 강하게 상관관계가 있다는 통찰에 기반하여, WaveZip은 이산 웨이블릿 변환(DWT)을 활용해 이러한 신호를 분리한다. 시간 축에서는 1차원 DWT를 사용해 쿼리-프레임 관련성을 분석하며, 그 결과 고주파 계수는 프레임 간 차이로 추가 게이팅되고, 두 신호가 공동으로 정밀한 프레임 수준 토큰 예산의 동적 할당을 주도한다. 공간 축에서는 2차원 DWT가 특징을 저주파 근사와 고주파 세부 성분으로 분해하며, 쿼리 현저 영역 내에서 고주파 계수를 조절하여 공간 재구성을 제어한다. 중요하게, WaveZip은 과제별 학습이 필요 없으며 기성 LVLM에 원활하게 통합되어 추론 효율을 높일 수 있다. 장시간 비디오 이해 벤치마크에 대한 광범위한 실험에서 WaveZip은 극단적인 10배 압축 비율에서도 전체 성능의 99.6%를 유지하며, 최신 방법들을 지속적으로 능가함을 보여준다.

arXiv:2607.21179v1cs.CV

보이지 않아도 마음속에는: Omni-LLM을 위한 토큰 압축

Out of Sight, Still in Mind: Token Compression for Omni-LLMs

본 논문의 목표는 추론 시점에 옴니 모달 대규모 언어 모델(Omni-LLM)의 입력 토큰 비용을 줄이는 것이다. Omni-LLM은 오디오, 비디오, 텍스트를 공동으로 추론하지만, 세 스트림의 비용은 매우 불균형적이다. 시각 토큰이 입력의 대부분을 차지하며, 매우 중복적이다. 본 논문에서는 ReMo를 제안한다. ReMo는 모달리티 간에 정보를 재분배하여 시각 토큰을 압축하는 학습 없는(training-free) 프레임워크로, 시각 토큰은 그 정보가 다른 곳에 나타나지 않을 때만 유지된다. ReMo는 두 가지 방식으로 이를 달성한다: (i) 오디오와 비디오를 공통 임베딩(embedding) 공간에 정렬하고, 오디오나 다른 시각 토큰으로 이미 설명되는 시각 토큰을 제거한다; (ii) 객체 수준의 시각 토큰을 간결한 텍스트 프록시, 즉 각 객체와 그 위치에 대한 짧은 설명으로 대체하여 훨씬 적은 토큰으로 동일한 내용을 전달한다. 두 가지 모델 규모의 Qwen2.5-Omni에서 ReMo는 정확도 저하 없이 입력 토큰의 54%를 제거한다. 실제로 전체 토큰 모델을 약간 능가하여, 5개의 오디오-비isual 벤치마크에서 평균 정확도의 101.2% 및 101.3%에 달한다.

arXiv:2606.00543v2cs.CV

ETC: Extreme Token Compression via Task-aware Visual Information Distillation in VLMs

In Vision-Language Models (VLMs), high-resolution images produce a large number of visual tokens, resulting in high computational costs and KV-cache overhead during inference. To address this problem, we propose an Extreme Token Compression (ETC) framework that minimizes task loss when reducing the number of input tokens based on the principle of variational information distillation. Specifically, from an information-theoretic perspective, we show that minimizing task loss requires the compact representation to preserve the instruction-aware sufficient statistic of the task-relevant visual information for prediction. In practice, ETC leverages text-to-image cross-attention to weight the original visual features to approximate the latent instruction-aware predictive statistic. Moreover, ETC introduces a variational information distillation, enabling the compact representation to preserve the essential information to recover this predictive statistic. Experiments on LLaVA-1.5-7B and Qwen3-VL-2B show that ETC remains effective even under single-token compression, substantially reducing KV-cache overhead while retaining strong task performance.

arXiv:2605.16366v2cs.CV

Fre-Res: 효율적 비디오 MLLM을 위한 주파수-잔차 비디오 토큰 압축

Fre-Res: Frequency-Residual Video Token Compression for Efficient Video MLLMs

비디오 MLLM은 공간적 충실도와 시간적 커버리지 사이의 지속적인 긴장 관계에 직면한다. 세밀한 시각적 디테일을 보존하려면 많은 공간 토큰이 필요한 반면, 일시적인 이벤트를 포착하려면 조밀한 시간 샘플링이 필요하다. 우리는 이러한 두 형태의 증거를 분리하는 예산 적응형 이중 트랙 비디오 토큰 압축 프레임워크인 Fre-Res를 제안한다. Fre-Res는 희소한 고충실도 공간 앵커를 보존하고, 조밀한 시간적 진화를 컴팩트한 잔차-주파수 토큰으로 표현한다. 구체적으로, 비전-잠재(vision-latent) 공간에서 프레임 간 잔차 궤적에 시간적 1D-DCT를 적용하며, 여기서 강한 저주파 집중을 관찰했다. 주파수 영역 동역학을 기본 시각 임베딩과 정렬하기 위해, Fre-Res는 시간적 잔차 정보를 공간적으로 대응하는 앵커 토큰에 주입하는 Spatial-Guided Absorber를 도입한다. 세밀한 단편 및 장편 비디오 추론 벤치마크에서 Fre-Res는 유리한 정확도-효율 트레이드오프를 달성하며, 시각 토큰 길이를 상당히 줄이면서도 전체 토큰 성능에 근접하거나 이에 부합한다. 광범위한 ablation 연구는 시간-주파수 잔차가 인과적 전환 단서를 보존하는 반면, 공간 앵커는 세밀한 객체 및 레이아웃 추론에 필수적임을 추가로 보여준다.

arXiv:2607.11266v1cs.AI

유효함 ≠ 필요함: 사고의 연쇄에서 잠재적 비효율성 진단

Valid $\ne$ Necessary: Diagnosing Latent Inefficiency in Chain-of-Thought

사고의 연쇄(Chain-of-Thought, CoT) 프롬프트는 대규모 언어 모델(LLM)의 추론 능력을 크게 향상시켰지만, 과도한 추론(over-reasoning), 즉 중복되거나 장황하거나 무관한 단계의 생성으로 인해 상당한 연산 비용이 발생하는 경우가 많다. 기존 추론 단계 평가기는 논리적 오류와 사실 오류를 효과적으로 탐지하지만, 본 분석은 중요한 사각지대를 드러낸다. 바로 토큰 사용량을 늘리면서도 솔루션에 기여하지 않는 유효하지만 비효율적인 추론 단계에 패널티를 부여하지 못한다는 점이다. 이 한계를 체계적으로 진단하기 위해, 순환 추론 및 과도한 분해를 포함한 다섯 가지 유형의 비효율성을 주입한 진단 벤치마크 RIV-GSM8K를 제안한다. 진단 실험 결과, 최신 평가기들이 이러한 비효율성을 필요한 추론과 구별하는 데 어려움을 겪는 것으로 나타났다. 이 격차를 해소하기 위해, 저효용 단계를 식별하는 정보 이론 기반의 학습 불필요 지표인 CAID(Context-Aware Information Density)를 제안한다. 해당 지표의 실용적 유효성을 검증하기 위해 사후 압축 전략인 PACE에 CAID를 적용한다. 추가 통제 실험에서 PACE의 성능 향상이 단순 가지치기로 설명되지 않음을 확인하였다. 무작위 단계 제거 및 PRM 기반 압축 기준선과 비교했을 때, PACE는 훨씬 높은 압축률에서도 정확도를 유지한다. GSM8K, StrategyQA, ARC-Challenge에 대한 실험 결과, PACE는 정확도를 유지하면서 토큰 소비를 31~53% 줄였으며, 이는 CAID가 연역적 유효성을 손상시키지 않고 추론 체인에서 정보적 거품을 성공적으로 제거함을 확인한다.

arXiv:2607.03050v1cs.LG

OmniFocus: 옴니모달 대규모 언어 모델을 위한 쿼리 기반 모달리티 균형 토큰 압축

OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models

옴니모달 대규모 언어 모델(OmniLLM)은 오디오와 비디오를 동시에 처리하는 능력으로 폭넓은 주목을 받고 있지만, 오디오-비주얼 입력에서 대규모 토큰 시퀀스를 생성하여 상당한 추론 비용을 초래한다. 기존의 오디오-비주얼 토큰 압축 방법들은 단일 모달리티 가이던스에 의존하는 경우가 많아, 오디오-비주얼 입력에서 쿼리 관련 증거의 시간적 지역성을 간과하고, 두 모달리티가 시간적으로 정렬된 정보 밀도 분포를 공유한다는 암묵적인 가정을 한다. 우리는 OmniLLM을 위한 학습 없는 쿼리 기반 토큰 압축 방법인 OmniFocus를 제안한다. 이 방법은 비디오와 오디오에 대해 독립적인 중요도 추정을 수행하여 모달리티 대칭적인 압축 설계를 가능하게 하며, 오디오-비주얼 정렬을 유지하면서 모달리티별 핵심 증거를 보존함으로써 단일 모달리티 기반 압축에서 발생할 수 있는 모달리티 바이어스 문제를 완화한다. 네 가지 오디오-비주얼 벤치마크에 걸친 Qwen2.5-Omni 모델 패밀리 실험 결과, OmniFocus는 낮은 토큰 유지 비율에서도 강력한 압축 성능을 유지하며, 25% 토큰 유지 시 여러 주요 벤치마크 점수에서 기존 기준선을 능가한다. DailyOmni에서 Qwen2.5-Omni-7B을 25% 토큰 유지로 적용할 경우, OmniFocus는 59.40의 정확도를 유지하면서 전체 토큰 기준선 대비 최대 1.38배의 프리필 속도 향상을 달성하며, 실용적으로 우수한 정확도-효율성 트레이드오프를 보여준다.

arXiv:2607.03624v1cs.CV

RADIO1D: 압축된 비전 모델링을 위한 탄력적 표현

RADIO1D: Elastic Representations for Condensed Vision Modeling

이 논문은 비전-언어 모델(VLM)이 고정된 패치 기반 2D 비전 특징을 필요로 한다는 가정에 도전한다. 파인튜닝된 비전 인코더를 분석한 결과, VLM 학습 과정에서 표현이 점점 더 추상적으로 변하고 공간적 일관성이 감소함을 발견하였다. 특히, 이미지-텍스트 정렬로 학습된 모델(예: SigLIP2)은 전체 이미지 내용을 효과적으로 요약하는 소수의 특화된 토큰을 형성한다. 이를 기반으로, 우리는 다중 교사 지식 증류와 오토인코더 설계를 활용하여 이미지를 간결한 가변 길이 1D 토큰 시퀀스로 압축하는 RADIO1D를 제안한다. 생성된 표현은 강력한 계층적 요약 능력을 나타내어, 단일 토큰만으로도 정확한 장면 이해를 가능하게 하며 향상된 구성 인식 이미지 검색을 지원한다. VLM에서 RADIO1D는 조정 가능한 토큰 수를 통해 유연한 정확도-효율성 트레이드오프를 제공하며, 낮은 연산 비용과 더 나은 정확도로 다양한 멀티모달 벤치마크에서 경쟁력 있는 성능을 달성한다.

arXiv:2607.02922v1cs.CV

STAC: 비디오 추론 분할을 위한 선택적 시공간 집계 및 압축

STAC: Selective Spatiotemporal Aggregation and Compression for Video Reasoning Segmentation

비디오 추론 분할은 복잡한 자연어 쿼리 하에서 수백 프레임에 걸쳐 픽셀 수준의 정확한 객체 추적을 요구하며, 이차(quadratic) 셀프 어텐션 비용으로 인해 장시간 비디오 처리를 불가능하게 만드는 밀집된 시공간 토큰을 생성한다. 기존 방법들은 토큰 압축을 통해 이를 해결하지만, 일반적으로 시간적 문맥이 부족한 인코더 특징에서 작동하여 콘텐츠 중복성을 신뢰성 있게 평가하기 이전에 선택을 제한한다. 정보에 기반한 압축은 문맥 인식을 필요로 하지만, 전체 해상도에서 해당 인식을 획득하면 압축이 줄이고자 하는 바로 그 이차 비용이 발생한다. 상태 공간 모델(state-space model)은 선형 재귀가 $\mathcal{O}(T)$ 비용으로 각 토큰을 시간적 문맥에 선택적으로 조건화하여 콘텐츠 중복성을 평가할 수 있는 표현을 생성함으로써 이 제약을 해결한다. 이를 기반으로, 선택적 시공간 집계 및 압축(STAC)은 분리된 양방향 공간 스캐닝과 인과적 시간 스캐닝을 통해 특징을 강화하고, 재귀에서 파생된 중복성을 활용하여 분할 목표로 최적화된 적응형 임계값을 갖는 계층적 압축을 수행한다. STAC는 제로샷 스트리밍 호환 환경에서 추론 분할 벤치마크의 압축 없는 기준선을 능가하면서 85% 토큰 감소와 1.8배 속도 향상을 달성한다. 코드는 \href{https://github.com/MCG-NKU/nku-video}{여기}에서 이용 가능하다.

arXiv:2606.24286v1cs.CL

AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression

장시간 오디오-비디오 이해에서 제한된 컨텍스트 윈도우와 정보 중복 문제를 해결하기 위해 AVOC는 멀티모달 토큰 압축을 top-K 정보 검색 문제로 재구성하고, 관련성·중요도·다양성을 반영한 학습 가능한 압축 모듈을 모달리티 인코더와 LLM 백본 사이에 둔다. OmniVideoBench와 LVOmniBench에서 2위 모델 대비 평균 정확도 4.9·5.5점p를 넘서는 성능을 보였고, 최대 1시간 길이의 Audio-Video Needle-in-a-Haystack에서도 견고한 정확도를 유지한다.

arXiv:2606.24083v1cs.CL

CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression

Cavewoman은 LLM의 입력·출력 언어 압축을 과제 정확도, 항목당 실현 비용, 제약 없는 기준 생성과의 의미 일치로 함께 평가하는 이중 채널 프로토콜이며, 8개 모델과 5개 벤치마크에서 출력 압축은 대부분 모델의 실제 비용을 1.4–2.4배(최대 3배) 줄이는 반면 입력 압축은 정확도가 떨어지면서 응답이 길어져 순비용이 평균 약 1.15배 증가한다. 출력 압축에서는 비추론 모델에서 정답인 생성의 상당 부분이 표면 텍스트가 모델 자신의 제약 없는 기준 생성과 의미적으로 어긋나는 현상이 관찰된다.

arXiv:2606.17590v1cs.CV

TivTok: 확장 가능한 비디오 토큰화를 위한 시간 불변 토큰 브로드캐스팅

TivTok: Broadcasting Time-Invariant Tokens for Scalable Video Tokenization

비디오 토큰화는 확장 가능한 비디오 생성에 있어 핵심적인 요소입니다. 토큰의 수는 계산 비용과 모델링할 수 있는 비디오의 길이를 직접 결정하기 때문입니다. 기존 토크나이저는 주로 비디오를 더 적은 수의 토큰으로 압축하여 확장성을 개선하지만, 정적 배경이나 일관된 객체 모습과 같은 지속적인 콘텐츠를 프레임과 청크(chunks)에 걸쳐 반복적으로 표현하는 경향이 있습니다. 본 논문에서는 지속적인 정보를 시간에 걸쳐 재사용 가능하게 만드는 재사용 인식(reuse-aware) 비디오 토크나이저인 **TivTok** (*Time-Invariant Tokenizer*)를 제안합니다. TivTok은 프레임 간 공유되는 정보를 인코딩하는 시간 불변(TIV) 토큰과 프레임별 잔차(residuals)를 인코딩하는 시간 가변(TV) 토큰을 사용하여 클립을 표현합니다. 이러한 인자분해(factorization)를 달성하기 위해, 두 토큰 그룹에 서로 다른 어텐션 범위를 할당하는 범위 유도 인자분해(Scope-Induced Factorization, SIF)를 도입합니다. TIV 토큰은 전체 클립을 참조하는 반면, 각 TV 토큰은 TIV 토큰과 함께 해당 프레임에만 접근합니다. 디코더에서 불변 브로드캐스팅(Invariant Broadcasting, IB)은 병렬 재구성과 장기 비디오 토큰화를 위해 프레임과 청크에 걸쳐 동일한 TIV 토큰을 재사용합니다. 실험 결과 TivTok은 표준 $16{\times}256{\times}256$ 벤치마크에서 12.65의 rFVD를 달성했으며, 평가된 기준 모델(baselines) 대비 128프레임 비디오의 압축 효율을 2.91배 향상시키는 동시에, 평가에 포함된 다운샘플링 기반 토크나이저가 필요로 하는 토큰의 1.1%만을 사용하는 것으로 나타났습니다.

arXiv:2606.13624v1cs.CL

균일한 토큰을 넘어서: 시계열 언어 모델을 위한 적응형 압축

Beyond Uniform Tokens: Adaptive Compression for Time Series Language Models

시계열 언어 모델에서 토큰의 정보 구조 차이로 인한 비효율성을 해결하기 위해, 주파수 영역 구조를 기반으로 시계열 토큰을 압축하고 레이어를 거치며 프롬프트 토큰을 점진적으로 줄이는 적응형 토큰 예산 프레임워크를 제안한다. 해당 방법은 최대 7.68배의 추론(inference) 가속화와 78%의 평가 설정에서 성능 향상을 달성했다.