arXiv:2609.32353v2 cs.CV

더 적은 토큰, 더 많은 자기 학습: 극단적인 시각 토큰 감축을 위한 온-정책 자기 증류

Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token Reduction

Junxian Li, Ruixuan Yang, Tianao Zhang, Tiange Xu, Weisheng Dong, Yulun Zhang

제출 2026-09-26

저자 비고

arXiv Comments

Code is at https://github.com/Yrxxxxxxxx1007/LT-OPD

한국어 초록

시각 토큰 감축(visual token reduction)은 멀티모달 대규모 언어 모델(MLLM)을 가속화하는 효과적인 방법이지만, 극도로 낮은 토큰 예산에서는 성능이 급격히 저하됩니다. 기존 연구에서는 시각 토큰 선택과 축소된 시각 입력에 대한 학습 기반 적응을 모두 탐구해 왔습니다. 본 연구는 한 걸음 더 나아가, 극도로 압축된 MLLM이 자신이 생성한 결과로 유도된 상태로부터 어떻게 학습해야 하는지 질문을 던집니다. 이러한 설정은 자연스럽게 온-정책(on-policy) 자기 증류를 요구합니다. 즉, 극도로 압축된 모델이 자신의 생성으로 유도된 상태에서 지도학습을 받는 동시에, 전체 토큰을 사용하는 동일 모델이 정보가 풍부한 교사 역할을 수행하는 것입니다. 이러한 통찰을 바탕으로, 극단적인 시각 토큰 감축을 위한 학습 프레임워크인 LT-OPD를 제안합니다. 학생 모델은 극히 일부의 시각 토큰만으로 응답을 롤아웃하고, 동일한 MLLM의 동결된 전체 토큰 복사본이 이러한 학생 생성 궤적을 따라 분포적 지도를 제공합니다. 시각적 단서가 심각하게 제한될 때 온-정책 학습을 안정화하기 위해, 학습 중 토큰 예산을 점진적으로 줄여나가는 예산 수준 커리큘럼(budget-level curriculum)도 도입합니다. Qwen3.5-4B 기반의 9개 벤치마크 전반에서 LT-OPD는 5%의 시각 토큰 보존 조건에서 평균 보존 성능을 68.6%에서 82.3%로 끌어올려 동일한 예산의 무학습 기반, 학습 기반 및 강화학습(RL) 베이스라인을 능가했습니다. 이러한 성능 향상은 Qwen3.5-9B, GLM-4.6V-9B, LLaVA-OV-1.5-4B에도 일관되게 전이됩니다. 또한 LT-OPD는 추가적인 추론 오버헤드 없이 KV-캐시 사용량을 85.2%, 프리필(prefill) FLOPs를 85.4% 줄임으로써, 온-정책 학습이 극단적인 시각 토큰 감축으로 손실된 능력을 실질적으로 회복할 수 있음을 입증합니다.

원문 초록

Visual token reduction is an effective way to accelerate multimodal large language models (MLLMs), but performance deteriorates rapidly under extremely low token budgets. Existing work has explored both visual-token selection and training-based adaptation to reduced visual inputs. We take a step further by asking how a heavily compressed MLLM should learn from the states induced by its own generations. This setting naturally calls for on-policy self-distillation: a heavily compressed model is supervised on the states induced by its own generations, while its full-token counterpart serves as an information-rich teacher. Based on this insight, we propose LT-OPD, a training framework for extreme visual-token reduction. The student rolls out responses with only a small fraction of visual tokens, and a frozen full-token copy of the same MLLM provides distributional supervision along these student-generated trajectories. To stabilize on-policy learning when visual evidence is severely limited, we further introduce a budget-level curriculum that progressively decreases the token budget during training. Across nine benchmarks on Qwen3.5-4B, LT-OPD raises average retained performance under 5% visual-token retention from 68.6% to 82.3%, outperforming training-free, training-based, and reinforcement-learning baselines at the same budget. The gains transfer consistently to Qwen3.5-9B, GLM-4.6V-9B, and LLaVA-OV-1.5-4B. LT-OPD also reduces KV-cache usage by 85.2% and prefill FLOPs by 85.4% without additional inference overhead, demonstrating that on-policy learning can substantially recover capabilities lost to extreme visual-token reduction.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.32353v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10854v2cs.LG공통 태그 Model Compression, Knowledge Distillation

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2610.15997v1cs.LG공통 태그 Model Compression, Knowledge Distillation

표현 차이 증류

Representational Difference Distillation

지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.

arXiv:2610.13858v1cs.CV공통 태그 Model Compression, vision-language models

LapMerge: 선형 시간 내 미분 가능한 정확한 예산 기반 토큰 병합

LapMerge: Differentiable Exact-Budget Token Merging in Linear Time

현대 비전 및 언어 모델은 점차 더 긴 토큰 시퀀스를 처리하며, 이를 줄이는 것이 다운스트림 비용을 절감하는 핵심 수단입니다. 그러나 토큰 압축은 근본적인 트레이드오프에 직면해 있습니다. 즉, 토큰을 선택하는 방식은 정보를 폐기하는 반면, 기존 병합 방식은 토큰 간 쌍별(pairwise) 매칭이나 $MN$ 토큰-출력 상호작용을 통해서만 정보를 보존합니다. 본 논문에서는 정렬된 시퀀스에 대해 이러한 트레이드오프를 해결하는 미분 가능한 병합 연산자인 LapMerge를 소개합니다. 이는 학습된 질량 분포가 라플라스 커널(Laplace-kernel) 밀도 하에서 시퀀스를 정확히 $N$개의 동일한 질량 세그먼트로 분할하고, 접두 문맥/접미 스캔이 각 세그먼트를 집계함으로써 순전파와 역전파 모두 $\mathcal{O}(M+N)$ 시간에 실행되도록 합니다. 이러한 정확한 출력 예산(exact output budget), 엔드투엔드 미분 가능성, 선형 비용의 결합은 이전 감축 기법들이 서로 상충하며 포기해야 했던 요소들입니다. 연산자 파라미터를 변경하지 않고도 예산을 변경할 수 있으며, 학습된 질량은 예산이 할당된 위치를 나타내는 토큰 수준 맵의 역할도 겸합니다. 비전 및 비전-언어(vision-language) 작업 전반에서 LapMerge는 강력한 토큰 감축 기법들과 대등하거나 그 이상의 성능을 보이면서도 시퀀스 길이가 길어질 때 최대 두 자릿수(up to two orders of magnitude) 더 빠릅니다. 특히 토큰 순서가 공간적 또는 시간적 국소성을 반영할 때 효과적이며, 드롭인 감축 모듈이자 학습 가능한 아키텍처 구성 요소로서 모두 작동합니다.

arXiv:2609.23153v2cs.CV공통 태그 Model Compression, Knowledge Distillation

SparkDiffusion: 고희소성 함정 완화 --- 시각 생성의 최대 265배 단일 GPU 가속을 위한 통합 프레임워크

SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to $265\times$ Single-GPU Acceleration of Visual Generation

비디오 확산 트랜스포머는 긴 시공간 토큰 시퀀스에서 어텐션이 지배적이기 때문에 연산 비용이 큽니다. 본 연구에서는 극단적인 어텐션 희소성에서 스텝별 국소 학습 손실(step-local training loss)은 계속 감소하지만 최종 생성 품질은 정체되거나 저하되는 '고희소성 함정(high-sparsity trap)'을 규명합니다. 이 함정은 지도(supervision) 방식의 문제입니다. 지배적인 최종 오차는 고노이즈 구조 생성 단계에서 비롯되며, 최종 상태에 정렬된 학습(terminal-aligned training)은 스텝별 국소 학습을 대폭 연장해도 해결할 수 없는 최종 오차를 교정합니다. 이를 통해 '먼저 희소 아키텍처를 거친 사전 분포(coarse prior)에 적응시킨 후, 최종 분포를 교정한다'는 간단한 단계별 원칙이 도출됩니다. 우리는 이 원칙을 시각 생성을 위한 통합 가속 프레임워크인 SparkDiffusion으로 구현하며, 이는 짧은 희소 웜업, 소수 스텝 궤적 혼합 증류(few-step trajectory-mixed distillation), 융합 커널을 활용한 FP8 양자화를 결합합니다. SparkDiffusion은 Wan2.1/Wan2.2 백본 및 T2V/I2V 태스크 전반의 긴 시퀀스 720P 생성에서 우수한 시각적 품질과 함께 97%의 어텐션 희소성을 유지하며, Wan2.1-T2V-1.3B-480P에서는 90%의 희소성을 유지합니다. 3스텝 CFG-free 추론을 통해 SparkDiffusion은 단일 RTX 5090에서 Wan2.1-T2V-14B-720P에 대해 50스텝 CFG 밀집 기준선(dense baseline) 대비 265배(H100에서 220배)의 엔드투엔드 속도 향상을 달성하고, Wan2.1-T2V-1.3B-480P 비디오를 1.3초 만에 디노이징합니다.

arXiv:2608.13966v2cs.LG공통 태그 Model Compression, Knowledge Distillation

QUASAR: 손실 인지 재구성을 통한 양자화 인지 학습의 손실 하한 낮추기

QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction

대규모 언어 모델의 추론이 더 낮은 정밀도로 전환됨에 따라 사후 학습 양자화(PTQ)는 점점 더 취약해지고 있으며, 모델 품질을 보존하기 위해 양자화 인지 학습(QAT)이 필수적이 되었습니다. 그러나 QAT에는 구조적 불일치가 존재합니다. 그래디언트 업데이트는 잠재된 전정밀도 가중치에 적용되는 반면, 손실과 그래디언트는 해당 가중치의 손실성 재구성 값에서 계산됩니다. 이러한 불일치는 차선의 학습 경로와 더 높은 손실 하한(loss floor)으로 이어질 수 있습니다. 2차 PTQ 방식들은 손실 인지 재구성 오차를 최소화하여 유사한 문제를 해결하지만, 가중치가 계속 변화하는 QAT 도중에 이처럼 비용이 큰 재구성을 반복적으로 적용하는 것은 비실용적입니다. 본 논문에서는 경량의 손실 인지 재구성을 학습 루프에 도입한 QAT 방식인 QUASAR를 제안합니다. 매 학습 단계마다 QUASAR는 작은 클리핑 범위 집합을 탐색하고 중요도 가중 최소제곱법을 통해 역양자화 매개변수를 적합함으로써 잠재 가중치를 재구성합니다. 이때 파라미터별 중요도 신호로는 그래디언트 제곱의 지수 이동 평균을 사용합니다. 이론적 분석 결과, QUASAR의 재구성 목적식을 최적화하면 QAT의 수렴 한계와 최종 손실 한계가 모두 엄밀해짐을 보여줍니다. 4가지 모델 계열과 INT4, INT3, INT2 및 NVFP4 양자화 포맷 전반에 걸쳐 QUASAR를 평가했습니다. QUASAR는 경쟁 QAT 방식들보다 지속적으로 더 낮은 학습 및 평가 손실을 달성하며, 다운스트림 벤치마크에서 기존 QAT 및 PTQ 기준선을 능가합니다. INT2에서 QUASAR는 양자화 인지 지식 증류를 적용했을 때 최고 QAT 기준선 대비 평균 정확도를 13.3점 향상시켰고, 수학적 추론 데이터에 대한 QAT에서는 10.9점 향상시켰습니다. 특히 약 6억 개의 토큰만을 대상으로 증류한 후에도 QUASAR의 INT4 Gemma-4 E4B 체크포인트는 Google이 공개한 해당 QAT 체크포인트를 능가하여, KL 발산은 66% 더 낮추고 평균 정확도는 1.8점 더 높은 성과를 거두었습니다.

arXiv:2610.02462v1cs.LG공통 태그 Model Compression, Knowledge Distillation

LLM 압축을 위한 능력 축소 스케일링 법칙

Capability Scaling-Down Laws for LLM Compression

LLM 압축은 추론 비용과 메모리 요구량을 줄여주지만, 비슷한 자원 절감으로도 서로 다른 능력 손실이 발생할 수 있기 때문에 압축 방법과 설정을 선택하는 일은 대부분 경험적으로 이루어진다. 본 연구는 가지치기(pruning), 양자화(quantization), 지식 증류(distillation) 전반에 걸쳐 LLM 압축에 대한 능력 축소 스케일링 법칙을 체계적으로 조사한다. 우리의 프레임워크는 수학, 코드 생성, 질의응답에서의 능력 손실을 측정하고, 이 측정값을 모델 크기, 학습 단계, 압축 설정, 데이터 가용성, 학습 노출(training exposure)과 연관시킨다. 우리는 단순한 예측 관계식을 개발하고, 그 정확도, 측정 효율성, 그리고 보지 못한 설정 및 모델 상태로의 일반화 성능을 평가한다. 가지치기 수준 전반에서 밀도 반응(density response)을 공유하면 가지치기 예측기를 적합시키는 데 필요한 설정 측정 횟수가 절반으로 줄어든다: 새로운 Pythia 상태, 사전 등록된(pre-registered) OLMo-2 테스트 상태, 그리고 Wanda 가지치기 하에서, 이 간결한 관계식은 수학과 코드에 대한 모든 측정값으로 적합시킨 회귀 모델과 토큰당 0.020 나트(nats) 이내로 일치하며, 계수는 각 설정마다 다시 적합된다. 통제된 지식 증류 실험은 과도한 데이터 재사용(heavy data reuse)의 비용이 질의응답 분포 전반에서 반복적으로 나타나는 반면, 순이익(net benefit)은 평가 분포에 따라 달라짐을 보여준다. 우리는 또한 수치적 선택(numerical selection)을 설정 중앙값(configuration median) 및 고정된 방법 우선순위(fixed method priority)와 비교함으로써 이러한 예측의 의사결정 가치를 평가한다. 두 모델 패밀리에 대한 독립적인 평가 결과, 테스트된 후보 집합 내에서 선택 방식이 질의응답에 대해 얻을 수 있는 방법 간 이점(cross-method benefit)의 대부분을 포착하며, 이때 고정된 방법 우선순위도 동일한 리그렛(regret)을 달성하는 반면, 수학과 코드에서는 그 기회가 더 작음을 보여준다. 이러한 결과는 능력 축소 스케일링 법칙의 예측 범위와 압축 방법 선택에서의 활용 방안을 명확히 한다. 코드는 다음 주소에서 공개되어 있다: https://github.com/LabRAI/scaling_down_law.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.