PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.32353v2cs.CV

더 적은 토큰, 더 많은 자기 학습: 극단적인 시각 토큰 감축을 위한 온-정책 자기 증류

Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token Reduction

시각 토큰 감축(visual token reduction)은 멀티모달 대규모 언어 모델(MLLM)을 가속화하는 효과적인 방법이지만, 극도로 낮은 토큰 예산에서는 성능이 급격히 저하됩니다. 기존 연구에서는 시각 토큰 선택과 축소된 시각 입력에 대한 학습 기반 적응을 모두 탐구해 왔습니다. 본 연구는 한 걸음 더 나아가, 극도로 압축된 MLLM이 자신이 생성한 결과로 유도된 상태로부터 어떻게 학습해야 하는지 질문을 던집니다. 이러한 설정은 자연스럽게 온-정책(on-policy) 자기 증류를 요구합니다. 즉, 극도로 압축된 모델이 자신의 생성으로 유도된 상태에서 지도학습을 받는 동시에, 전체 토큰을 사용하는 동일 모델이 정보가 풍부한 교사 역할을 수행하는 것입니다. 이러한 통찰을 바탕으로, 극단적인 시각 토큰 감축을 위한 학습 프레임워크인 LT-OPD를 제안합니다. 학생 모델은 극히 일부의 시각 토큰만으로 응답을 롤아웃하고, 동일한 MLLM의 동결된 전체 토큰 복사본이 이러한 학생 생성 궤적을 따라 분포적 지도를 제공합니다. 시각적 단서가 심각하게 제한될 때 온-정책 학습을 안정화하기 위해, 학습 중 토큰 예산을 점진적으로 줄여나가는 예산 수준 커리큘럼(budget-level curriculum)도 도입합니다. Qwen3.5-4B 기반의 9개 벤치마크 전반에서 LT-OPD는 5%의 시각 토큰 보존 조건에서 평균 보존 성능을 68.6%에서 82.3%로 끌어올려 동일한 예산의 무학습 기반, 학습 기반 및 강화학습(RL) 베이스라인을 능가했습니다. 이러한 성능 향상은 Qwen3.5-9B, GLM-4.6V-9B, LLaVA-OV-1.5-4B에도 일관되게 전이됩니다. 또한 LT-OPD는 추가적인 추론 오버헤드 없이 KV-캐시 사용량을 85.2%, 프리필(prefill) FLOPs를 85.4% 줄임으로써, 온-정책 학습이 극단적인 시각 토큰 감축으로 손실된 능력을 실질적으로 회복할 수 있음을 입증합니다.

arXiv:2606.01711v2cs.CV

효율적인 멀티모달 대규모 언어 모델(LLM) 추론을 위한 왜곡 교정을 통한 비주얼 토큰 감소 개선

Improving Visual Token Reduction via Rectifying Distortions for Efficient Multimodal LLM Inference

멀티모달 대규모 언어 모델(MLLM)의 최근 발전은 비전-언어 태스크에서 주목할 만한 성공을 거두었으나, 방대한 양의 비주얼 토큰에서 기인하는 이차 계산 복잡도로 인해 상당한 메모리 및 지연 시간 병목이 발생합니다. 이러한 부담을 완화하기 위해 비주얼 토큰 감소(VTR) 전략이 탐색되었지만, 기존 방법들은 전체 시퀀스와 축소된 시퀀스 간의 위치 및 어텐션 일관성을 간과하여 왜곡된 표현을 초래합니다. 이에 우리는 효율성을 유지하면서 위치 및 어텐션 왜곡을 교정하는 새로운 VTR 프레임워크인 RESTORE를 제안합니다. 구체적으로, 상대 거리를 기반으로 어텐션 가중치를 증강하여 손실된 비주얼 어텐션을 복원하는 간단하면서도 효과적인 보정 방법을 제시합니다. 또한, 특징 평균화 과정에서의 정보 손실을 완화하기 위해 토큰 병합을 위한 독특한 앵커 선택 방식을 도입합니다. 여러 벤치마크에 대한 실험 결과, 우리의 방법이 다양한 감소 방법의 정확도를 일관되게 향상시키며, 계산 효율성을 유지하면서 최첨단 성능을 달성함을 보여줍니다. 프로젝트 페이지는 https://cvlab.yonsei.ac.kr/projects/RESTORE 에서 확인할 수 있습니다.

arXiv:2606.12412v1cs.CV

제거하지 말고 우회하십시오: 비전-언어 모델을 위한 복구 가능한 비주얼 토큰 라우팅

Reroute, Don't Remove: Recoverable Visual Token Routing for Vision-Language Models

비전-언어 모델(VLMs)은 이미지를 수백에서 수천 개의 비주얼 토큰으로 투영하여 디코더 추론 시 어텐션 연산과 KV 캐시 메모리 측면에서 비용이 많이 듭니다. 기존의 비주얼 토큰 감소 방법은 대부분 순위 매기고 제거하는(rank-and-remove) 패러다임을 따릅니다: 비주얼 토큰에 점수를 매기고, 작은 부분집합을 유지하며, 나머지는 영구적으로 폐기합니다. 우리는 이 되돌릴 수 없는 동작이 비주얼 토큰의 중요도가 디코더 깊이에 따라 변하기 때문에 취약함을 보여줍니다. 한 단계에서 낮은 순위를 매긴 토큰도 나중 레이어에서는 관련성이 있을 수 있으며, 특히 그라운딩(grounding)에 민감한 쿼리의 경우 그렇습니다. 우리는 제거를 복구 가능한 라우팅으로 대체하는 학습 없는 플러그인인 Reroute를 제안합니다. 각 라우팅 단계에서 선택된 비전 토큰은 디코더 블록을 통과하는 반면, 연기된 토큰은 해당 단계를 우회하여 다음 라우팅 결정 시 후보 풀에 다시 진입합니다. Reroute는 기존의 어텐션 점수 순위 규칙과 단계별 스케줄을 재사용하여, 증강하는 가지치기 방법의 이론적 TFLOPs 및 KV 캐시 예산 클래스를 보존합니다. LLaVA-1.5 및 Qwen 백본의 FastV, PDrop, Nüwa 변형 모델 전반에서, Reroute는 일반적인 VQA 성능을 유지하면서 공격적인 토큰 감소 상황에서 그라운딩 성능을 향상시킵니다. 이러한 결과는 VLM 토큰 감소가 되돌릴 수 없는 가지치기로만 간주되어서는 안 되며, 복구 가능한 라우팅으로도 간주되어야 함을 시사합니다. 코드는 여기에서 확인할 수 있습니다: https://github.com/elmma/mllm-reroute/