PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.01345v2cs.CV

Adaptive Visual Autoregressive Acceleration via Dual-Linkage Entropy Analysis

Visual AutoRegressive modeling (VAR) suffers from substantial computational cost due to the massive token count involved. Failing to account for the continuous evolution of modeling dynamics, existing VAR token reduction methods face three key limitations: heuristic stage partition, non-adaptive schedules, and limited acceleration scope, thereby leaving significant acceleration potential untapped. Since entropy variation intrinsically reflects the transition of predictive uncertainty, it offers a principled measure to capture modeling dynamics evolution. Therefore, we propose NOVA, a training-free token reduction acceleration framework for VAR models via entropy analysis. NOVA adaptively determines the acceleration activation scale during inference by online identifying the inflection point of scale entropy growth. Through scale-linkage and layer-linkage ratio adjustment, NOVA dynamically computes distinct token reduction ratios for each scale and layer, pruning low-entropy tokens while reusing the cache derived from the residuals at the prior scale to accelerate inference and maintain generation quality. Extensive experiments and analyses validate NOVA as a simple yet effective training-free acceleration framework.

arXiv:2605.14877v2cs.CV

HeatKV: 비전 자기회귀 모델링을 위한 헤드 튜닝 KV 캐시 압축

HeatKV: Head-tuned KV-cache Compression for Visual Autoregressive Modeling

비전 자기회귀(VAR) 모델은 최근 낮은 지연 시간을 유지하면서 인상적인 이미지 생성 품질을 입증했습니다. 그러나 이들은 심각한 KV 캐시 메모리 제약 문제를 겪으며, 생성된 이미지당 종종 수 기가바이트의 메모리가 필요합니다. 우리는 이전에 생성된 스케일(scales)에 대한 어텐션(attention)을 기반으로 각 헤드의 캐시 할당을 조정하는 새로운 압축 방법인 HeatKV를 소개합니다. 작은 오프라인 보정(calibration) 세트를 사용하여, 어텐션 헤드는 이전 스케일에 대한 어텐션 점수에 따라 순위가 매겨집니다. 이 순위를 기반으로, 주어진 메모리 예산에 맞춰진 정적 가지치기(pruning) 스케줄을 구성합니다. Infinity-2B 모델에 적용했을 때, HeatKV는 기존 방법에 비해 KV 캐시를 위한 메모리 할당에서 $2 \times$ 더 높은 압축률을 달성하면서도, 유사하거나 더 우수한 이미지 충실도, 프롬프트 정렬(alignment) 및 인간 지각 점수를 유지합니다. 우리의 방법은 VAR 모델 KV 캐시 압축에 대한 새로운 최신 성능(SOTA)을 달성하여, 세분화된 헤드별 캐시 할당의 효과를 입증합니다. 코드와 보정 스크립트는 https://github.com/arm-research/heatkv 에서 확인할 수 있습니다.

arXiv:2606.13558v1cs.CV

비트를 편집하고 코드를 비교하라: 시각적 자기회귀 모델을 위한 비트 단위 잔차 편집

Edit the Bits, Diff the Codes: Bitwise Residual Editing for Visual Autoregressive Models

시각적 자기회귀(VAR) 생성기를 이용한 텍스트 기반 이미지 편집은 모델이 샘플링하는 내용과 샘플링된 변경 사항이 이미지 코드에 기록되는 위치 모두를 제어해야 합니다. 기존 VAR 편집기는 주로 토큰 스트림, 특징(feature), 또는 단순한 다음 토큰 로짓에서 동작하여, 비트 단위 잔차 VAR 모델의 두 가지 고유 구조인 비트별 베르누이(Bernoulli) 예측 헤드와 이미지가 조립되는 가산적(additive) 다중 스케일 잔차 코드 필드를 충분히 활용하지 못하고 있습니다. 우리는 Infinity와 같은 비트 단위 잔차 VAR 생성기를 위한 학습 불필요(training-free) 편집기인 BitResEdit을 제안합니다. BitEdit은 공유된 편집 접두사(prefix)에서 계산된 소스-타겟 대비를 따라 CFG 이후 비트별 로그 오즈(log-odds)를 기울여 소스 부정 가이던스(source-negative guidance)를 수행하고, 각 업데이트를 클린 CFG 샘플러 주변의 폐쇄형(closed-form) 베르누이-KL 신뢰 영역(trust region)으로 투영합니다. ResEdit은 샘플링된 비트를 스케일별 연속 코드 잔차로 변환하고, 로컬라이제이션 마스크로 게이팅(gating)한 후, 생성기의 고유한 스케일 합산(sum-of-scales)을 통해 재주입합니다. 이 둘은 결합하여 결정 시점의 비트 가이던스와 조합 시점의 코드 구성을 연결하므로, 마스킹된 잠재 특징(latent feature)은 코드 산술에 의해 정확하게 보존되고, 로컬화된 스케일 인식 편집이 타겟 영역 내부에 적용됩니다. Infinity-2B를 이용한 PIE-Bench에서 BitResEdit은 동일 백본 VAR 편집기 중 가장 강력한 텍스트 정렬을 달성하여, 편집 영역에서의 CLIP 점수를 최강의 기존 편집기 대비 +1.07 향상시키면서도 배경 보존에서 경쟁력 있는 성능을 유지합니다. 소거 실험(ablation)을 통해 BitEdit과 ResEdit이 타겟 정렬과 배경 보존에서 상호 보완적인 역할을 함을 확인합니다.