PyTorchKR Papers

최신 논문

총 13편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.03641v2cs.CV

Tree-VQ: 사전학습된 벡터 양자화기 기반 점진적 이미지 압축

Tree-VQ: Progressive Image Compression from Pretrained Vector Quantizers

점진적 이미지 압축(progressive image compression)은 수신된 접두 문맥(prefix)을 원본 소스의 재인코딩 없이 디코딩할 수 있는 단일 임베디드 표현을 필요로 한다. 최신 벡터 양자화(vector-quantized, VQ) 이미지 모델은 강력한 이산 종단점 표현을 제공하지만, 기존의 평면적인 코드워드 인덱스는 신경망 디코더에 의미 있는 중간 상태를 정의하지 못한다. 우리는 Tree-VQ를 제안한다. 이는 사전학습된 평면 VQ 토크나이저를, 인코더 할당과 학습된 모든 리프 벡터를 보존하면서, 세밀하고 임의 접두 문맥(arbitrary-prefix) 기반의 점진적 표현으로 사후 변환(post-hoc conversion)하는 방법이다. 핵심 아이디어는 원본 코드북을 균형 이진 계층 구조로 조직화하고, 내부 노드에 명시적 표현을 연결하며, 분기 결정을 깊이 우선(depth-major) 순서로 전송하는 것이다. 그 결과 이미지 헤더가 확보된 이후에는 모든 페이로드 접두 문맥이 유효한 잠재 상태를 고유하게 지정하게 된다. 즉, 추가되는 분기 비트 하나마다 정확히 하나의 토큰(token)이 정제되며, 따라서 전송은 소수의 단계 경계에서만이 아니라 사실상 임의의 페이로드 위치에서도 절단될 수 있다. 더 나아가 우리는 이러한 임의 절단에서 나타나는 전체 깊이 및 혼합 깊이 잠재 상태에 대해 하나의 공유 디코더를 적응시킴으로써, 이렇게 촘촘하게 배치된 접두 문맥들이 단순히 구문적으로 디코딩 가능할 뿐 아니라 재구성에도 실질적으로 유용하도록 만든다. Kodak 데이터셋에서 Tree-VQ는 ProGIC 대비 DISTS 기반 BD-rate 52.1% 절감을 달성하는 동시에, 단일 임베디드 비트스트림으로부터 수천 개의 유효한 임의 접두 문맥 동작점(operating point)을 제공한다.

arXiv:2609.37243v2cs.CV

구조적으로 이종인 특징을 위한 코드북 기반 교차 모달 지식 증류

Codebook-Guided Cross-Modal Knowledge Distillation for Structurally Heterogeneous Features

교차 모달 지식 증류(cross-modal knowledge distillation)는 교사 모달리티에서 학생 모달리티로 지식을 전달한다. 기존의 특징 수준 정렬(feature-level alignment) 방법들은 일반적으로 교사와 학생의 특징이 구조적으로 정렬 가능한 표현 공간에 존재한다고 가정한다. 그러나 2D 공간 시각 그리드와 1D 시간 오디오 시퀀스처럼 교차 모달 특징이 구조적으로 이종이며 명확한 단위 수준 대응 관계가 결여된 경우에는 이러한 가정이 성립하지 않아 특징 수준 정렬의 적용 가능성이 제한된다. 이러한 문제를 해결하기 위해, 본 논문에서는 벡터 양자화(vector-quantized) 코드북을 통해 구조적으로 이종인 특징 공간 전반에서 효과적인 지식 전달을 가능하게 하는 교차 모달 증류 프레임워크를 제안한다. 구체적으로, 교사 특징은 본래의 특징 구조와 무관하게 일련의 벡터 형태 코드로 추상화되며, 선택된 코드는 학생 학습을 위한 개념 수준의 앵커(anchor) 역할을 한다. 코드 선택은 태스크 관련성과 학생 호환성 모두에 의해 유도되므로, 학생은 직접적인 단위 수준 특징 정렬 없이도 전달 가능한 교사 지식을 습득할 수 있다. 다양한 교차 모달 증류 시나리오에 걸친 실험 결과는 분류(classification) 및 시맨틱 분할(semantic segmentation) 태스크에서 제안된 프레임워크의 효과를 입증한다.

arXiv:2607.11215v1cs.CL

Q-BridgeNet: 교차 언어 수어 번역을 위한 양자화 네트워크

Q-BridgeNet: A Quantization Network for Cross-Lingual Sign Language Translation

대부분의 수어 번역(SLT) 방법은 고립된 단일 언어 수어-음성 언어 쌍(예: 미국 수어 - 영어)에 초점을 맞추고 있다. 언어별 SLT 모델을 다국어 번역으로 확장하면 다양한 수어 및 음성 언어 커뮤니티 간의 의사소통이 가능해져 접근성이 향상될 수 있다. 그러나 기존의 다국어 SLT 접근법은 교차 언어 충돌을 최소화하면서 공유된 교차 언어 의미론을 포착하고 서로 다른 수어에 걸친 언어별 변이를 보존하는 통합 모델을 학습하는 데 여전히 어려움을 겪고 있다. 이에 우리는 수어 측과 음성 언어 측 모두에서 교차 언어 충돌을 공동으로 완화하는 다국어 SLT 통합 프레임워크인 Q-BridgeNet을 제안한다. 수어 측에서는 Q-BridgeNet이 적응적 분할(adaptive segmentation)과 잔차 벡터 양자화(residual vector quantization)를 통해 이산 Q-단위(Q-units)를 학습한다. 공유 기반 코드북(codebook)은 언어 독립적 의미 기본 단위를 제공하고, 언어별 잔차 코드북은 이질적인 수어 의미론을 정제한다. 음성 언어 측에서는 다국어 대규모 언어 모델(LLM)을 Q-단위 공간에서 동작하도록 파인튜닝하여 교차 언어 사전 지식을 활용함으로써 통합 SLT 모델을 구현한다. PHOENIX14T, How2Sign, CSL-Daily에 대한 실험에서 Q-BridgeNet은 교차 언어 충돌을 효과적으로 완화하여 기본 수어-음성 언어 쌍에서 최첨단 성능을 달성하는 동시에 비기본 쌍에 대해서도 강력한 일반화 성능을 보인다. 소스 코드는 https://github.com/FengLiQ/Q-BridgeNet 에서 공개적으로 이용 가능하다.

arXiv:2607.05667v1cs.CV

2D 가우시안 기반 이미지 압축을 위한 클러스터 코드북 양자화

Clustered Codebook Quantization for 2D Gaussian-based Image Compression

K-Means 클러스터링으로 2D 가우시안 프리미티브를 외형 및 이방성 유사도 기반의 동질적 그룹으로 분할한 후 클러스터별 코드북을 적용하는 클러스터 유도 벡터 양자화(CGVQ) 이미지 압축 방법을 제안한다. Kodak 데이터셋 실험에서 CGVQ는 기준 모델 GaussianImage 대비 동등한 시각적 품질을 유지하면서 bpp를 20% 줄이고, 동일한 15K 프리미티브 조건에서 PSNR을 1.68 dB 향상시켰다.

arXiv:2607.02562v1cs.CV

Entropy-Coded MS-VQ-VAE with Learned Priors for Ultra-Low Bitrate Video Compression

Learned video codecs based on continuous latent representations struggle to operate reliably below 0.1 bits per pixel~(bpp): without a differentiable rate signal, Lagrangian optimisation cannot effectively trade reconstruction quality for bitrate at extreme compression ratios. We demonstrate that discrete latent representations sidestep this limitation entirely. In a vector-quantized~(VQ) codec, the codebook size~$K$ imposes a hard information ceiling of $\log_2 K$ bits per symbol; a learned autoregressive prior then exploits the non-uniform distribution of code usage -- which we show follows a power law -- to push actual bitrates well below this ceiling, without any rate-penalty tuning. Building on the MS-VQ-VAE architecture introduced in~\cite{kotthapalli2026msvqvae}, we sweep $K \in \{128, 256, 512, 1024\}$ under a uniform training protocol to trace four operating points on the rate-distortion~(RD) curve. We identify and resolve a critical training instability: gradient-based VQ collapses catastrophically at $K \leq 512$, whereas EMA-stabilised codebook updates with dead-code restart maintain full utilisation across all configurations. On 500 UCF101 test clips ($64\!\times\!64$, 32~frames), our models operate at 0.043-0.064~bpp -- 3.3-5$\times$ below H.264's practical floor and $5$-$7.6\times$ below H.265's floor at this resolution. Every MS-VQ-VAE configuration outperforms H.265 CRF\,36 on perceptual quality (LPIPS) despite using $5$-$7.6\times$ fewer bits. At $K{=}1024$, the model surpasses H.265 CRF\,36 on LPIPS by a margin of 0.072 absolute while using $5.1\times$ fewer bits. Codebook analysis confirms power-law index distributions and 70-85\% entropy efficiency, establishing the pipeline as a principled learned entropy coder.

arXiv:2607.01928v1cs.CV

대역폭 효율적인 협력적 3D 의미론적 점유 예측을 위한 희소성 인식 벡터 양자화

Sparse-Aware Vector Quantization for Bandwidth-Efficient Collaborative 3D Semantic Occupancy Prediction

자율주행 협력 인식에서 3D 의미론적 점유 예측(3D semantic occupancy prediction)의 통신 과부하 문제를 해결하기 위해, VQSOP 프레임워크는 3D 장면의 희소성을 활용하는 SAVQ(Sparse-Aware Vector Quantization) 메커니즘으로 고차원 특징을 공유 코드북의 이산 인덱스로 압축 전송하고, ASR(Adaptive Spatial Refinement) 모듈로 공간 구조를 복원한다. 실험 결과 단일 에이전트 대비 mIoU 4.41% 향상과 함께 최대 82배 통신량 절감을 달성하며 최첨단 성능을 기록했다.

arXiv:2607.02266v1cs.LG

HERMES: A Multi-Granularity Labeling Substrate for Pre-training Data Mixtures

HERMES는 사전학습 데이터 혼합을 위한 계층적 레이블링 기반 시스템으로, Learned Semantic Transform과 3단계 잔차 벡터 양자화(RVQ)를 결합해 각 문서를 세밀도(granularity)를 프리픽스 길이로 조절 가능한 계층적 코드로 한 번에 주석 처리한다. 1B 파라미터, 25B 토큰 사전학습 실험에서 고정된 세밀도 파이프라인으로는 발견할 수 없는 세밀도-샘플러 간 상호작용을 포착하여, 최적 설정에서 16개 태스크 능력 평균을 +0.0253 향상시켰다.

arXiv:2606.10531v2cs.CL

LC-QAT: Data-Efficient 2-Bit QAT for LLMs via Linear-Constrained Vector Quantization

LC-QAT는 스칼라 양자화(SQ) 기반 QAT의 성능 저하 문제와 벡터 양자화(VQ)의 불연속 코드북 탐색 문제를 동시에 해결하기 위해, 이산 4진수 벡터에 대한 학습 가능한 선형 매핑으로 가중치를 표현하는 2비트 VQ-QAT 프레임워크다. 이 방식은 고품질 PTQ 초기화와 완전 미분 가능한 엔드투엔드 최적화를 가능하게 하여, 기존 최첨단 QAT 방법을 훈련 데이터 0.1~10%만 사용하면서도 능가하는 성능을 다양한 대규모 언어 모델(LLM)에서 달성했다.

arXiv:2607.00494v1cs.CV

HieDG: 다중 동물 추적을 위한 계층적 이산 기하학 기반 프레임워크

HieDG: A Hierarchical Discrete Geometry-Guided Framework for Multi-Animal Tracking

다중 동물 추적(MAT)에서 균일한 외형과 불규칙한 움직임으로 인해 연속 기하학적 임베딩이 불안정해지는 문제를 해결하기 위해, HieDG는 위치·크기·속도 단서를 2단계 잔차 코드북으로 이산화하여 안정적인 이산 토큰으로 변환하는 계층적 이산 기하학 기반 추적 프레임워크를 제안한다. AnimalTrack, BFT, BuckTales 벤치마크에서 HOTA, AssA, IDF1 지표 모두 최첨단 성능을 달성했으며, DanceTrack·SportsMOT 등 일반 다중 객체 추적 벤치마크에서도 경쟁력 있는 결과를 보였다.

arXiv:2606.27644v1cs.CV

CascadeOcc: 계단식 VQ 표현으로 3D Occupancy 월드 모델 재고

CascadeOcc: Rethinking 3D Occupancy World Models with Cascaded VQ Representations

본 논문은 자율주행을 위해 외재적 보조 모달리티보다 내재적 구조적 계층을 우선하는 새로운 occupancy 월드 모델인 CascadeOcc를 제안한다. Occupancy 월드 모델은—미래 주행 환경을 예측하고 주행 궤적을 계획하는—지각(perception)과 계획(planning)을 효과적으로 연결하지만, 현재 접근법들은 종종 외부 모달리티나 대규모 언어 모델(LLM)에 크게 의존하여 occupancy 표현 자체가 갖는 고유한 구조적 잠재력을 충분히 활용하지 못한다. 복잡한 3D 장면에 대한 표현 용량(representational capacity)을 높이기 위해, 우리는 계단식 벡터 양자화(Vector Quantized, VQ) 메커니즘을 자기회귀(autoregressive) 프레임워크에 통합한다. coarse-to-fine 원칙에 따라 CascadeOcc는 다중 스케일(multi-scale) 아키텍처를 통해 전역 구조로부터 세밀한 디테일을 점진적으로 정제한다. 또한 다중 스케일 시간적 의존성을 포착하기 위해 TimeMixer를 도입하여 공간과 시간 모두에서 이중 계층(dual-hierarchy) 메커니즘을 구축한다. 4D occupancy 예측(forecasting) 및 모션 계획(motion planning) 벤치마크에서의 실험 결과는 CascadeOcc가 비전 중심(vision-centric) 접근법들 중 우수한 성능을 달성함을 보여주며, 고유 표현(inherent representations)을 최적화하는 것이 외부 파운데이션 모델(foundation models)에 의존하는 강력한 대안임을 검증한다.

arXiv:2606.20675v1cs.NE

VQ4SNN: 메모리 효율적인 FPGA 스파이킹 신경망을 위한 벡터 양자화

VQ4SNN: Vector Quantization for Memory-Efficient FPGA Spiking Neural Networks

FPGA에 밀집 스파이킹 신경망(SNN)을 올릴 때 온칩 메모리 부족으로 시냅스 가중치 저장이 병목이 되는 문제를, 벡터 양자화(VQ) 기반 가중치 공유와 2단계 메모리 구조를 쓰는 하드웨어 인식 아키텍처 VQ4SNN으로 완화한다. 파이프라인 공간 데이터흐름 FPGA SNN 가속기에 VQ를 적용한 최초 사례로, 추론 정확도를 유지한 채 최신 비압축 FPGA SNN 대비 총 BRAM 사용량을 52–61% 줄이고 전체 논리 자원 활용률은 늘리지 않았다.

arXiv:2602.05790v2cs.IT

벡터 양자화에서 메트릭 보편성의 대가는 최대 0.11비트

Price of metric universality in vector quantization is at most 0.11 bit

행렬 곱 $W^\top X$의 빠른 계산은 현대 대규모 언어 모델(LLM)의 핵심 연산이다. 배포 효율화를 위한 대표적인 접근법은 실제 가중치(weight) $W$ 대신 저정밀도(low-precision) 근사값 $\widehat{W}$를 사용하는 것("가중치 전용 양자화(weight-only quantization)")이다. 정보 이론에 따르면, $W$의 정밀도(precision)를 줄이는 최적 알고리즘은 $X$의 2차 통계량에 의존하며, $X$의 PCA 방향과 벡터 양자화 코드북을 주의 깊게 정렬하는 과정("워터필링 할당(waterfilling allocation)")이 필요하다. 그러나 코드북이 $X$의 통계량에 의존하는 것은 실용성이 매우 낮다. 본 논문은, $W$가 가우시안인 경우 차원당 0.11비트만큼 전송률이 감소된 $X$-적응형 워터필링 코드북 이상의 성능을 가진다는 의미에서, 모든 가능한 $X$의 통계량에 대해 동시에 근사 최적인 보편적 코드북이 존재함을 증명한다. 이러한 보편적 코드북은 저정밀도 저장 포맷의 이상적인 후보가 될 수 있으며, 이는 현재 활발히 연구되는 주제이다. 다만 이 존재 증명은 비구성적(non-constructive)이다. 동등하게, 본 결과는 $\mathbb{R}^n$ 상의 넷(net)이 모든 힐베르트 노름(Hilbert norm)에 대해 동시에 구(sphere)를 거의 최적으로 덮는 경우가 존재함을 보여준다.

arXiv:2606.11363v1cs.CV

NSVQ: 벡터 양자화에서 인코더 드리프트 안정화를 통한 코드북 붕괴 완화

NSVQ: Mitigating Codebook Collapse by Stabilizing Encoder Drift in Vector Quantization

벡터 양자화는 현대 생성 모델링 파이프라인의 핵심이지만, 대규모 코드북 VQ 모델은 종종 코드북 붕괴를 겪는다. 우리는 인코더 드리프트가 이러한 실패의 핵심 원인임을 밝혔다. 인코더가 잠재 분포를 이동시키면서 드물게 갱신되는 코드 벡터가 뒤처지고, 할당을 잃으며, 양자화 오차를 증가시켜 straight-through estimator를 통해 피드백 루프를 형성한다. 우리는 NSVQ를 제안한다. 이는 조밀한 비정상성(non-stationary) 임베딩 손실, 코드북 교체, 단계별 인코더 동결을 결합한 비정상성 인식 VQ 학습 전략이다. NSVQ는 먼저 초기 학습 동안 코드북이 인코더 드리프트를 추적하도록 돕고, 이어 인코더를 동결하여 고정된 잠재 기하 하에서 코드북을 강화한 뒤, 마지막으로 적대적 정제를 다시 도입한다. ImageNet-1k 실험에서 NSVQ는 전체 코드북 활용률을 유지하면서 재구성 품질을 개선하는 것을 보여준다. ImageNet-1k에서 128×128 해상도와 65,536개 코드를 사용할 때, NSVQ는 SimVQ 대비 rFID를 2.39에서 2.10으로 줄이며, 두 방법 모두 100% 활용률을 유지한다. 추가 잠재 확산(latent diffusion) 실험에서 NSVQ는 하류 ImageNet 생성 FID도 개선함을 보여준다.