arXiv:2610.10738v1 cs.CL

손실 압축 텍스트 오토인코더

Lossy Compressive Text Autoencoders

Vinko Sabolčec, Angelos Katharopoulos, David Grangier

제출 2026-10-07

한국어 초록

본 연구는 데이터 압축과 표현 학습(representation learning)의 접점에서 텍스트의 압축된 잠재 표현(latent representation)을 학습하는 방법을 탐구합니다. 우리는 잔여 저차원 이산 병목(residual low-dimension discrete bottleneck)과 함께 시간 축을 따라 은닉 표현의 잔여 다운스케일링 및 업스케일링을 수행하는 오토인코더 아키텍처를 제안합니다. 다양한 양자화(quantization) 방법, 학습(training) 목표 및 데이터셋에 대해 제안하는 접근 방식을 분석합니다. 다양한 압축 수준에 대해 표면적 수준(BLEU)과 의미론적 수준(대규모 언어 모델(LLM) 기반 판정기) 모두에서 원본 텍스트와 재구성된 텍스트 간의 유사도를 평가합니다. 또한 질의응답 및 의미론적 텍스트 유사도 다운스트림 벤치마크에서 모델을 평가합니다. 제안된 접근 방식은 웹 텍스트 데이터에서 바이트당 2.24비트로 무손실 텍스트 압축 알고리즘과 동등한 수준의 압축 표현을 산출하는 동시에, 우수한 재구성 및 다운스트림 태스크 성능을 달성합니다.

원문 초록

Our work explores learning a compressed latent representation of text, at the intersection of data compression and representation learning. We propose an autoencoder architecture that performs residual downscaling and upscaling of hidden representations along the time axis, with a residual low-dimension discrete bottleneck. We analyze our approach for different quantization methods, training objectives, and datasets. For different levels of compression, we evaluate the similarity between the original and reconstructed text both at the surface-level (BLEU) and at the semantic-level (LLM-based judge). Additionally, we evaluate our models on downstream question-answering and semantic text similarity benchmarks. Our approach results in compressed representations which are on par with lossless text compression algorithms at 2.24 bits per byte on web text data, while having good reconstruction and downstream task performance.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10738v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15997v1cs.LG공통 태그 Representation Learning, Model Compression

표현 차이 증류

Representational Difference Distillation

지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.

arXiv:2610.13767v1cs.LG공통 태그 Quantization, Model Compression

DualQuant: LLM을 위한 이중 스케일 캘리브레이션 프리 가중치 및 활성화 양자화

DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs

네이티브 4비트를 지원하는 가속기에서 저비트 추론(inference)을 수행할 때 해당 포맷이 제공하는 전체 처리량 향상을 온전히 달성하려면 가중치(weight)와 활성화(activation)를 모두 양자화해야 합니다. 사후 학습(post-training) 가중치 양자화는 광범위하게 연구되어 왔지만, 활성화 양자화는 여전히 훨씬 더 까다로우며 일반적으로 캘리브레이션 데이터를 필요로 합니다. 본 연구에서는 가중치 재구성 평균 제곱 오차(MSE)를 직접 최소화하고, 그 직접적인 부산물로서 활성화 양자화에 앞서 채널별 활성화 재스케일링을 생성하는 이중 스케일(dual-scale) 캘리브레이션 프리 사후 학습 양자화 프레임워크인 DUALQUANT를 소개합니다. 우리의 핵심 관찰은 가중치 재구성 오차를 최소화하여 얻은 스케일링 팩터가 효과적인 활성화 재스케일링을 제공하여, 캘리브레이션 데이터 없이도 경쟁력 있는 활성화 양자화를 가능하게 한다는 점입니다. 우리는 DUALQUANT를 미분 불가능한 가중치 재구성 문제로 공식화하고, 각 하위 문제가 닫힌 형식의 해(closed-form update)를 갖는 변수 분할(variable splitting) 및 블록 좌표 강하법(block coordinate descent) 기반의 효율적인 솔버를 개발했습니다. DUALQUANT는 전체 MX 패밀리와 NVFP4를 포함한 광범위한 포맷을 지원하는 통합 알고리즘을 제공합니다. 우리가 아는 한, DUALQUANT는 MX 및 NV 블록 포맷을 공식적으로 지원하는 최초의 이중 스케일링 기법입니다. WikiText-2, C4 및 제로샷(zero-shot) 다운스트림 태스크에서 평가된 Llama 및 Qwen 모델 전반에 걸쳐, DUALQUANT는 대부분의 모델 및 포맷에서 캘리브레이션 기반 SmoothQuant의 정확도에 필적하거나 이를 능가하며, 캘리브레이션 프리 베이스라인들을 크게 능가하고 MX 및 NV 블록 포맷에 대해 큰 폭의 향상을 달성했습니다. 우리는 RTX 4090 환경에서 Llama-3.1-8B에 대한 실제 패킹된 W4A4 추론 경로를 통해 이러한 성능 향상을 검증했습니다. 그 결과 구현체는 가상 양자화(fake quantization)의 정확도와 거의 일치하면서도 BF16 대비 최대 2.61배의 메모리 절감과 최대 2.46배의 처리량 속도 향상을 제공합니다.

arXiv:2610.10630v1cs.LG공통 태그 Quantization, Model Compression

Phase-HDC: 이산 위상 학습에서 옵티마이저 히스토리를 그래디언트 임계값으로 대체하기

Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning

컴팩트한 모델을 학습(training)할 때는 종종 모델 저장보다 훨씬 더 많은 메모리가 필요한데, 이는 옵티마이저(optimizer)가 과거 그래디언트(gradient)의 자체 기록을 유지하기 때문입니다. 학습된 매개변수(parameter)가 저비트 각도인 초차원 분류기(hyperdimensional classifier)의 경우(이를 위상 메모리(\emph{phase memory})라 부름), 이러한 기록은 모델 자체보다 몇 배 더 많은 메모리를 차지합니다. 본 연구에서는 오직 모델 자체만을 저장하면서도 이러한 모델을 학습시킬 수 있는지 질문을 던집니다. 제안하는 방법인 Phase-HDC는 현재 그래디언트의 부호와 반대 방향으로, 그리고 해당 그래디언트가 충분히 클 때에만 업데이트당 저장된 각도를 최대 한 단계씩 회전시킵니다. 우리는 이 단순한 규칙이 변경된 모든 매개변수가 고정 비용을 지불하는 1차 손실(loss) 모델의 정확한 해임을 보여줍니다. 업데이트 규칙을 제외한 모든 조건을 동일하게 유지했을 때, Phase-HDC는 6비트 모멘텀을 사용하는 Adam과 동등한 정확도를 유지하면서도 3배 적은 저장 공간을 사용합니다. 11개의 이미지, 테이블형, 텍스트 데이터셋에 걸쳐, 이 방법은 표준 float32 Adam보다 16~23배, 8비트 Adam보다 4~6배 적은 저장 공간을 차지합니다. 이에 따른 대가는 float32 Adam 대비 평균 약 5%p의 정확도 손실이지만, Phase-HDC는 8비트 Adam이 붕괴하는 바이트 수준 텍스트 예측을 포함하여 11개 데이터셋 중 6개에서 8비트 Adam보다 더 높은 정확도를 달성합니다. 계측된 학습 실행 분석은 이러한 결과를 설명해 줍니다. 매개변수가 이산적인 그리드 상에 위치해야 하는 경우, Adam의 모멘텀은 주로 매개변수가 조금이라도 움직일지 여부만을 결정하게 되며, 이는 현재 그래디언트에 대한 임계값을 통해 메모리 없이도 내릴 수 있는 결정입니다. 또한 모멘텀의 거친 양자화(quantization)는 데이터에 드물게 포함된 입력에 대해 이러한 결정을 망가뜨립니다. 저장 공간 절감은 측정된 하드웨어 메모리가 아닌 논리적 상태 기준입니다.

arXiv:2610.02800v2cs.AI공통 태그 Quantization, Model Compression

BitNest: 메모리 효율적인 대규모 언어 모델(LLM) 추론 가속을 위한 비트 중첩 추측 디코딩

BitNest: Bit-Nested Speculative Decoding for Memory-Efficient LLM Inference Acceleration

추측 디코딩(speculative decoding)은 경량 드래프트를 사용하여 여러 토큰을 제안하고 이를 병렬로 검증함으로써 자기회귀적 생성을 가속합니다. 그러나 기존 방식들은 추가적인 드래프트 모델이나 가중치 표현을 필요로 하는 경우가 많아, 자원이 제한된 기기에서 무시할 수 없는 메모리 오버헤드를 유발합니다. 자체 추측(self-speculative) 방식은 이러한 오버헤드를 줄이지만, 드래프트 품질, 타깃 품질, 저장 공간 효율성 사이의 트레이드오프 문제에 여전히 직면합니다. 본 논문에서는 저정밀도 드래프트를 더 높은 정밀도의 타깃 표현 내에 직접 내장하는 비트 중첩 추측 디코딩 프레임워크인 BitNest를 제안합니다. 사전에 정의된 타깃에서 드래프트를 파생시키는 대신, BitNest는 먼저 강력한 저정밀도 베이스를 구축한 뒤 잔차 정제(residual refinement)를 통해 더 높은 정밀도의 타깃을 복원함으로써 두 모델이 단일한 물리적 가중치 표현을 공유할 수 있도록 합니다. 나아가 BitNest는 이러한 점진적 정밀도 설계를 긴 문맥 추론을 위한 KV 캐시로 확장합니다. 다양한 7B--8B 엣지 친화적 LLM과 다채로운 워크로드에 걸쳐, BitNest는 더 높은 정밀도의 모델 품질을 밀접하게 보존하면서 평균 95.2%의 추측 수락률을 달성하고 FP16 자기회귀 디코딩 대비 1.48--1.61배의 엔드투엔드 속도 향상을 제공합니다. 모든 대표적인 자체 추측 베이스라인이 지원하는 LLaMA 모델에서도 BitNest는 일관되게 경쟁력 있거나 더 높은 디코딩 가속을 달성합니다.

arXiv:2609.38599v2cs.LG공통 태그 Quantization, Model Compression

JARQ: 양자화를 위한 결합 교차 개선 기법

JARQ: Joint Alternating Refinement for Quantization

대규모 언어 모델(LLM)을 위한 그룹별 사후 학습 양자화(quantization)기는 결과로 나오는 정수 코드에 재적합되지 않는 격자 위로 가중치를 반올림합니다. 본 논문에서는 이러한 방식이 정확도 손실을 남긴다는 점을 보입니다. 즉, 최적의 격자는 코드에 따라 달라지고, 입력 상관관계로 인해 서로 다른 그룹의 오차가 결합되며, 유용한 코드 변경은 종종 여러 코드를 한 번에 바꾸는 것과 관련됩니다. 우리는 임의의 그룹별 양자화기에서 출발하여 모든 그룹 스케일의 결합 최소제곱 적합과 현재 격자에서 한 그룹의 여러 코드를 함께 이동시키는 유계 바바이(Babai) 제안을 번갈아 수행하는 플러그인 개선 기법인 JARQ를 제안합니다. 이 문제는 이중선형 상자 제약 혼합 정수 최소제곱 문제이며, 솔버는 역전파(backpropagation)를 사용하지 않고 정확한 스케일 풀이 조건에서 층별 목적 함수를 증가시키지 않으며, 호스트의 비트 폭, 그룹, 제로 포인트 및 추론(inference) 비용을 유지합니다. RTN, GPTQ, OmniQuant, AWQ 호스트를 사용하는 Llama-2, Llama-3, Qwen 모델 전반에서 JARQ는 96개 비교 중 90개에서 퍼플렉서티(perplexity)를 낮추고, 3비트 RTN 퍼플렉서티를 최대 36%까지 줄이며, 24개 구성 중 23개에서 평균 객관식 정확도를 높이고, 7B 블록당 1분 미만의 시간으로 QEP, QuaRot, OJBKQ 출력을 개선합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.