범용 네트워크의 실용적 의미 통신: 양자화 조건에서 고차원 임베딩 압축하기
Practical Semantic Communication for General-Purpose Networks: Compression of High-Dimensional Embeddings Under Quantization
한국어 초록
본 논문은 양자화와 채널 오류가 있는 상황에서 고차원 임베딩을 압축하는 데 초점을 둔 무선 의미 통신 프레임워크를 소개한다. 완화한 가우스 정보 병목(GIB) 모델에 기반해, 타깃이 가우스 분포를 따르지 않을 때도 과제에 필요한 정보를 보존할 수 있는 해석적 해를 제시한다. 기존의 가우스 가정을 완화해 텍스트 임베딩처럼 이산적이고 복잡한 데이터도 효과적으로 압축할 수 있게 한다. 압축 행렬을 최적화하는 닫힌 형태의 그래디언트를 도출하고, 연속 표현과 이산 잡음 시스템의 성능을 연결하는 경계를 확립한다. 텍스트 분류 실험에서 제안한 방법은 과제에 관계없이 적용하는 양자화 기반 압축보다 나았다. 임베딩당 비트 예산이 적어도 의미 충실도를 높게 유지했다. 이 접근법은 범용 네트워크에 의미 통신을 배포하는 데 사용할 수 있으며, 확장 가능하고 해석하기 쉽고 자원을 효율적으로 쓴다.
원문 초록
This paper introduces a practical framework for semantic communication over wireless channels, focusing on the compression of high-dimensional embeddings under quantization and channel errors. Building upon a relaxed Gaussian Information Bottleneck (GIB) model, the approach provides analytical solutions for task-relevant information preservation, even with non-Gaussian targets. The framework relaxes traditional Gaussian assumptions, enabling effective compression for discrete and complex data such as text embeddings. It derives closed-form gradients for optimizing the compression matrix and establishes bounds linking continuous representations to discrete, noisy system performance. Comprehensive experiments on text classification tasks demonstrate that the proposed method outperforms task-agnostic quantization-based compression methods, maintaining high semantic fidelity at low bit budgets per embedding. The approach offers a scalable, interpretable, and resource-efficient solution for deploying semantic communication in general-purpose networks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.20863v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.