무선 네트워크에서 향상된 채널 상태 피드백을 위한 압축 기반 대조적 예측 코딩
Contrastive Predictive Coding with Compression for Enhanced Channel State Feedback in Wireless Networks
한국어 초록
정확하고 적시적인 채널 상태 정보(CSI)는 차세대 무선 시스템에 필수적이나, 기존 연구들은 학계와 현행 3GPP 연구 모두에서 CSI 압축과 CSI 예측을 별개의 문제로 다루고 있다. 그 결과 채널 에이징(channel aging) 문제는 표준화된 CSI 피드백 파이프라인 내에서 충분히 해결되지 못한 채로 남아 있다. 본 논문에서는 대조적 예측 코딩(CPC, Contrastive Predictive Coding)을 3GPP 규격을 준수하는 CSI 압축 아키텍처에 직접 통합한 통합 압축-예측 프레임워크를 제안한다. 고차원 CSI 행렬을 직접 예측하는 대신, 미래의 잠재 표현(latent representation)을 예측하고 1-SGCS와 InfoNCE를 결합한 목적 함수를 통해 재구성 정확도와 시간적 예측 일관성을 공동으로 최적화한다. 이 설계를 통해 피드백 오버헤드를 늘리지 않고도 시간적 표현 학습이 가능하다. 본 논문은 두 가지 변형을 제시한다: 양자화 이전의 인코딩된 특징에 대해 자기회귀 모델링을 수행하는 CPC-before-Compression과, 사용자 단말의 복잡도를 줄이기 위해 시간적 모델링을 기지국으로 이전하는 CPC-after-Compression이다. Nokia, Oppo, CATT의 3GPP 규격 준수 데이터셋에 대한 평가 결과, CPC-before-Compression은 3GPP 기준선 대비 디코더 GFLOPs를 32배 낮추면서 90% 이상의 재구성 정확도를 달성하고, CPC-after-Compression은 동일한 인코더 풋프린트와 64비트 피드백 오버헤드를 유지함을 보인다. 표준화된 파이프라인 내에서 압축과 예측을 통합함으로써, 제안하는 프레임워크는 채널 에이징을 인식하는 계산 효율적인 CSI 피드백 솔루션을 제공한다. 소스 코드는 https://github.com/AhmedRadwan02/cpc-3gpp 에 공개되어 있다.
원문 초록
Accurate and timely channel state information (CSI) is essential for next-generation wireless systems, yet existing works treat CSI compression and CSI prediction as separate problems, both in academia and in current 3GPP studies. Consequently, channel aging remains insufficiently addressed within standardized CSI feedback pipelines. In this article, we propose a unified compression-prediction framework that integrates Contrastive Predictive Coding (CPC) directly into the 3GPP-compliant CSI compression architecture. Instead of predicting high-dimensional CSI matrices, our approach forecasts future latent representations and jointly optimizes reconstruction fidelity and temporal predictive coherence via a combined 1-SGCS and InfoNCE objective. This design enables temporal representation learning without increasing feedback overhead. We present two variants: CPC-before-Compression, which performs autoregressive modeling on encoded features prior to quantization, and CPC-after-Compression, which shifts temporal modeling to the base-station to reduce the complexity of users' devices. Evaluations on 3GPP-compliant datasets from Nokia, Oppo, and CATT show that CPC-before-Compression achieves over 90% reconstruction accuracy with 32x lower decoder GFLOPs than the 3GPP baseline, while CPC-after-Compression preserves an identical encoder footprint and the same 64-bit feedback overhead. By unifying compression and prediction within a standardized pipeline, the proposed framework provides an age-aware, computationally efficient CSI feedback solution. The source code is publicly available at: https://github.com/AhmedRadwan02/cpc-3gpp
요약
대조적 예측 코딩(CPC)을 3GPP 규격 준수 CSI 압축 아키텍처에 통합한 통합 압축-예측 프레임워크를 제안하며, 고차원 CSI 행렬 대신 잠재 표현을 예측하고 1-SGCS와 InfoNCE 결합 목적 함수로 재구성 정확도와 시간적 예측 일관성을 공동 최적화한다. Nokia, Oppo, CATT의 3GPP 규격 데이터셋 평가에서 CPC-before-Compression은 기준선 대비 디코더 GFLOPs를 32배 낮추면서 90% 이상의 재구성 정확도를 달성하고, CPC-after-Compression은 동일한 인코더 풋프린트와 64비트 피드백 오버헤드를 유지한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.05419v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
사전학습 없이 픽셀로부터: 단일 모델에서의 생성 및 자기지도 표현 동시 학습
From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model
강력한 이미지 생성 모델은 클래스 레이블로 조건화되거나, 고정된(frozen) 사전학습 인코더에 정렬되거나, 별도로 학습된 오토인코더를 기반으로 구축됩니다. 이는 효과적이지만 생성 성능이 지도학습이나 사전학습(pre-training)에 의존하게 됩니다. 즉, 레이블에 주석을 달아야 하며 타깃 도메인을 위해 인코더나 오토인코더를 사전학습해야 합니다. 본 연구에서는 단일 모델에서 생성 학습과 자기지도 표현 학습(self-supervised representation learning)을 동시에 수행하여, 레이블이나 사전학습 모델 없이도 자체 조건화된(self-conditioned) 생성을 가능하게 하는 방안을 탐구합니다. 이는 두 학습 목표가 서로 불일치하기 때문에 까다롭습니다. 대조 학습(contrastive learning)은 노이즈가 없는 증강 뷰(view)를 사용하여 대략적이고 불변하는 의미적 특징을 선호하는 반면, 플로우 매칭(flow matching)은 노이즈가 포함된 이미지를 입력받아 대조 학습이 버리는 미세한 디테일과 공간 배치를 보존해야 합니다. 본 연구에서는 플로우 타임스텝 및 임베딩(embedding)으로 조건화되는 단일 픽셀 공간 인코더를 핵심으로 하는 SCION(Self-conditioned Generation on Self-supervised representation)을 제안합니다. 표현 학습을 위해 이 조건화 임베딩은 이미지 전반에서 공유되는 학습 가능한 글로벌 벡터로 설정되며, 인코더의 [CLS] 토큰(token)은 대조 손실(loss)로 학습된 의미론적 표현을 산출합니다. 생성 학습(training)을 위해 조건화 임베딩은 해당 이미지 고유의 [CLS] 표현으로 주어지며, 패치 토큰들은 디코더를 거쳐 이미지를 예측합니다. 추론(inference) 시 참조 이미지 없이 샘플링할 수 있도록 임베딩에 대한 사전 분포(prior)도 함께 학습합니다. 그래디언트(gradient) 노름 밸런싱과 스톱 그래디언트(stop-gradient) 메커니즘을 통해 단일 실행으로 공동 최적화(optimization)가 가능합니다. SCION은 레이블이나 사전학습 모델이 전혀 필요 없는 자기지도 방식이자 독립적인(self-contained) 프레임워크입니다. ImageNet 256x256에서 JiT-B 레시피 및 표현 가이던스(guidance) 없이 SCION은 8.92 FID를 달성하여, 사전학습된 DINOv2에 정렬하는 클래스 무조건부 iREPA(46.44)와 이에 조건화되는 RCG(14.27)를 능가했습니다. JiT-L을 사용할 경우 SCION은 가이던스 없이 5.89 FID, 표현 가이던스 적용 시 3.47 FID를 기록하여 ADM 레시피를 적용한 RCG(6.24)의 성능을 뛰어넘었습니다.
가산적 양자화 표현을 통한 밴딧
Bandits via Additive Quantized Representations
맥락적 밴딧(contextual bandit)은 비선형 보상(reward) 모델링과 온라인 효율성 사이의 균형을 필요로 한다. 트리 앙상블과 신경망 기반 방법은 비선형성을 포착할 수 있지만 주기적인 재학습과 대규모 리플레이 버퍼를 필요로 한다. 선형 모델은 관측값마다 O(1) 메모리로 효율적으로 업데이트할 수 있지만, 근본적으로 선형 보상 구조에만 제한된다. 우리는 이러한 간극을 메우기 위한 표현 층(representation layer)으로 잔차 양자화(Residual Quantization, RQ)를 제안한다. 오프라인으로 학습된 RQ 코드북(codebook)은 연속적인 맥락(context)을 여러 수준에 걸친 이산적 중심점(centroid) 할당으로 매핑하며, 이 수준들은 섀도 메커니즘(shadow mechanism)을 통해 동적으로 설정된다. 이를 통해 엄격하게 제한된 메모리로 비선형 표현력을 달성하는 다양한 가산적(additive) 밴딧 알고리즘을 구현할 수 있다. 13개의 데이터셋(dataset)에 걸쳐, RQ 변형들은 13개 중 11개 데이터셋에서 비-RQ 대응 모델을 종종 큰 차이로 능가했으며, 더블링 재학습(doubling-retrain) 방식의 XGBoost 및 신경망 베이스라인과 비슷한 성능을 최대 1000배 적은 메모리로 달성했다.
IPCL: Iterative Pseudo-Supervised Contrastive Learning to Improve Self-Supervised Feature Representation
Hypergraph Contrastive Learning for Drug Trafficking Community Detection
Self-Supervised Learning for Multimedia Recommendation
SPERA: 기하학 및 주파수 인식 잠재 예측을 적용한 구면 사전분포 기반 뇌파 파운데이션 모델
SPERA: Spherical Prior EEG Foundation Model with Geometry- and Frequency-Aware Latent Prediction
토론
이 논문과 연결된 포럼 글이 아직 없습니다.