Semantic Communications for Digital Signals via Carrier Images
원문 초록
Most of current semantic communication (SemCom) frameworks focus on the image transmission, which, however, do not address the problem on how to deliver digital signals without any semantic features. This paper proposes a novel SemCom approach to transmit digital signals by using the image as the carrier signal. Specifically, the proposed approach encodes the digital signal as a binary stream and maps it to mask locations on an image. This allows binary data to be visually represented, enabling the use of existing model, pre-trained Masked Autoencoders (MAE), which are optimized for masked image reconstruction, as the SemCom encoder and decoder. Since MAE can both process and recover masked images, this approach allows for the joint transmission of digital signals and images without incurring significant communication overheads. In addition, considering the mask tokens transmission encoded by the MAE still faces extra costs, we design a sparse encoding module at the transmitter to encode the mask tokens into a sparse matrix, and it can be recovered at the receiver. Thus, this approach simply needs to transmit the latent representations of the unmasked patches and a sparse matrix, which further reduce the transmission overhead compared with the original MAE encoder. Simulation results show that the approach maintains reliable transmission even in a high mask ratio of images.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
전문가 혼합 메커니즘을 활용한 무선 이미지 전송용 적응형 시맨틱 통신
Adaptive Semantic Communication for Wireless Image Transmission Leveraging Mixture-of-Experts Mechanism
심층 학습(deep learning) 기반 시맨틱 통신은 무선 이미지 전송에서 상당한 진전을 이루었으나, 기존의 대부분의 방식은 고정된 모델에 의존하므로 다양한 이미지 콘텐츠와 동적인 채널 조건에 대한 견고성(robustness)이 부족합니다. 적응성을 향상시키기 위해, 최근 연구들은 소스 콘텐츠나 채널 상태 중 하나에 따라 전송 방식이나 모델 동작을 조정하는 적응형 시맨틱 통신 전략을 개발해 왔습니다. 보다 최근에는 MoE(전문가 혼합) 기반 시맨틱 통신이 희소하고 효율적인 적응형 아키텍처로 부상했으나, 기존 설계는 여전히 주로 단일 요인 기반 라우팅(single-driven routing)에 의존하고 있습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 적응형 MoE Swin 트랜스포머 블록을 기반으로 구축된 다중 입력 다중 출력(MIMO) 채널용 새로운 다단계 엔드투엔드 이미지 시맨틱 통신 시스템을 제안합니다. 구체적으로, 실시간 채널 상태 정보(CSI)와 입력 이미지 패치의 시맨틱 콘텐츠를 함께 평가하여 적응형 라우팅 확률을 계산하는 동적 전문가 게이팅 메커니즘을 도입합니다. 이러한 결합 조건을 기반으로 특화된 전문가 하위 집합만을 선택적으로 활성화함으로써, 제안된 접근 방식은 전통적인 적응형 방법의 경직된 결합을 깨고 단일 요인 기반 라우팅의 병목 현상을 극복합니다. 시뮬레이션 결과는 전송 효율성을 유지하면서 기존 방법 대비 재구성 품질이 크게 향상되었음을 보여줍니다.
6G 기반 연결 자율 주행 차량을 위한 VAE 기반 다중 태스크 위성 지원 시맨틱 통신 프레임워크
A VAE-Driven Multi-Task Satellite-Aided Semantic Communication Framework for 6G-Enabled Connected Autonomous Vehicles
스마트 교통 시스템의 발전과 6G 무선 통신 기술의 도입은 차량 네트워크 토폴로지를 크게 변화시켰다. 미래의 연결 자율 주행 차량(connected autonomous vehicle, CAV) 네트워크는 교통 표지판 인식 및 의사결정과 같은 안전 핵심(safety-critical) 응용을 위해 대역폭 효율적이고 신뢰할 수 있으며 지연 시간이 낮은 통신을 필요로 한다. 기존 통신 시스템은 과업 관련성과 무관하게 원시 데이터를 전송하므로, 상향링크 대역폭이 부족하고 전파 손실이 큰 자원 제약 위성 채널에서는 비효율적이다. 시맨틱 통신(semantic communication)은 전체 신호 표현 대신 과업 관련 정보를 전송함으로써 이러한 한계를 해결한다. 이는 핵심 의미 특징을 추출·전달하고, 심층 학습을 활용해 수신측에서 과업 성능을 최적화한다. 따라서 본 연구는 위성 지원 자율 주행을 위한 변분 오토인코더(VAE) 기반 다중 태스크 시맨틱 통신 프레임워크를 제안한다. 결정론적 오토인코더 기반 방법과 달리, 제안 모델은 확률적 잠재 표현을 사용하여 보다 견고하고 효율적인 인코딩을 수행한다. 학습된 특징은 잡음이 있는 무선 채널을 통해 전송되어 교통 표지판 재구성 및 분류를 수행한다. 이 프레임워크는 두 과업을 공동으로 최적화하도록 종단 간(end-to-end)으로 학습된다. 결과는 제안 접근법이 다양한 신호 대 잡음비(signal-to-noise ratio) 조건에서 안정적인 성능을 유지하면서 최대 87.23%에서 98.17%까지의 상당한 대역폭 절감을 달성함을 보여준다.
Client Selection Strategies for Federated Semantic Communications in Heterogeneous IoT Networks
그리드는 종종 밀집 신호 압축에서 암시적 신경 표현(Implicit Neural Representations, INRs)보다 우수합니다
Grids Often Outperform Implicit Neural Representations at Compressing Dense Signals
암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 인상적인 결과를 보여주었지만, 그 기본 용량, 암시적 편향, 스케일링 동작은 여전히 잘 이해되지 않고 있습니다. 우리는 다양한 유효 대역폭을 가진 2D 및 3D 실제 및 합성 신호와 토모그래피, 초해상도, 노이즈 제거를 포함한 과적합(overfitting) 및 일반화 작업 전반에 걸쳐 다양한 INRs의 성능을 조사합니다. 모델 크기와 신호 유형 및 대역폭에 따라 성능을 계층화하여, 서로 다른 INR 및 그리드 표현이 용량을 어떻게 할당하는지를 밝혀냅니다. 밀집 신호를 다루는 많은 작업에서, 보간이 적용된 간단한 정규화된 그리드는 동일한 파라미터 수를 가진 어떤 INR보다 더 빠르게 학습되며 더 높거나 대등한 품질로 도달함을 발견했습니다. 또한, 형태 윤곽과 같은 이진 신호 적합 작업과 같이 INRs가 그리드보다 우수한 성능을 보이는 제한적인 설정도 발견했습니다. 이는 향후 INRs의 개발과 활용을 가장 유리한 응용 분야로 유도하는 데 도움이 될 것입니다.
MGVQ: Could VQ-VAE Beat VAE? A Generalizable Tokenizer with Multi-group Quantization
LangMamba: A Language-driven Mamba Framework for Low-dose CT Denoising with Vision-language Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.