arXiv:2604.02691v2 cs.LG

전문가 혼합 메커니즘을 활용한 무선 이미지 전송용 적응형 시맨틱 통신

Adaptive Semantic Communication for Wireless Image Transmission Leveraging Mixture-of-Experts Mechanism

Haowen Wan, Qianqian Yang

제출 2026-04-03

한국어 초록

심층 학습(deep learning) 기반 시맨틱 통신은 무선 이미지 전송에서 상당한 진전을 이루었으나, 기존의 대부분의 방식은 고정된 모델에 의존하므로 다양한 이미지 콘텐츠와 동적인 채널 조건에 대한 견고성(robustness)이 부족합니다. 적응성을 향상시키기 위해, 최근 연구들은 소스 콘텐츠나 채널 상태 중 하나에 따라 전송 방식이나 모델 동작을 조정하는 적응형 시맨틱 통신 전략을 개발해 왔습니다. 보다 최근에는 MoE(전문가 혼합) 기반 시맨틱 통신이 희소하고 효율적인 적응형 아키텍처로 부상했으나, 기존 설계는 여전히 주로 단일 요인 기반 라우팅(single-driven routing)에 의존하고 있습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 적응형 MoE Swin 트랜스포머 블록을 기반으로 구축된 다중 입력 다중 출력(MIMO) 채널용 새로운 다단계 엔드투엔드 이미지 시맨틱 통신 시스템을 제안합니다. 구체적으로, 실시간 채널 상태 정보(CSI)와 입력 이미지 패치의 시맨틱 콘텐츠를 함께 평가하여 적응형 라우팅 확률을 계산하는 동적 전문가 게이팅 메커니즘을 도입합니다. 이러한 결합 조건을 기반으로 특화된 전문가 하위 집합만을 선택적으로 활성화함으로써, 제안된 접근 방식은 전통적인 적응형 방법의 경직된 결합을 깨고 단일 요인 기반 라우팅의 병목 현상을 극복합니다. 시뮬레이션 결과는 전송 효율성을 유지하면서 기존 방법 대비 재구성 품질이 크게 향상되었음을 보여줍니다.

원문 초록

Deep learning based semantic communication has achieved significant progress in wireless image transmission, but most existing schemes rely on fixed models and thus lack robustness to diverse image contents and dynamic channel conditions. To improve adaptability, recent studies have developed adaptive semantic communication strategies that adjust transmission or model behavior according to either source content or channel state. More recently, MoE-based semantic communication has emerged as a sparse and efficient adaptive architecture, although existing designs still mainly rely on single-driven routing. To address this limitation, we propose a novel multi-stage end-to-end image semantic communication system for multi-input multi-output (MIMO) channels, built upon an adaptive MoE Swin Transformer block. Specifically, we introduce a dynamic expert gating mechanism that jointly evaluates both real-time CSI and the semantic content of input image patches to compute adaptive routing probabilities. By selectively activating only a specialized subset of experts based on this joint condition, our approach breaks the rigid coupling of traditional adaptive methods and overcomes the bottlenecks of single-driven routing. Simulation results indicate a significant improvement in reconstruction quality over existing methods while maintaining the transmission efficiency.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.02691v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13494v1cs.LG공통 태그 Image Reconstruction, Semantic Communication

6G 기반 연결 자율 주행 차량을 위한 VAE 기반 다중 태스크 위성 지원 시맨틱 통신 프레임워크

A VAE-Driven Multi-Task Satellite-Aided Semantic Communication Framework for 6G-Enabled Connected Autonomous Vehicles

스마트 교통 시스템의 발전과 6G 무선 통신 기술의 도입은 차량 네트워크 토폴로지를 크게 변화시켰다. 미래의 연결 자율 주행 차량(connected autonomous vehicle, CAV) 네트워크는 교통 표지판 인식 및 의사결정과 같은 안전 핵심(safety-critical) 응용을 위해 대역폭 효율적이고 신뢰할 수 있으며 지연 시간이 낮은 통신을 필요로 한다. 기존 통신 시스템은 과업 관련성과 무관하게 원시 데이터를 전송하므로, 상향링크 대역폭이 부족하고 전파 손실이 큰 자원 제약 위성 채널에서는 비효율적이다. 시맨틱 통신(semantic communication)은 전체 신호 표현 대신 과업 관련 정보를 전송함으로써 이러한 한계를 해결한다. 이는 핵심 의미 특징을 추출·전달하고, 심층 학습을 활용해 수신측에서 과업 성능을 최적화한다. 따라서 본 연구는 위성 지원 자율 주행을 위한 변분 오토인코더(VAE) 기반 다중 태스크 시맨틱 통신 프레임워크를 제안한다. 결정론적 오토인코더 기반 방법과 달리, 제안 모델은 확률적 잠재 표현을 사용하여 보다 견고하고 효율적인 인코딩을 수행한다. 학습된 특징은 잡음이 있는 무선 채널을 통해 전송되어 교통 표지판 재구성 및 분류를 수행한다. 이 프레임워크는 두 과업을 공동으로 최적화하도록 종단 간(end-to-end)으로 학습된다. 결과는 제안 접근법이 다양한 신호 대 잡음비(signal-to-noise ratio) 조건에서 안정적인 성능을 유지하면서 최대 87.23%에서 98.17%까지의 상당한 대역폭 절감을 달성함을 보여준다.

arXiv:2607.21426v2cs.LG공통 태그 Semantic Communication

건설적·협력적 멀티태스킹을 위한 의미 인식 태스크 클러스터링

Semantic-Aware Task Clustering for Constructive and Cooperative Multi-Tasking

협력적 멀티태스크 의미 통신(cooperative multi-task semantic communication, CMT-SemCom)은 공유 표현을 활용하여 태스크 실행 성능을 향상시킨다. 그러나 [1]에서 보인 바와 같이, 협력적 멀티태스킹은 태스크 간 의미적 관계에 따라 건설적일 수도 있고 파괴적일 수도 있다. 건설적 협력을 보장하기 위해, 우리는 CMT-SemCom을 위한 의미 인식 태스크 클러스터링 방법을 제안한다. 짧은 초기 학습 단계 이후 의미적으로 정렬된 태스크가 한 번 클러스터링되고, 이후 발견된 그룹 내에서만 엔드투엔드(end-to-end, E2E) 공동 학습이 수행되는 순차적 다단계 최적화 문제를 수식화했다. 구체적으로, 이 문제는 두 단계로 분해된다: (i) 계층적 밀도 기반 공간 클러스터링(hierarchical density-based spatial clustering)을 활용한 의미 클러스터링 문제, (ii) 클러스터 내 E2E CMT-SemCom 학습 문제. 시뮬레이션 결과는 제안된 프레임워크가 파괴적 협력과 부정적 전이(negative transfer)를 효과적으로 완화하며, 클러스터링되지 않은 멀티태스킹 및 개별 학습 기준선 대비 정확도 향상을 달성함을 보여준다.

arXiv:2607.08839v2cs.CV공통 태그 Mixture-of-Experts

프로브 혼합(Mixture of Probes): 프로빙을 통한 멀티모달 LLM의 특권 모달리티 학습

Mixture of Probes: Learning from Privileged Modalities in Multimodal LLMs Through Probing

멀티모달 대규모 언어 모델(MLLM)은 일반적으로 학습 중 사용 가능한 모든 모달리티가 추론 시에도 접근 가능하다는 가정 하에 설계됩니다. 그러나 많은 실세계 환경에서는 이 가정이 성립하지 않아, 보조 모달리티가 학습 중에만 제공되는 특권 모달리티(privileged modality) 설정에서 모델이 동작해야 합니다. 이러한 모달리티들은 유용한 정보를 포함하고 있음에도 불구하고, 기존 MLLM은 모달리티를 상호 보완적 감독(supervision)의 원천이 아닌 교환 가능한 입력으로 취급함으로써 이를 효과적으로 활용하는 데 대체로 실패합니다. 우리는 MLLM 내에서 모달리티별 신호와 모달리티 공통 신호를 분리하는 새로운 프레임워크인 프로브 혼합(Mixture of Probes, MoP)을 제안합니다. 이를 통해 모델은 모달리티 의존적 구조를 보존하면서 모달리티 간 전이 가능한 표현을 학습할 수 있습니다. MoP의 핵심은, 기존 MLLM에서와 같이 최종 층 정렬에만 의존하는 대신, 공유 모달리티 인코더의 중간 표현에서 정보를 추출하고 조직하는 구조적 프로빙 메커니즘을 통해 이러한 분리를 달성한다는 점입니다. 이 분리를 지원하기 위해, 프로브 붕괴(probe collapse)를 방지하고 교차 모달리티 학습을 장려하는 프로브 분리 손실을 중심으로 한 MoP의 학습 전략인 MoP 교차 모달리티 학습(MoP Cross-modal Training, MoP-X)을 추가로 도입합니다. 우리는 특권 모달리티 설정에 맞춰진 포괄적인 평가 프로토콜 하에 4가지 모달리티와 8가지 과제에 걸친 두 도메인에서 MoP를 평가하며, 각 모달리티는 추론 시 유일한 입력으로 독립적으로 처리됩니다. MoP는 강력한 MLLM 기준 모델들을 일관되게 능가하여 최대 65%의 상대적 성능 향상을 달성함으로써, 보조 모달리티가 추론 시 사용 불가능하더라도 학습 중 효과적으로 활용될 경우 상당한 성능 향상을 제공할 수 있음을 보여줍니다. 코드, 모델 체크포인트 및 평가 프로토콜은 https://github.com/Sony/MoP에서 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.