arXiv:2611.18958v1 cs.AI

MLM 지원 토큰 통신을 위한 이중 단계 채널 사후확률 통합

Dual-Stage Channel-Posterior Integration for MLM-Aided Token Communications

Hyelin Nam, Jihoon Lee, Seung-Woo Ko, Jinho Choi, Seong-Lyun Kim

제출 2026-11-17

한국어 초록

기존 디지털 변조를 통한 토큰 전송은 채널 손상에 취약하여, 수신된 토큰이 문맥상 일관되지 않게 되는 비트 오류를 유발한다. 본 논문은 마스크 언어 모델(MLM) 기반 토큰 복원을 위한 수신단 측 이중 단계 채널 사후확률 통합 프레임워크를 제안한다. 제안한 프레임워크에서 수신단은 채널 신뢰도로부터 신뢰할 수 없는 토큰 위치를 검출하고 어휘 수준의 채널 사후확률을 구성한다. 특히 수신단 내부에서, 사후확률 가중 입력 임베딩(PWE)은 이 사후확률을 MLM 입력에 주입하고, 적응형 출력 로짓 융합(AOF)은 채널 적응형 가중치로 이를 출력단에서 다시 활용한다. 그 결과, 재전송, 송신단 측 인코딩, 또는 추가적인 MLM 학습 없이도 단일 양방향 MLM 추론으로 여러 개의 신뢰할 수 없는 토큰을 복원할 수 있다. 잡음이 있는 채널에서의 실험 결과, 문맥만 사용하는 MLM 복원 대비 코사인 유사도가 최대 $67.2$\% 향상되었으며, 서로 다른 MLM 아키텍처와 기존 언어 모델 지원 방법 전반에서 일관된 이득을 보였다.

원문 초록

Token transmission over conventional digital modulation is vulnerable to channel impairments, leading to bit errors that cause received tokens to become contextually inconsistent. This paper proposes a receiver-side dual-stage channel-posterior integration framework for masked language model (MLM)-aided token reconstruction. In the proposed framework, the receiver detects unreliable token positions from channel reliability and constructs a vocabulary-level channel-posterior. In particular, within the receiver, Posterior-Weighted Input Embedding (PWE) injects this posterior into the MLM input, while Adaptive Output Logit Fusion (AOF) reuses it at the output with a channel-adaptive weight. Consequently, multiple unreliable tokens can be reconstructed in a single bidirectional MLM inference without retransmission, transmitter-side encoding, or additional MLM training. Experiments over noisy channels show up to a $67.2$\% improvement in cosine similarity over context-only MLM reconstruction, with consistent gains across different MLM architectures and existing language-model-aided methods.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.18958v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.