arXiv:2112.11789

DRF Codes: Deep SNR-Robust Feedback Codes

Mahdi Boloursaz Mashhadi, Deniz Gunduz, Alberto Perotti, Branislav Popovic

제출 2021-12-22

원문 초록

We present a new deep-neural-network (DNN) based error correction code for fading channels with output feedback, called deep SNR-robust feedback (DRF) code. At the encoder, parity symbols are generated by a long short term memory (LSTM) network based on the message as well as the past forward channel outputs observed by the transmitter in a noisy fashion. The decoder uses a bi-directional LSTM architecture along with a signal to noise ratio (SNR)-aware attention NN to decode the message. The proposed code overcomes two major shortcomings of the previously proposed DNN-based codes over channels with passive output feedback: (i) the SNR-aware attention mechanism at the decoder enables reliable application of the same trained NN over a wide range of SNR values; (ii) curriculum training with batch-size scheduling is used to speed up and stabilize training while improving the SNR-robustness of the resulting code. We show that the DRF codes significantly outperform state-of-the-art in terms of both the SNR-robustness and the error rate in additive white Gaussian noise (AWGN) channel with feedback. In fading channels with perfect phase compensation at the receiver, DRF codes learn to efficiently exploit knowledge of the instantaneous fading amplitude (which is available to the encoder through feedback) to reduce the overhead and complexity associated with channel estimation at the decoder. Finally, we show the effectiveness of DRF codes in multicast channels with feedback, where linear feedback codes are known to be strictly suboptimal.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.05926v2cs.NI공통 태그 Decoder, Scheduling

BALANCE: 네트워크 엣지에서의 하이브리드 자기회귀-추측 LLM 추론

BALANCE: Hybrid Autoregressive-Speculative LLM Inference at the Network Edge

엣지 추론은 차세대 모바일 네트워크에서 대규모 언어 모델(LLM) 추론 서비스를 제공하기 위한 유망한 패러다임이다. LLM 추론은 주로 두 가지 접근에 의존한다. 자기회귀 디코딩(AD)은 출력 토큰을 순차적으로 생성하여 긴 지연을 초래한다. 추측 디코딩(SD)은 소형 언어 모델(SLM)을 사용해 LLM 검증을 위한 여러 초안(draft) 토큰을 생성함으로써 추론을 가속하지만 추가 메모리 비용이 발생한다. 이러한 지연-메모리 트레이드오프로 인해, 제한된 엣지 컴퓨팅 자원 하에서 이질적인 수요를 가진 사용자를 어느 한 접근만으로는 효율적으로 서비스할 수 없다. 이 문제를 해결하기 위해 우리는 엣지 LLM 추론을 위한 하이브리드 자기회귀-추측 추론(BALANCE) 프레임워크를 제안한다. BALANCE에서는 엣지 서버가 SLM과 LLM을 모두 호스팅하고, 사용자를 수용하며, 수용된 각 사용자를 AD 또는 SD 모드에 배정하고 두 모드를 동시에 수행한다. 서비스 가능한 사용자 수를 최대화하기 위해, 사용자 지연 요구사항과 서버 메모리 제약 하에서 사용자 수용과 AD와 SD 간 컴퓨팅 자원 할당을 공동으로 결정하는 작업 처리량(task throughput) 최대화 문제를 수식화한다. 문제가 NP-hard이므로, 원 문제를 두 개의 하위 문제로 변환하고 상수 근사 보장을 갖는 차준 최적(sub-optimal) 해를 구하는 다항 시간 알고리즘을 개발한다. 실험 결과 BALANCE가 기존 AD 및 SD를 일관되게 능가하며 작업 처리량을 크게 향상시킴을 보여준다.

arXiv:2608.24707v3cs.CL공통 태그 Decoder

음성 속 길을 잃다: 오디오 및 전사본에 걸친 3개 국어 음성 환각 탐지

Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts

텍스트 기반 환각(hallucination) 탐지는 활발히 연구되고 있으나, 음성에서 사실적 변조를 참조 없이(reference-free) 탐지하는 연구는 특히 저자원 언어에서 여전히 부족한 실정이다. 본 연구의 음성 벤치마크는 3가지 합성 변조 유형과 3가지 심각도 수준을 갖춘 12,013개의 영어, 러시아어, 카자흐어 뉴스 샘플로 구성되며, 원문 기사와 재작성본을 텍스트, 합성 오디오, ASR 전사본(transcript) 쌍으로 구성한다. 여기에 러시아어(225건) 및 카자흐어(65건)로 수집된 290건의 팩트체크된 허위정보 항목을 추가하여 상대 언어로 번역한 후 동일한 TTS-ASR 파이프라인을 거치도록 했다. 우리는 텍스트, 전사본, 오디오에 대해 파인튜닝된 다국어 인코더와 제로샷(zero-shot) 멀티모달 디코더를 평가(evaluation)한다. 탐지기는 원문 기사나 외부 증거 없이 타깃 입력만을 수신하며, 본 과제는 근거 기반 검증이 아닌 참조 없는 분류(classification)를 평가한다. 원문 텍스트에서 전사본으로 이어지는 인코더의 성능 저하는 이진 분류 과제에서 언어별 ASR 오류와 전반적으로 일치한다. 디코더 중에서는 Gemma-3n만이 전사본에서 매크로 F1(macro-F1) 기준 이진 다수 클래스 기준선(baseline)을 넘어섰으며, 나머지 4개 모델(model)은 각자의 기준선에 미치지 못했다. 오디오와 전사본 간의 비교는 평가 범위와 클래스 불균형의 차이로 인해 혼재된 양상을 보인다. 합성 데이터로 학습(training)된 탐지기는 실제 환경의 허위정보 원문 텍스트에서 0.82~0.88의 매크로 F1을 달성하며, 러시아어 출처 분석에서는 합성 환각 벤치마크의 주요 교란 요인인 진위 여부 관련 신호 및 모델 의존적 기계 스타일 신호가 드러난다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.