arXiv:2107.00636

ESPnet-ST IWSLT 2021 Offline Speech Translation System

Hirofumi Inaguma, Brian Yan, Siddharth Dalmia, Pengcheng Guo, Jiatong Shi, Kevin Duh, Shinji Watanabe

제출 2021-07-01

원문 초록

This paper describes the ESPnet-ST group's IWSLT 2021 submission in the offline speech translation track. This year we made various efforts on training data, architecture, and audio segmentation. On the data side, we investigated sequence-level knowledge distillation (SeqKD) for end-to-end (E2E) speech translation. Specifically, we used multi-referenced SeqKD from multiple teachers trained on different amounts of bitext. On the architecture side, we adopted the Conformer encoder and the Multi-Decoder architecture, which equips dedicated decoders for speech recognition and translation tasks in a unified encoder-decoder model and enables search in both source and target language spaces during inference. We also significantly improved audio segmentation by using the pyannote.audio toolkit and merging multiple short segments for long context modeling. Experimental evaluations showed that each of them contributed to large improvements in translation performance. Our best E2E system combined all the above techniques with model ensembling and achieved 31.4 BLEU on the 2-ref of tst2021 and 21.2 BLEU and 19.3 BLEU on the two single references of tst2021.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25176v1eess.AS공통 태그 Speech Recognition, Knowledge Distillation

Qwen-Audio-3.1-Realtime: 신뢰할 수 있는 에이전트형 음성 상호작용을 향하여

Qwen-Audio-3.1-Realtime: Towards Reliable Agentic Voice Interaction

실시간 음성 어시스턴트는 변화하는 요청에 대해 추론하고, 동작을 실행하며, 대화 규칙을 따라야 한다. Qwen-Audio-3.1-Realtime은 Think, Act, and Speak and Coordinate를 통해 이러한 요구사항을 통합한다. Think는 Core-Cocktail 지도 미세조정과 Multimodality and Multi-Teacher On-Policy Distillation(M$^{2}$-OPD)을 결합하여 언어 역량을 이전하고 네이티브 오디오 능력을 개발한다. Act는 자기 진화형 실행 가능 환경과 다중 세분성 롤아웃을 Group Relative Policy Optimization(GRPO)에 사용하여, 모델이 도구를 사용하고 피드백을 해석하며 과제를 완료하도록 학습시킨다. Speak and Coordinate는 어시스턴트가 어떻게, 언제, 말할지 또는 행동할지를 정렬한다. 우리는 오디오 추론, 다국어 이해, 도구 사용, 대화 행동, 풀 듀플렉스(full-duplex) 상호작용, 안전성을 평가한다. Qwen-Audio-3.0-Realtime과 비교할 때, 3.1은 $\tau$-Voice의 하프 듀플렉스 음성-텍스트 적응 버전에서 전체 과제 성공률을 78.4%에서 82.0%로 높인다. 음성-대-음성 Full-Duplex-Bench v1.5에서 배경 음성에 대한 응답률은 73.0%에서 13.0%로 낮아진다. 또한 Qwen-Audio-3.0-Realtime을 foreground로 사용하는 별도의 Voice Harness 프로토타입을 제시하며, foreground–background 조율과 메모리를 통해 음성 상호작용을 지속적 과제로 확장한다.

arXiv:2609.25537v1cs.CL공통 태그 Decoder, Knowledge Distillation

LLM 추론을 위한 긴 컨텍스트의 답변 정렬 메모리 임베딩 압축

Compressing Long Context into Answer-Aligned Memory Embeddings for LLM Inference

대규모 언어 모델(LLM) 추론은 셀프 어텐션(self-attention)의 이차 스케일링과 KV 캐시의 선형 스케일링에 의해 제약되어, 컨텍스트 길이가 늘어날수록 지연 시간, 에너지 소비, GPU 메모리 요구가 증가한다. 기존 소프트 압축(soft-compression) 방법은 추론 시점에 쿼리 기반 메모리 선택이 없거나, 답변 대상 지도(answer-targeted supervision) 없이 학습하거나, 압축을 특정 디코더 아키텍처에 강하게 결합하는 한계가 있다. 본 연구는 Context-to-Answer-Aligned Memory Compression(CMC) 프레임워크를 제안한다. 이는 긴 입력 컨텍스트를 동결된(frozen) 디코더의 임베딩 공간에 정렬된 컴팩트한 Context Memory Embeddings(CMEs)로 압축하여 디코더 가중치를 수정하지 않고 추론 비용을 줄인다. CMC는 질문 기반 CME 선택과 지역 컨텍스트 윈도우(local context window)를 결합한 2단 KV 캐시를 도입하고, 동결된 LLM으로부터 답변 대상 지식 증류(distillation)로 압축기를 학습한다. 9가지 인코더-디코더 조합과 4개 QA 벤치마크에 걸친 실험에서 CMC는 기준선을 일관되게 능가하며, SQuAD에서 최대 7.3 EM 및 4.0 F1 포인트 향상을 달성하는 동시에, 생성 토큰 3,000개 기준 추론 시간과 에너지 소비를 최대 20% 줄이고 피크 예약 GPU 메모리를 최대 50% 줄였다. ablation 연구는 각 아키텍처 구성 요소와 학습 목표가 성능에 기여함을 확인했다.

arXiv:2609.26536v1cs.CL공통 태그 Translation, speech-recognition

전사, 번역, 최적화: 음성 번역을 위한 공동 보상 학습

Transcribe, Translate, and Optimize: Joint Reward Learning for Speech Translation

LLM 기반 음성 번역에서 전사 기반 사고의 연쇄(CoT)는 지도 미세조정(SFT)에 사용되는 참조 전사와 추론 시 모델이 생성하는 전사 간 불일치로 인해 어려움이 있다. 이를 해결하기 위해 그룹 상대 정책 최적화(GRPO)를 통한 공동 인식 및 번역 미세조정을 제안한다. 전사와 번역 모두에 점수를 부여하며, 번역은 모델이 생성한 전사에 조건화한다. 세 가지 토큰 advantage 전략을 비교한다. Qwen2.5-Omni-3B를 네 개 언어에 걸쳐 사용하여, SFT와 GRPO 하에서 CoT를 직접 음성 번역(Direct ST)과 비교 평가한다. CoVoST 2에서 학습하고 CoVoST 2와 FLEURS에서 테스트한다. CoT GRPO는 CoVoST 2와 FLEURS에서 Direct ST GRPO보다 평균 BLEU가 각각 1.77점 및 0.83점 높다. CoT SFT 대비 GRPO는 BLEU를 0.82점 및 0.67점 향상시키고 단어 오류율(WER)을 상대적으로 8.8% 및 7.2% 감소시킨다. 이러한 결과는 강화 미세조정이 학습-추론 불일치를 완화하고 인식과 번역을 공동으로 개선하는 효과적인 방법임을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.