arXiv:2105.00573

Searchable Hidden Intermediates for End-to-End Models of Decomposable Sequence Tasks

Siddharth Dalmia, Brian Yan, Vikas Raunak, Florian Metze, Shinji Watanabe

제출 2021-05-02

원문 초록

End-to-end approaches for sequence tasks are becoming increasingly popular. Yet for complex sequence tasks, like speech translation, systems that cascade several models trained on sub-tasks have shown to be superior, suggesting that the compositionality of cascaded systems simplifies learning and enables sophisticated search capabilities. In this work, we present an end-to-end framework that exploits compositionality to learn searchable hidden representations at intermediate stages of a sequence model using decomposed sub-tasks. These hidden intermediates can be improved using beam search to enhance the overall performance and can also incorporate external models at intermediate stages of the network to re-score or adapt towards out-of-domain data. One instance of the proposed framework is a Multi-Decoder model for speech translation that extracts the searchable hidden intermediates from a speech recognition sub-task. The model demonstrates the aforementioned benefits and outperforms the previous state-of-the-art by around +6 and +3 BLEU on the two test sets of Fisher-CallHome and by around +3 and +4 BLEU on the English-German and English-French test sets of MuST-C.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09598v2cs.CL공통 태그 speech-recognition, Speech Recognition, Decoder

토크나이저 이식: 엣지 효율적 벵골어 ASR에서의 자기회귀 붕괴 완화

Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR

경량 음성 인식 모델은 엣지 배포에 필수적이지만, Moonshine과 같이 고도로 최적화된 아키텍처는 벵골어와 같이 형태론적으로 풍부한 비라틴 언어에서 종종 실패한다. 본 연구는 이 실패의 근본 원인을 모델의 영어 중심 바이트 수준 토크나이저로 규명한다. 해당 토크나이저는 벵골어 단어를 고분기율(high-fertility) 바이트 체인으로 분절하여 추론 중 치명적인 자기회귀 붕괴(autoregressive collapse)를 유발한다. 이를 해결하기 위해, 디코더 어휘를 네이티브 스크립트 BanglaBERT WordPiece 어휘로 교체하고 대응하는 토큰 임베딩 행렬의 크기를 재조정하는 새로운 어휘 이식(vocabulary transplantation) 파이프라인을 제안한다. 실험 결과, 토큰 분기율이 9.16에서 1.30으로 감소하였다. 자기회귀 시퀀스 길이를 85.8% 단축함으로써 디코딩 불안정성이 완전히 해소되었다. 882시간 규모의 Lipi-Ghor 데이터셋으로 평가한 결과, 수정된 아키텍처는 경쟁력 있는 21.54%의 단어 오류율(WER)과 0.0053의 실시간 인수(RTF)를 달성하였다. 궁극적으로 본 연구는 자원 집약적인 사전학습 없이 경량 ASR 모델의 교차 스크립트 적응을 위한 확장 가능하고 재현 가능한 청사진을 제공한다.

arXiv:2609.26536v1cs.CL공통 태그 Translation, speech-recognition

전사, 번역, 최적화: 음성 번역을 위한 공동 보상 학습

Transcribe, Translate, and Optimize: Joint Reward Learning for Speech Translation

LLM 기반 음성 번역에서 전사 기반 사고의 연쇄(CoT)는 지도 미세조정(SFT)에 사용되는 참조 전사와 추론 시 모델이 생성하는 전사 간 불일치로 인해 어려움이 있다. 이를 해결하기 위해 그룹 상대 정책 최적화(GRPO)를 통한 공동 인식 및 번역 미세조정을 제안한다. 전사와 번역 모두에 점수를 부여하며, 번역은 모델이 생성한 전사에 조건화한다. 세 가지 토큰 advantage 전략을 비교한다. Qwen2.5-Omni-3B를 네 개 언어에 걸쳐 사용하여, SFT와 GRPO 하에서 CoT를 직접 음성 번역(Direct ST)과 비교 평가한다. CoVoST 2에서 학습하고 CoVoST 2와 FLEURS에서 테스트한다. CoT GRPO는 CoVoST 2와 FLEURS에서 Direct ST GRPO보다 평균 BLEU가 각각 1.77점 및 0.83점 높다. CoT SFT 대비 GRPO는 BLEU를 0.82점 및 0.67점 향상시키고 단어 오류율(WER)을 상대적으로 8.8% 및 7.2% 감소시킨다. 이러한 결과는 강화 미세조정이 학습-추론 불일치를 완화하고 인식과 번역을 공동으로 개선하는 효과적인 방법임을 보여준다.

arXiv:2607.13158v1cs.CL공통 태그 Translation, Decoder

동시 음성 번역에서 LLM에 아키텍처 변경이 필요한가? Prefix-to-Prefix 데이터 기반 접근법

Do LLMs Need Architectural Changes for Simultaneous Speech Translation? A Prefix-to-Prefix Data Driven Approach

동시 음성 번역(SimulST)은 엄격한 지연 시간 제약 하에서 점진적 번역을 요구하지만, 제한된 문맥과 언어 간 재배열로 인해 디코더 전용 LLM 시스템에게 여전히 어려운 과제로 남아 있다. 최근 접근법들은 출력 타이밍을 제어하기 위해 아키텍처 변경이나 명시적인 read/write 정책을 도입하는 경우가 많으며, 이는 분할 경계가 모호한 대화형 음성에서는 취약할 수 있다. 우리는 간단한 데이터 기반 대안을 제안한다: 되감기(rewind) 기반 확정 접두 문맥을 갖춘 누적 스트리밍 디코딩을 위한 고정 길이 청크, 그리고 미세조정을 위한 유한 대기(bounded waiting)가 적용된 교사 라벨 접두 문맥 대 접두 문맥(P2P) 타깃으로, 이를 통해 CSSEL-P2P를 만든다. CSSEL은 우리가 제안한 chunked streaming speech encoder LLM이다. 사내 대화형 음성 평가에서 CSSEL-P2P는 유사한 지연(+0.15s Average Lagging)에서 CSSEL 스트리밍 기준선 대비 스트리밍 품질을 COMETKiwi +1.54만큼 향상시켰으며, P2P supervision을 통한 아키텍처 변경 없이도 효과적인 SimulST가 가능함을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.