arXiv:2004.06358

Speech Translation and the End-to-End Promise: Taking Stock of Where We Are

Matthias Sperber, Matthias Paulik

제출 2020-04-14

원문 초록

Over its three decade history, speech translation has experienced several shifts in its primary research themes; moving from loosely coupled cascades of speech recognition and machine translation, to exploring questions of tight coupling, and finally to end-to-end models that have recently attracted much attention. This paper provides a brief survey of these developments, along with a discussion of the main challenges of traditional approaches which stem from committing to intermediate representations from the speech recognizer, and from training cascaded models separately towards different objectives. Recent end-to-end modeling techniques promise a principled way of overcoming these issues by allowing joint training of all model components and removing the need for explicit intermediate representations. However, a closer look reveals that many end-to-end models fall short of solving these issues, due to compromises made to address data scarcity. This paper provides a unifying categorization and nomenclature that covers both traditional and recent approaches and that may help researchers by highlighting both trade-offs and open research questions.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26536v1cs.CL공통 태그 Machine Translation, Translation, speech-recognition

전사, 번역, 최적화: 음성 번역을 위한 공동 보상 학습

Transcribe, Translate, and Optimize: Joint Reward Learning for Speech Translation

LLM 기반 음성 번역에서 전사 기반 사고의 연쇄(CoT)는 지도 미세조정(SFT)에 사용되는 참조 전사와 추론 시 모델이 생성하는 전사 간 불일치로 인해 어려움이 있다. 이를 해결하기 위해 그룹 상대 정책 최적화(GRPO)를 통한 공동 인식 및 번역 미세조정을 제안한다. 전사와 번역 모두에 점수를 부여하며, 번역은 모델이 생성한 전사에 조건화한다. 세 가지 토큰 advantage 전략을 비교한다. Qwen2.5-Omni-3B를 네 개 언어에 걸쳐 사용하여, SFT와 GRPO 하에서 CoT를 직접 음성 번역(Direct ST)과 비교 평가한다. CoVoST 2에서 학습하고 CoVoST 2와 FLEURS에서 테스트한다. CoT GRPO는 CoVoST 2와 FLEURS에서 Direct ST GRPO보다 평균 BLEU가 각각 1.77점 및 0.83점 높다. CoT SFT 대비 GRPO는 BLEU를 0.82점 및 0.67점 향상시키고 단어 오류율(WER)을 상대적으로 8.8% 및 7.2% 감소시킨다. 이러한 결과는 강화 미세조정이 학습-추론 불일치를 완화하고 인식과 번역을 공동으로 개선하는 효과적인 방법임을 보여준다.

arXiv:2607.11163v1cs.CL공통 태그 Machine Translation, speech-recognition, Speech Recognition

통합 그래디언트 투영: 다국어 저자원 ASR을 위한 언어 균형 지속 학습

Unified Gradient Projection: Language-Balanced Continual Learning for Multilingual Low-Resource ASR

Whisper와 같은 대규모 사전학습 자동 음성 인식(ASR) 모델은 강력한 다국어 능력을 보인다. 그러나 저자원 언어에 대한 미세조정은 파국적 망각을 유발하는 경우가 많다. 지속 학습이 이 문제를 완화하지만, 기존 방법들은 지배적 언어가 최적화에 바이어스를 주는 다국어 환경에서 태스크 간 간섭을 조절하는 데 어려움을 겪는다. 우리는 통합 투영 공간에서 언어 균형 리플레이로부터의 참조 그래디언트를 사용하여 매개변수 업데이트를 제약하는 통합 그래디언트 투영(UGP)을 제안한다. 투영에서 언어별 기여를 균등화함으로써 UGP는 지배적 언어 바이어스를 줄이고 교차 언어 안정성을 향상시킨다. 나아가 그래디언트 수준의 투영과 데이터 수준의 리플레이를 결합하면 안정성과 가소성 측면에서 상호 보완적인 이점을 얻을 수 있음을 보인다. 다양한 저자원 언어 그룹과 모델 규모에 걸쳐 UGP는 효과적인 적응을 가능하게 하면서 망각을 크게 완화한다. Whisper-large-v3에서는 평균 망각이 거의 0에 가까운 수준을 달성한다.

arXiv:2607.09611v1cs.CL공통 태그 Machine Translation, Translation, Speech Recognition

실시간 문장 수준 수어 번역을 향하여

Toward Real-Time Sentence-Level Sign Language Translation

대부분의 수어 이해 시스템은 개별 수어 단위로 동작하여 자연스러운 의사소통에서의 활용이 제한적이다. 본 연구는 새로운 번역 아키텍처 제안보다 실시간 배포를 주요 목표로 삼아 문장 수준 수어 번역(SLT)을 연구한다. 컴퓨팅 및 저장 용량 제약으로 인해 How2Sign에서 균일 샘플링한 9,872개 예시 서브셋을 대상으로 SHuBERT를 동결한 채 QLoRA를 적용하여 SHuBERT-ByT5 번역 스택을 파인튜닝하였다. 모델은 검증 BLEU 16.7을 달성하였으며, 테스트 분할에서 BLEU 15.9, BLEURT 44.7을 기록하였다. 본 논문의 주요 기여는 하드웨어 인식 스트리밍 시스템이다. Raspberry Pi 4B 레퍼런스 클라이언트가 카메라 캡처, 로컬 텍스트 표시, 음성 출력을 담당하고, 연산 집약적인 인식 및 번역은 CPU/GPU 백엔드에서 처리된다. 캡처 프로토콜은 클라이언트에 무관하게 설계되어 동일한 백엔드가 브라우저, 휴대폰, 노트북을 모두 지원할 수 있다. 청크 단위 수집, 제한된 큐, 병렬화된 인식, 시간적 재정렬, 문장 경계 상태 기계를 적용하여 전체 9,872개 예시 작업 서브셋에서 평균 최종화 후 응답 지연 시간을 1.873초에서 1.354초로(27.71%), P95 지연 시간을 2.919초에서 2.130초로(27.03%) 단축하였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.