arXiv:1511.09392

Enhancements in statistical spoken language translation by de-normalization of ASR results

Agnieszka Wołk, Krzysztof Wołk, Krzysztof Marasek

제출 2015-11-18

원문 초록

Spoken language translation (SLT) has become very important in an increasingly globalized world. Machine translation (MT) for automatic speech recognition (ASR) systems is a major challenge of great interest. This research investigates that automatic sentence segmentation of speech that is important for enriching speech recognition output and for aiding downstream language processing. This article focuses on the automatic sentence segmentation of speech and improving MT results. We explore the problem of identifying sentence boundaries in the transcriptions produced by automatic speech recognition systems in the Polish language. We also experiment with reverse normalization of the recognized speech samples.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.05623v3cs.CL공통 태그 Machine Translation, Automatic Speech Recognition

IWSLT 2026 인스트럭션 팔로잉 태스크를 위한 NAVER LABS 시스템 재구현

NAVER LABS System Re-implementation for the IWSLT 2026 Instruction-Following Task

우리는 NAVER LABS의 IWSLT 2025 인스트럭션 팔로잉 파이프라인을 IWSLT 2026 공유 태스크(제한 조건, 단음원 트랙)에 맞게 재구현하며, 지정된 구성 요소인 음성 인코더로서의 SeamlessM4T-v2-large와 대규모 언어 모델(LLM) 백본으로서의 Qwen3-4B-Instruct에 적응시킨다. 프로젝터 정렬, 텍스트 전용 LoRA 사전학습, 멀티모달 병합으로 이루어진 3단계 접근 방식은 원래 설계에서 그대로 유지된다. 또한 제공된 말뭉치로부터 열 가지 음성 중심 태스크 유형(태스크당 1만 개)에 걸쳐 총 10만 개의 합성 인스트럭션 팔로잉 예시를 구축하며, 이는 추가적인 3단계 미세조정에 적합하다. 우리의 주요 모델은 MCIF 벤치마크에서 EN-ZH 음성 번역에 대해 COMET 0.781을, 영어 SQA에 대해 BERTScore-F1 0.346을 달성한다.

arXiv:2607.07408v2cs.CL공통 태그 Segmentation, Automatic Speech Recognition

브라질 포르투갈어의 운율 경계 분절을 위한 트랜스포머 기반 접근법

Transformer-based segmentation of prosodic boundaries in Brazilian Portuguese

자동 운율 분절(automatic prosodic segmentation)은 음향 및 언어적 증거로부터 발화 단위 간의 경계를 식별한다. 최근 심층 학습 접근법이 영어에서 강력한 성능을 보이고 있으나, 브라질 포르투갈어(BP)의 자동 분절은 여전히 대부분 규칙 기반 또는 전통적인 기계 학습 방법에 의존하고 있다. 본 논문에서는 SAMPA를 제안한다. SAMPA는 Whisper 기반 분절기로, 브라질 포르투갈어 음성을 전사하면서 종결 운율 경계에 대한 명시적 마커를 삽입한다. NURC-SP 데이터셋의 수동 분절 녹음 데이터로 Whisper large-v3를 파인튜닝하고, MuPe-Diversidades 데이터셋에 대한 분포 외(out-of-distribution) 테스트를 포함하여 다양한 학습 및 테스트 시간 필터링 구성을 평가한다. SAMPA는 다양한 설정에서 경쟁력 있는 경계 탐지 성능을 달성하며, 최상의 모델은 보류 테스트 분할에서 F1=0.731, MuPe-Diversidades에서 F1=0.796을 기록한다. 마지막으로, n-gram 및 음향-시각적 분석을 통해 본 모델이 운율 경계 탐지를 위해 형태통사론적, 의미론적, 운율적 단서를 따름을 보인다.

arXiv:2607.09020v1eess.AS공통 태그 Segmentation, Automatic Speech Recognition

음운 활성화 매핑을 통한 음소 분할 및 인식

Phone Segmentation and Recognition through Phonological Activation Mapping

음소 분할과 음소 인식은 본질적으로 연관된 과제임에도 불구하고, 현대적 접근법들은 대개 이 두 과제를 별도로 모델링한다. 우리는 음성 구조가 자기지도 음성 모델(S3M)의 표현에 이미 잠재되어 있으며, 두 과제를 동시에 해결하기 위해서는 모델을 적절히 유도하는 것으로 충분하다고 주장한다. 우리는 S3M 기반의 음운 활성화 매핑(SPAM, Phonological Activation Mapping)을 활용하는데, 이는 각 S3M 표현 프레임을 유성음 여부(voicing) 및 비음성(nasality) 등의 음운적 특징(phonological feature) 활성화 벡터로 매핑한다. SPAM 위에 우리는 그래디언트 하강 없이 동작하는 경량의 두 가지 간단하지만 효과적인 예측 헤드를 도입한다: 인식 헤드와 분할 헤드. 제안하는 방법은 1분 미만의 음성 전사(phonetic transcription)만을 필요로 하며, 학습 중 보지 못한 음소에도 일반화된다. 다양한 데이터셋에 걸쳐 우리의 접근법은 강력한 분할 및 인식 성능을 달성한다.

arXiv:2607.02763v1cs.CL공통 태그 Machine Translation, Automatic Speech Recognition

LuxSQA: TTS 증강 음성 질의응답으로 룩셈부르크어로 질문하기

LuxSQA: Ask Me in Luxembourgish with TTS-Augmented Spoken Question Answering

음성 질의응답(SQA)은 여전히 고자원 언어와 정밀하게 녹음된 음성에 집중되어 있어, 저자원 환경에서 음성-LLM 방법론의 적용 범위를 제한하고 있다. 본 논문은 텍스트 음성 변환(TTS)이 대규모 인간 녹음 QA 코퍼스 없이도 룩셈부르크어 SQA를 위한 태스크 특화 학습 데이터를 제공할 수 있는지 탐구한다. 기존 텍스트 기반 QA 자료를 출발점으로, 질문을 룩셈부르크어로 번역하고 다수의 TTS 시스템으로 음성 질문을 합성한 후 텍스트 답변과 쌍으로 구성한다. 우리는 학습된 프로젝터와 LoRA 어댑터를 통해 고정된 Whisper 인코더를 고정된 다국어 LLM 백엔드에 연결하는 매개변수 효율적인 SLAM 스타일 아키텍처를 학습시킨다. MMS-TTS, Qwen3-TTS, OmniVoice 변형을 비교하며, 약 48k 질문의 단일 출처 코퍼스와 약 230k 질문의 4TTS 다중 출처 혼합 데이터를 포함한다. 두 가지 실제 룩셈부르크어 화자 조건으로 구성된 LLAMA-LB-Test에서의 평가 결과, 다중 출처 및 음성 디자인 기반 합성 학습 구성이 가장 우수한 SQA 성능을 보인다. 또한 참조 없는 TTS 품질 점수가 다운스트림 QA 성능을 단조롭게 예측하지 않음을 보여주며, 이는 합성 음성을 자연스러운 오디오로서만이 아니라 태스크 특화 학습 데이터로 평가해야 함을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.