arXiv:1908.02914

Mitigating Noisy Inputs for Question Answering

Denis Peskov, Joe Barrow, Pedro Rodriguez, Graham Neubig, Jordan Boyd-Graber

제출 2019-08-08

원문 초록

Natural language processing systems are often downstream of unreliable inputs: machine translation, optical character recognition, or speech recognition. For instance, virtual assistants can only answer your questions after understanding your speech. We investigate and mitigate the effects of noise from Automatic Speech Recognition systems on two factoid Question Answering (QA) tasks. Integrating confidences into the model and forced decoding of unknown words are empirically shown to improve the accuracy of downstream neural QA systems. We create and train models on a synthetic corpus of over 500,000 noisy sentences and evaluate on two human corpora from Quizbowl and Jeopardy! competitions.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.05623v3cs.CL공통 태그 Machine Translation, Automatic Speech Recognition

IWSLT 2026 인스트럭션 팔로잉 태스크를 위한 NAVER LABS 시스템 재구현

NAVER LABS System Re-implementation for the IWSLT 2026 Instruction-Following Task

우리는 NAVER LABS의 IWSLT 2025 인스트럭션 팔로잉 파이프라인을 IWSLT 2026 공유 태스크(제한 조건, 단음원 트랙)에 맞게 재구현하며, 지정된 구성 요소인 음성 인코더로서의 SeamlessM4T-v2-large와 대규모 언어 모델(LLM) 백본으로서의 Qwen3-4B-Instruct에 적응시킨다. 프로젝터 정렬, 텍스트 전용 LoRA 사전학습, 멀티모달 병합으로 이루어진 3단계 접근 방식은 원래 설계에서 그대로 유지된다. 또한 제공된 말뭉치로부터 열 가지 음성 중심 태스크 유형(태스크당 1만 개)에 걸쳐 총 10만 개의 합성 인스트럭션 팔로잉 예시를 구축하며, 이는 추가적인 3단계 미세조정에 적합하다. 우리의 주요 모델은 MCIF 벤치마크에서 EN-ZH 음성 번역에 대해 COMET 0.781을, 영어 SQA에 대해 BERTScore-F1 0.346을 달성한다.

arXiv:2607.02763v1cs.CL공통 태그 Machine Translation, Automatic Speech Recognition

LuxSQA: TTS 증강 음성 질의응답으로 룩셈부르크어로 질문하기

LuxSQA: Ask Me in Luxembourgish with TTS-Augmented Spoken Question Answering

음성 질의응답(SQA)은 여전히 고자원 언어와 정밀하게 녹음된 음성에 집중되어 있어, 저자원 환경에서 음성-LLM 방법론의 적용 범위를 제한하고 있다. 본 논문은 텍스트 음성 변환(TTS)이 대규모 인간 녹음 QA 코퍼스 없이도 룩셈부르크어 SQA를 위한 태스크 특화 학습 데이터를 제공할 수 있는지 탐구한다. 기존 텍스트 기반 QA 자료를 출발점으로, 질문을 룩셈부르크어로 번역하고 다수의 TTS 시스템으로 음성 질문을 합성한 후 텍스트 답변과 쌍으로 구성한다. 우리는 학습된 프로젝터와 LoRA 어댑터를 통해 고정된 Whisper 인코더를 고정된 다국어 LLM 백엔드에 연결하는 매개변수 효율적인 SLAM 스타일 아키텍처를 학습시킨다. MMS-TTS, Qwen3-TTS, OmniVoice 변형을 비교하며, 약 48k 질문의 단일 출처 코퍼스와 약 230k 질문의 4TTS 다중 출처 혼합 데이터를 포함한다. 두 가지 실제 룩셈부르크어 화자 조건으로 구성된 LLAMA-LB-Test에서의 평가 결과, 다중 출처 및 음성 디자인 기반 합성 학습 구성이 가장 우수한 SQA 성능을 보인다. 또한 참조 없는 TTS 품질 점수가 다운스트림 QA 성능을 단조롭게 예측하지 않음을 보여주며, 이는 합성 음성을 자연스러운 오디오로서만이 아니라 태스크 특화 학습 데이터로 평가해야 함을 시사한다.

arXiv:2603.16606v3cs.CL공통 태그 Machine Translation, Automatic Speech Recognition

Omnilingual SONAR: 대규모 다국어 텍스트와 음성을 잇는 교차 언어 및 교차 모달 문장 임베딩

Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech

교차 언어 문장 인코더는 일반적으로 수백 개의 언어만 다루며, 더 강력한 정렬(alignment)을 위해 다운스트림 품질을 희생하는 경우가 많아 그 채택이 제한됩니다. 본 논문에서는 텍스트, 음성, 코드, 수학 표현식을 단일 의미 공간에 기본적으로 임베딩(embedding)하면서, 고자원(high-resource)에서 극저자원(extremely low-resource) 언어에 이르기까지 수천 개 언어 규모에서 최첨단(SOTA) 다운스트림 성능을 제공하는 새로운 전언어(omnilingual), 교차 언어 및 교차 모달 문장 임베딩 모델 계열인 OmniSONAR를 소개합니다. 표현 붕괴(representation collapse) 없이 이 규모에 도달하기 위해 우리는 점진적 학습(progressive training)을 사용합니다. 먼저 대규모 언어 모델(LLM)로 초기화된 인코더-디코더를 사용하여 200개 언어에 대한 강력한 기초 공간을 학습하며, 여기에 토큰 수준 디코딩을 새로운 분할 소프트맥스(split-softmax) 대비 손실(contrastive loss) 및 합성 하드 네거티브(synthetic hard negatives)와 결합했습니다. 이 기초를 바탕으로 2단계 교사-학생 인코더 증류(distillation) 프레임워크를 통해 수천 개의 언어 변종으로 확장했습니다. 마지막으로, 177개의 구어(spoken) 언어를 이 공간에 매끄럽게 매핑함으로써 해당 공간의 교차 모달 확장성을 입증했습니다. OmniSONAR는 200개 언어 FLORES 데이터셋(dataset)에서 교차 언어 유사도 검색 오류를 절반으로 줄였으며, 1,560개 언어 BIBLE 벤치마크(benchmark)에서는 오류를 15분의 1 수준으로 감소시켰습니다. 또한 강력한 번역 성능을 발휘하여 다국어 벤치마크에서 NLLB-3B를 능가했고, 1,560개 언어에서 영어로의 BIBLE 번역에서는 이전 모델(훨씬 더 큰 LLM 포함)보다 15 chrF++ 포인트 더 높은 성과를 보였습니다. OmniSONAR는 MTEB 및 XLCoST에서도 우수한 성능을 보였습니다. 음성(speech) 분야에서 OmniSONAR는 유사도 검색 오류를 43% 감소시켰으며, 번역에 대해 제로샷(zero-shot)임에도 불구하고(ASR 데이터로만 학습됨) SeamlessM4T의 음성-텍스트 품질의 97%에 도달했습니다. 마지막으로, OmniSONAR 임베딩 시퀀스를 처리하는 영어 텍스트에 대해서만 인코더-디코더 LM인 Spectrum을 학습시킴으로써, 복잡한 다운스트림 작업에 대해 수천 개 언어와 음성으로의 고성능 전이(transfer)를 가능하게 했습니다.

arXiv:2606.17281v1cs.CL공통 태그 Machine Translation, Automatic Speech Recognition

내 언어들을 쓰고 있나? 멀티모달 LLM의 음성 언어 준수

Are you speaking my languages? On spoken language adherence in multimodal LLMs

대규모 언어 모델(LLM) 기반 자동 음성 인식(ASR)은 매끄러운 다국어 사용을 가능하게 하지만, 모델은 종종 출력 언어를 잘못 식별하여 전사 정확도와 하위 애플리케이션 품질을 저하시킨다. 유연성과 코드 스위칭(code-switching) 능력을 유지하기 위해, 출력을 엄격하게 제한하지 않으면서 잠재적 음성 언어를 암시하는 소프트 프롬프트(soft prompting) 방식을 제안한다. 이 과제를 언어 준수(language adherence) 부족으로 형식적으로 정의하고, 위반을 정량화하는 새로운 지표를 도입하며, 세 가지 완화 전략을 평가한다: (1) 불확실성 하에서 강건한 안내를 위한 제로샷(zero-shot) 프롬프트, (2) 프롬프트 준수를 개선하기 위한 지도 미세조정(SFT), (3) 디코딩 중 준수를 강제하기 위한 사고의 연쇄(Chain-of-Thought, CoT) 추론. 여러 언어에 걸쳐 이러한 방법들의 비교 분석을 제시하고, 전체 ASR 성능을 유지하면서 언어 위반을 줄이는 효과를 평가한다. 마지막으로, 다양한 연산 제약 하에서 전략 선택을 안내하기 위한 트레이드오프를 논의한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.