Breaking the Data Barrier: Towards Robust Speech Translation via Adversarial Stability Training
원문 초록
In a pipeline speech translation system, automatic speech recognition (ASR) system will transmit errors in recognition to the downstream machine translation (MT) system. A standard machine translation system is usually trained on parallel corpus composed of clean text and will perform poorly on text with recognition noise, a gap well known in speech translation community. In this paper, we propose a training architecture which aims at making a neural machine translation model more robust against speech recognition errors. Our approach addresses the encoder and the decoder simultaneously using adversarial learning and data augmentation, respectively. Experimental results on IWSLT2018 speech translation task show that our approach can bridge the gap between the ASR output and the MT input, outperforms the baseline by up to 2.83 BLEU on noisy ASR output, while maintaining close performance on clean text.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TASK AWARE MULTI-TASK LEARNING FOR SPEECH TO TEXT TASKS
Coupled Training of Sequence-to-Sequence Models for Accented Speech Recognition
오류율만으로는 충분하지 않다: 저자원 음성 인식에서 데이터 증강의 비용
Error Rate is Not Enough: Costs of Augmentation in Low-Resource ASR
데이터 증강(data augmentation)은 저자원 자동 음성 인식(ASR)의 표준적인 관행이지만, 그 이점은 거의 항상 종합 오류율로만 보고되어 특정 방법이 왜, 그리고 언제 도움이 되는지는 불분명한 상태로 남아 있습니다. 본 연구에서는 4개의 저자원 언어와 5가지 데이터 규모의 영어를 대상으로 기존 오디오를 수정하는 두 가지 증강 기법(속도 섭동(speed perturbation) 및 SpecAugment)과 텍스트 전사본을 수정한 후 오디오를 합성하는 두 가지 기법을 교차 적용했습니다. 음소 수준에서 오류를 분석한 결과, 이들 방법이 상호보완적인 이유로 도움이 된다는 점을 발견했습니다. SpecAugment는 가장 안정적인 종합 성능 향상을 보였으나 성조 및 구개음화 오류를 증가시켰고, 텍스트 기반 방법은 자음 삽입 오류를 유발했습니다. 결합 시 각 방법은 상대방이 유발한 오류를 줄여줍니다. 이러한 상호보완성은 예측 가능합니다. 성조와 구개음화는 각각 단일 음향 속성으로 신호화되며 학습 시 가장 낮은 빈도로 발생(가장 낮은 학습 노출도)하는데, 단어 빈도를 평탄화(flatten)하는 텍스트 기반 방법은 이들의 빈도를 37~38% 높여 종합 오류를 더욱 개선하는 동시에 해당 오류를 되돌립니다. 방법들을 결합하여 얻은 성능 향상은 개별 개선점들의 합을 초과하지만, 이러한 초부가성(superadditivity)은 100시간 규모에서 사라져 상호보완성이 저자원 영역에 국한됩니다. 특정 오류 유형이 중요한 경우, 학습 전 측정이 가능한 학습 노출도와 음향 속성에 따라 데이터 증강 기법을 선택할 것을 권장합니다.
뇌-언어 디코딩: 태스크, 신호, 방법론, 평가, 실질적 활용 및 그 너머
Brain-to-Language Decoding: Tasks, Signals, Methods, Evaluation, Practical Use and Beyond
뇌-언어 디코딩(brain-to-language decoding)은 언어 생성, 내적 발화(internal speech), 지각과 관련된 신경 활동을 언어적 또는 표현적 출력으로 변환한다. 이는 발화 능력 상실 후 의사소통을 회복하는 경로이자 뇌가 언어를 어떻게 표현하는지 연구하는 수단을 제공한다. 신경 기록 및 표현 학습(representation learning)의 발전은 이 분야를 제한된 인식 및 음향 재구성을 넘어 텍스트 생성, 스트리밍 개인화 음성, 얼굴 애니메이션으로 확장시켰다. 본 서베이는 침습적 및 비침습적 측정을 아우르는 이러한 발전들을 종합하며, 하한 연도 제한이 없는 검색과 2026년 9월까지의 소스 주도 업데이트를 활용한다. 우리는 발화된(Articulated), 내적인(Inner), 지각된(Perceived) 태스크를 이들이 관여시키는 신경 집단, 디코더가 활용 가능한 표현, 그리고 해당 표현이 지원할 수 있는 출력과 연결한다. 또한 모델(model) 개발, 공개 자원, 평가(evaluation)의 진화를 검토하고, 보고된 프로토콜 내에서 발표된 성능과 의사소통 비용을 비교한다. 본 종합 연구는 발전을 위한 상호보완적인 경로를 규명한다. 음성적, 음향적, 의미론적 타깃은 메시지의 서로 다른 측면을 보존하고, 공유 표현은 기록 조건과 태스크 전반에 걸친 재사용을 지원하며, 온라인 의사소통은 디코딩 정확도뿐만 아니라 캘리브레이션, 피드백, 사용자 제어에 점차 의존하고 있다. 공유 벤치마크(benchmark)는 알고리즘 비교를 가능하게 하는 한편, 종단 연구는 지속적인 사용에 따른 요구사항을 보여준다. 우리는 이러한 발전과 남아있는 한계를 논의한 뒤, 명령어와 언어에서 의미, 시나리오, 양방향 인지적 교환에 이르는 미래 지향적인 5단계 궤적을 제시한다.
문맥 인식 기계 번역에서 그래디언트 기반 어트리뷰션을 통한 어텐션 헤드 분석의 확장
Scaling Attention Head Analysis via Gradient-Based Attribution in Context-Aware Machine Translation
본 논문에서는 토큰 수준 최대 마진(Token-level Max-Margin) 손실을 어텐션 맵으로 역전파하는 그래디언트 기반 헤드 어트리뷰션(attribution) 전략을 제안한다. 이 프레임워크는 어텐션 헤드에 대한 대규모 인과 분석을 가능하게 하여 LLM에도 적용하기에 적합하다. 우리는 문맥 인식 기계 번역(Context-aware Machine Translation)의 중의성 해소(disambiguation) 과제에서 제안 방법을 평가하며, 4개 모델과 4개 언어 방향에 걸쳐 50가지 현상을 분석한다. 또한 세 개의 모델과 두 개의 언어 방향에서, 토큰 간 관계에 대한 어텐션 점수를 높였을 때의 효과와 제안 방법이 일치함을 실험적으로 보여 주며, 이를 통해 방법의 견고성을 확보한다. 분석 결과, 서로 다른 관계에 어텐션을 둘 때 모델의 성능을 향상시키는 "범용(general-purpose)" 어텐션 헤드가 존재함을 확인하였다. 또한 한 헤드가 특정 관계에 할당하는 평균 어텐션이 반드시 모델의 성능과 관련되는 것은 아님을 발견하였으며, 이는 모델이 학습 과정에서 헤드 기능 측면의 중복성(redundancy)을 형성했음을 시사한다.
문법서를 활용한 저자원 기계 번역용 합성 데이터 생성의 요인 실험 연구
A Factorial Study of Synthetic Data Generation for Low-Resource Machine Translation using Grammar Books
대부분의 위기 언어는 기술 문법서가 존재함에도 불구하고 기계 번역에 필요한 병렬 데이터가 부족하다. 본 연구는 대규모 언어 모델(LLM)을 사용하여 문법서에서 문법 규칙, 예문, 어휘집을 추출하고 미세조정용 합성 병렬 코퍼스를 생성하는 파이프라인을 제안한다. 이는 기존 연구처럼 추론 시점에 문법 내용을 프롬프트에 제공하는 방식과는 다르다. 유형론적으로 다양한 세 저자원 언어—Kalamang(파푸아어), Tuatschin(로망스어), Mandan(수어)—에서 검증한 결과, 합성 데이터 미세조정은 Kalamang에서 75%, Tuatschin에서 59%의 설정에서 시드 데이터 기준선 대비 개선을 보였으며, 최적의 경우 ChrF++는 각각 +8.8, +5.3, +3.3만큼 향상되었다. 목표 품사, 검색 세분성, 샘플 규모를 달리한 96개 설정에 대한 체계적인 요인 실험을 통해, 어떤 요인 조합이 성능 향상을 이끌고 어디에서 효과가 한계에 이르는지 밝혔다. 이 결과는 정적 언어학 문헌을 기계 번역 미세조정에 재활용할 수 있음을 보여 주며, 극도로 자원이 부족한 언어를 위한 번역 도구 구축이라는 실용적 경로를 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.