IWSLT 2026 동시 음성 번역 과제를 위한 MLLP-VRAIN UPV 시스템
MLLP-VRAIN UPV system for the IWSLT 2026 Simultaneous Speech Translation task
한국어 초록
본 연구는 IWSLT 2026 동시 음성 번역(Simultaneous Speech Translation) 트랙 공유 과제에 MLLP-VRAIN 연구 그룹이 참가한 내용을 기술한다. 우리 제출 시스템은 최근 공개된 Parakeet 및 Qwen 3.5 모델을 활용하여, 적응형 "블랙박스(black-box)" 정책을 통해 장문 동시 음성 번역(SimulST)을 위한 견고한 계단식(cascaded) 솔루션을 구축한다. 더 나은 품질-지연(latency) 트레이드오프를 달성하기 위해 이러한 정책의 완화를 탐색한다. 작년과 비교하여 모든 언어 방향에 참가한다. 이에 더해 En→{De, It, Zh} 방향에서는 ASR word-boosting과 오프라인 사전 번역 exemplar를 활용한 RAG(검색-증강 생성) 메커니즘을 결합하여 생성을 유도하고 도메인 특화 문맥으로 시스템을 보강하는 올해의 새로운 context track에도 참가한다. 마지막으로 우리 시스템에 대한 상세한 지연(latency) 분석을 제공한다. 작년과 비교하여 MCIF En→De 테스트 세트 결과는 +5.82 XCOMET-XL의 상당한 품질 향상을 보여준다. context track 처리는 성능을 추가로 +1.03만큼 더 향상시킨다.
원문 초록
This work describes the participation of the MLLP-VRAIN research group in the shared task of the IWSLT 2026 Simultaneous Speech Translation track. Our submission utilizes the recently released Parakeet and Qwen 3.5 models to create a robust, cascaded solution for long-form SimulST through the use of adaptive "black-box" policies. We explore relaxations of these policies to achieve better quality-latency trade-offs. Compared to last year, we participate on all language directions. In addition to this, for the En$\rightarrow${De, It, Zh} directions we also participate in this year's new context track employing a combination of ASR word-boosting and a RAG mechanism of offline pre-translated exemplars to guide generation and enrich our system with domain-specific context. Finally, we provide a detailed latency analysis of our system. Compared to last year, results on the MCIF En$\rightarrow$De test set shows a substantial quality improvement of +5.82 XCOMET-XL. Our context track processing further improves performance by +1.03.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.17255v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
단순할수록 좋을 때: 중세 라틴어 필사본을 위한 번역 파이프라인 평가
When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts
MetaHOPE: MT 및 LLM 번역 오류 분석을 위한 은유 지향 평가 프레임워크
MetaHOPE: A Metaphor-Oriented Evaluation Framework for Analysing MT and LLM Translation Errors
본 의견 논문에서 우리는 은유 번역 평가를 위한 오류 심각도 인식 주석(annotation) 프레임워크인 MetaHOPE를 제안한다. 은유는 의미적 복잡성, 문맥 의존성, 문화적 임베딩(cultural embeddings) 등의 특성으로 인해 기계 번역(MT)과 자연어 이해 및 처리(NLU, NLP)에 어려움을 제기하며, NLP 모델에서 모호성 문제를 야기할 수 있다. 최신(state-of-the-art) NLP 모델이 은유 번역에서 어떻게 수행되는지 조사하기 위해 GoogleMT, GPT5.4, Hunyuan-7b의 세 가지 대표 시스템을 신경망 기계 번역(NMT) 모델 및 LLM으로 선정하였다. 영어-중국어 및 중국어-영어 번역 목적으로 VUAMC와 PSUCMC를 포함한 두 개의 사람 주석 은유 코퍼스를 사용하였다. 사용한 원본 코퍼스는 단일언어(monolingual)이며, MetaHOPE 프레임워크를 이용해 오류 주석을 수행하고, 이중언어 활용을 위한 사람 후편집(post-edited) 골드 레퍼런스도 새 자료로 제작하였다. 은유 번역 주석을 위한 MetaHOPE 평가 프레임워크, 병렬 코퍼스 자료, 최신 자동 번역 모델에 대한 오류 분석이 은유 번역 연구 분야에 유용하고 일부 통찰을 제공할 수 있을 것으로 본다. 자료는 github.com/Jiahui84/MetaHOPE에서 공개한다.
NADI 2026: 두 번째 다중 방언 아랍어 음성 처리 공유 과제
NADI 2026: The Second Multidialectal Arabic Speech Processing Shared Task
NADI 2026은 Nuanced Arabic Dialect Identification(NADI) 공유 과제 시리즈의 일곱 번째 개최이며, 다중 방언 아랍어 음성 처리에 초점을 맞춘 두 번째 회차이다. 이번 회차는 자동 음성 인식(ASR), 구어 방언 식별(SDID), 텍스트 음성 변환(TTS), 구어 언어 번역(SLT), 구어 언어 이해(SLU)에 걸친 다섯 가지 과제와 여덟 개의 하위 과제로 구성된다. NADI 2026은 저대역폭, 혼합 방언, 코드 스위칭, 도메인 외(out-of-domain), 제로샷(zero-shot) 설정을 통한 현실적인 평가를 강조하며, 시리즈에 TTS, SLT, SLU를 처음으로 도입한다. 공유 과제에는 최소 13개국에서 온 21개 참가 팀이 참여했고, 테스트 단계 제출 48건과 시스템 설명 논문 14편이 제출되었다. 결과는 도메인 외 일반화가 여전히 주요 병목임을 보여 주며, 최근 아랍어 특화 음성 모델, 멀티모달 방언 식별 접근, 앙상블 방법의 효과를 부각한다. 전반적으로 NADI 2026은 견고한 아랍어 방언 음성 처리를 위한 더 넓고 도전적인 벤치마크를 제공한다.
베트남 노동법 교차 언어 법률 QA: 검색, 번역, 검증기 기반 교정
Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction
교차 언어 법률 질의응답은 근거 없는 법적 주장을 막으면서 여러 언어에 걸쳐 법령을 검색(retrieval)해야 한다. 본 연구는 베트남 노동법에서 수집한 231개의 베트남어-영어 질문-답변 쌍으로 구성된 이중언어 평가 스위트를 제안한다. 이 중 75개는 다섯 가지 어려운 법률 추론 현상에 대해 추가 주석이 달려 있다. 답을 주장(claim)으로 분해하고, 인용의 도달 가능성(reachability)과 함의(entailment)를 검사하며, 인용 실패와 모순을 교정하는 검증기(verifier) 기반 파이프라인을 평가한다. 또한 검색된 증거에 대한 충실성(faithfulness)을 위한 여섯 가지 자동 진단 지표를 제안하며, 인용, 양상(modality), 예외, 절차, 결론, 증거적 지지를 다룬다. 실험 결과, 학습 기반 sparse 검색(learned-sparse retrieval)은 영어→베트남어 검색에서 성능이 낮으며(R@5~=~0.032), dense 검색은 0.358에 도달해 hybrid 검색을 약간 능가한다. 통제 비교 및 민감도 분석에서 번역 배치(translation placement)는 이러한 자동 진단 지표에 통계적으로 검출 가능한 영향을 주지 않았다. 검증기 기반 교정은 시스템 수준에서 인용 보존을 $0.022$--$0.034$만큼 개선하지만, 나머지 차원에서는 신뢰할 만한 향상을 보이지 않는다. Human evaluation은 자동 진단 지표가 답변 품질에 대한 인간 판단과 완전히 일치하지 않음을 추가로 보여준다.
문맥 인식 기계 번역에서 그래디언트 기반 어트리뷰션을 통한 어텐션 헤드 분석의 확장
Scaling Attention Head Analysis via Gradient-Based Attribution in Context-Aware Machine Translation
본 논문에서는 토큰 수준 최대 마진(Token-level Max-Margin) 손실을 어텐션 맵으로 역전파하는 그래디언트 기반 헤드 어트리뷰션(attribution) 전략을 제안한다. 이 프레임워크는 어텐션 헤드에 대한 대규모 인과 분석을 가능하게 하여 LLM에도 적용하기에 적합하다. 우리는 문맥 인식 기계 번역(Context-aware Machine Translation)의 중의성 해소(disambiguation) 과제에서 제안 방법을 평가하며, 4개 모델과 4개 언어 방향에 걸쳐 50가지 현상을 분석한다. 또한 세 개의 모델과 두 개의 언어 방향에서, 토큰 간 관계에 대한 어텐션 점수를 높였을 때의 효과와 제안 방법이 일치함을 실험적으로 보여 주며, 이를 통해 방법의 견고성을 확보한다. 분석 결과, 서로 다른 관계에 어텐션을 둘 때 모델의 성능을 향상시키는 "범용(general-purpose)" 어텐션 헤드가 존재함을 확인하였다. 또한 한 헤드가 특정 관계에 할당하는 평균 어텐션이 반드시 모델의 성능과 관련되는 것은 아님을 발견하였으며, 이는 모델이 학습 과정에서 헤드 기능 측면의 중복성(redundancy)을 형성했음을 시사한다.
번역을 위한 LLM 미세조정: 일반적인 망각 완화 기법은 MT 특화 지시 이행 능력을 보존하지 못한다
Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following
병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.