PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26823v2cs.SD

텍스트 점수는 어휘적으로 진단 불가능한 음성 태스크의 성능을 입증하지 못한다: Qwen2-Audio 양자화 사례 연구

Text Scores Do Not Establish Performance on Lexically Non-Diagnostic Speech Tasks: A Qwen2-Audio Quantization Case Study

텍스트 출력 점수만으로는 전사문(transcript)에서 타깃 라벨을 복원할 수 없는 음성 태스크에서 양자화(quantization)가 성능을 보존하는지 여부를 보여주지 못합니다. 본 연구에서는 매개변수(parameter)당 평균 6비트 및 7비트를 갖는 Qwen2-Audio-7B-Instruct의 고정 혼합 4/8비트 할당을 508개의 영-독 FLEURS 발화와 16명의 화자로부터 수집한 512개의 RAVDESS 감정 클립에 대해 평가합니다. 반정밀도(FP16) 대비 BLEU 및 chrF 차이는 두 할당 모두에서 0을 포함하는 구간을 가집니다. RAVDESS에서는 동일한 두 문장이 모든 감정 라벨과 동일한 빈도로 나타납니다. FP16 대비 절대 정확도 차이는 6비트에서 -3.71%, 7비트에서 -1.17%입니다. 6비트 화자 구간은 0을 제외하며 정확한 양측 부호 반전 검정(exact two-sided sign-flip test) 결과 p=0.0148을 보인 반면, 7비트 구간은 0을 포함합니다. 동일 예산 대조군(same-budget controls)에서는 선택된 두 할당 중 어느 것도 최고로 식별하지 못합니다. 본 사례 연구는 번역 점수와 전사문 범위를 벗어나는 태스크에서의 성능을 왜 분리하여 평가해야 하는지 보여줍니다.

arXiv:2609.26536v1cs.CL

전사, 번역, 최적화: 음성 번역을 위한 공동 보상 학습

Transcribe, Translate, and Optimize: Joint Reward Learning for Speech Translation

LLM 기반 음성 번역에서 전사 기반 사고의 연쇄(CoT)는 지도 미세조정(SFT)에 사용되는 참조 전사와 추론 시 모델이 생성하는 전사 간 불일치로 인해 어려움이 있다. 이를 해결하기 위해 그룹 상대 정책 최적화(GRPO)를 통한 공동 인식 및 번역 미세조정을 제안한다. 전사와 번역 모두에 점수를 부여하며, 번역은 모델이 생성한 전사에 조건화한다. 세 가지 토큰 advantage 전략을 비교한다. Qwen2.5-Omni-3B를 네 개 언어에 걸쳐 사용하여, SFT와 GRPO 하에서 CoT를 직접 음성 번역(Direct ST)과 비교 평가한다. CoVoST 2에서 학습하고 CoVoST 2와 FLEURS에서 테스트한다. CoT GRPO는 CoVoST 2와 FLEURS에서 Direct ST GRPO보다 평균 BLEU가 각각 1.77점 및 0.83점 높다. CoT SFT 대비 GRPO는 BLEU를 0.82점 및 0.67점 향상시키고 단어 오류율(WER)을 상대적으로 8.8% 및 7.2% 감소시킨다. 이러한 결과는 강화 미세조정이 학습-추론 불일치를 완화하고 인식과 번역을 공동으로 개선하는 효과적인 방법임을 보여준다.

arXiv:2607.13158v1cs.CL

동시 음성 번역에서 LLM에 아키텍처 변경이 필요한가? Prefix-to-Prefix 데이터 기반 접근법

Do LLMs Need Architectural Changes for Simultaneous Speech Translation? A Prefix-to-Prefix Data Driven Approach

동시 음성 번역(SimulST)은 엄격한 지연 시간 제약 하에서 점진적 번역을 요구하지만, 제한된 문맥과 언어 간 재배열로 인해 디코더 전용 LLM 시스템에게 여전히 어려운 과제로 남아 있다. 최근 접근법들은 출력 타이밍을 제어하기 위해 아키텍처 변경이나 명시적인 read/write 정책을 도입하는 경우가 많으며, 이는 분할 경계가 모호한 대화형 음성에서는 취약할 수 있다. 우리는 간단한 데이터 기반 대안을 제안한다: 되감기(rewind) 기반 확정 접두 문맥을 갖춘 누적 스트리밍 디코딩을 위한 고정 길이 청크, 그리고 미세조정을 위한 유한 대기(bounded waiting)가 적용된 교사 라벨 접두 문맥 대 접두 문맥(P2P) 타깃으로, 이를 통해 CSSEL-P2P를 만든다. CSSEL은 우리가 제안한 chunked streaming speech encoder LLM이다. 사내 대화형 음성 평가에서 CSSEL-P2P는 유사한 지연(+0.15s Average Lagging)에서 CSSEL 스트리밍 기준선 대비 스트리밍 품질을 COMETKiwi +1.54만큼 향상시켰으며, P2P supervision을 통한 아키텍처 변경 없이도 효과적인 SimulST가 가능함을 시사한다.

arXiv:2607.01960v1cs.CL

NAVER LABS Europe Submission to the Instruction-following 2026 Short Track

IWSLT 2026 인스트럭션 기반 음성 처리 단축 트랙에 대한 NAVER LABS Europe의 제출 시스템으로, ASR 데이터만으로 음성-LLM 임베딩 프로젝터를 학습하는 SpeechMapper와 합성 과학 발표 데이터셋 fakACL을 도입해 다국어 ASR·ST·SQA를 수행한다. 개선된 음성 프로젝션 메커니즘과 도메인 특화 합성 데이터의 결합으로 전년도 최우수 시스템을 능가하면서도 더 경량화된 모델로 올해 단축 트랙 공동 1위를 달성했다.

arXiv:2606.24644v1cs.CL

Measuring User's Mental Models of Speech Translation in Human-AI Collaboration

Millions of people use machine translation (MT) tools daily, yet little is known about their perception of what systems can and cannot do. This paper studies users' mental models of speech translation systems through a new framework based on cross-lingual question answering, where users either accept MT output or request professional re-translation to answer questions based on the information presented in a foreign language. By analyzing user behavior and accuracy trends across varying translation qualities, we examine to what extent they can predict where the system is likely to be wrong, and how this mental model evolves. Users develop stronger mental models with practice, especially when they have some knowledge of the source language, primarily by relying on surface-level error cues. Moreover, providing speech transcriptions can help users develop better mental models. Our results show the promise of cross-lingual question answering as a downstream task for studying MT mental models and advancing our understanding of human-AI collaboration.

arXiv:2606.17255v1cs.CL

IWSLT 2026 동시 음성 번역 과제를 위한 MLLP-VRAIN UPV 시스템

MLLP-VRAIN UPV system for the IWSLT 2026 Simultaneous Speech Translation task

본 연구는 IWSLT 2026 동시 음성 번역(Simultaneous Speech Translation) 트랙 공유 과제에 MLLP-VRAIN 연구 그룹이 참가한 내용을 기술한다. 우리 제출 시스템은 최근 공개된 Parakeet 및 Qwen 3.5 모델을 활용하여, 적응형 "블랙박스(black-box)" 정책을 통해 장문 동시 음성 번역(SimulST)을 위한 견고한 계단식(cascaded) 솔루션을 구축한다. 더 나은 품질-지연(latency) 트레이드오프를 달성하기 위해 이러한 정책의 완화를 탐색한다. 작년과 비교하여 모든 언어 방향에 참가한다. 이에 더해 En→{De, It, Zh} 방향에서는 ASR word-boosting과 오프라인 사전 번역 exemplar를 활용한 RAG(검색-증강 생성) 메커니즘을 결합하여 생성을 유도하고 도메인 특화 문맥으로 시스템을 보강하는 올해의 새로운 context track에도 참가한다. 마지막으로 우리 시스템에 대한 상세한 지연(latency) 분석을 제공한다. 작년과 비교하여 MCIF En→De 테스트 세트 결과는 +5.82 XCOMET-XL의 상당한 품질 향상을 보여준다. context track 처리는 성능을 추가로 +1.03만큼 더 향상시킨다.

arXiv:2606.16009v2cs.CL

사용성 격차를 메우기: 기계 통역 설계를 위한 통역학 연구의 교훈

Bridging the Usability Gap: Lessons from Interpreting Studies for Machine Interpreting Design

기계 통역(MI)은 음성 번역의 실시간 라이브 적용으로, 표준 벤치마크에서 놀라운 진전을 이루었으며 일부 시스템은 텍스트 충실도에서 인간 수준에 근접하고 있다. 그러나 사용자 경험은 통역사 중개 커뮤니케이션에 비해 여전히 크게 열세이며, 이는 우리가 정확도 환상(accuracy illusion)이라 부르는 현상을 드러낸다: 서면상으로는 정확해 보이지만 실제로는 원활하고 목표 지향적인 상호작용을 지원하지 못하는 시스템이다. 본 논문은 MI를 음성 번역의 독립적인 하위 분야로 정의하고, 고유한 특성과 고립된 충실도 지표가 아닌 의사소통 효과성에 기반한 평가 방법의 필요성을 제시한다. 통역학 연구의 통찰을 바탕으로, 현재 시스템이 간과하는 전문 통역 실무의 핵심 차원을 식별하고, 이를 미래 MI를 위한 세 가지 상호 의존적인 설계 우선순위로 통합한다: 에이전시(agency)(맥락 민감적 주도성과 수정), 그라운딩(grounding)(다중모달 및 담화 수준의 상황 인식), 경험(experience)(실제 상호작용을 통한 적응적 개선). 이러한 우선순위들은 함께 사용성 격차를 해소하고 실시간으로 진정한 다국어 의사소통을 지속할 수 있는 시스템을 가능하게 하는 경로를 제시한다.

arXiv:2606.12911v1cs.CL

PiDA: 견고한 베트남어 음성 번역을 위한 음운 정보 기반 데이터 증강

PiDA: Phonetically-Informed Data Augmentation for Robust Vietnamese Speech Translation

캐스케이드 음성 번역(ST) 시스템은 자동 음성 인식(ASR)이 부정확한 전사 텍스트를 출력할 경우 오류 전파 문제가 발생합니다. 우리는 베트남어 ST에 대한 ASR 오류의 최초의 체계적인 분류를 제시하며, 치환 오류를 음운적 원인별로 분류하고 선형 혼합 효과 모델링을 사용하여 하류 신경망 기계 번역(NMT) 성능에 미치는 영향을 정량화합니다. 대부분의 ASR 치환 오류는 무작위 노이즈가 아닌 음운적 혼동에서 기인하며, 이러한 음운 오류가 ST 품질을 유의미하게 저하시킴을 확인하였습니다. 이러한 발견에 착안하여, 음운 단어 임베딩을 사용하여 단어를 음운적으로 유사한 대안으로 치환함으로써 ASR과 유사한 오류를 생성하는 음운 정보 기반 데이터 증강(Phonetically-Informed Data Augmentation, PiDA)을 제안합니다. FLEURS 베트남어-영어 데이터셋의 PiDA 증강 버전에 대해 미세조정을 수행한 결과, 오류가 있는 ASR 출력의 번역 성능이 개선되었으며(표준 미세조정 대비 최대 +2.04 BLEU), 정제된 텍스트(clean-text) 성능 또한 약간 향상되었습니다.