Modeling Confidence in Sequence-to-Sequence Models
원문 초록
Recently, significant improvements have been achieved in various natural language processing tasks using neural sequence-to-sequence models. While aiming for the best generation quality is important, ultimately it is also necessary to develop models that can assess the quality of their output. In this work, we propose to use the similarity between training and test conditions as a measure for models' confidence. We investigate methods solely using the similarity as well as methods combining it with the posterior probability. While traditionally only target tokens are annotated with confidence measures, we also investigate methods to annotate source tokens with confidence. By learning an internal alignment model, we can significantly improve confidence projection over using state-of-the-art external alignment tools. We evaluate the proposed methods on downstream confidence estimation for machine translation (MT). We show improvements on segment-level confidence estimation as well as on confidence estimation for source tokens. In addition, we show that the same methods can also be applied to other tasks using sequence-to-sequence models. On the automatic speech recognition (ASR) task, we are able to find 60% of the errors by looking at 20% of the data.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TASK AWARE MULTI-TASK LEARNING FOR SPEECH TO TEXT TASKS
IWSLT 2026 인스트럭션 팔로잉 태스크를 위한 NAVER LABS 시스템 재구현
NAVER LABS System Re-implementation for the IWSLT 2026 Instruction-Following Task
우리는 NAVER LABS의 IWSLT 2025 인스트럭션 팔로잉 파이프라인을 IWSLT 2026 공유 태스크(제한 조건, 단음원 트랙)에 맞게 재구현하며, 지정된 구성 요소인 음성 인코더로서의 SeamlessM4T-v2-large와 대규모 언어 모델(LLM) 백본으로서의 Qwen3-4B-Instruct에 적응시킨다. 프로젝터 정렬, 텍스트 전용 LoRA 사전학습, 멀티모달 병합으로 이루어진 3단계 접근 방식은 원래 설계에서 그대로 유지된다. 또한 제공된 말뭉치로부터 열 가지 음성 중심 태스크 유형(태스크당 1만 개)에 걸쳐 총 10만 개의 합성 인스트럭션 팔로잉 예시를 구축하며, 이는 추가적인 3단계 미세조정에 적합하다. 우리의 주요 모델은 MCIF 벤치마크에서 EN-ZH 음성 번역에 대해 COMET 0.781을, 영어 SQA에 대해 BERTScore-F1 0.346을 달성한다.
실시간 문장 수준 수어 번역을 향하여
Toward Real-Time Sentence-Level Sign Language Translation
대부분의 수어 이해 시스템은 개별 수어 단위로 동작하여 자연스러운 의사소통에서의 활용이 제한적이다. 본 연구는 새로운 번역 아키텍처 제안보다 실시간 배포를 주요 목표로 삼아 문장 수준 수어 번역(SLT)을 연구한다. 컴퓨팅 및 저장 용량 제약으로 인해 How2Sign에서 균일 샘플링한 9,872개 예시 서브셋을 대상으로 SHuBERT를 동결한 채 QLoRA를 적용하여 SHuBERT-ByT5 번역 스택을 파인튜닝하였다. 모델은 검증 BLEU 16.7을 달성하였으며, 테스트 분할에서 BLEU 15.9, BLEURT 44.7을 기록하였다. 본 논문의 주요 기여는 하드웨어 인식 스트리밍 시스템이다. Raspberry Pi 4B 레퍼런스 클라이언트가 카메라 캡처, 로컬 텍스트 표시, 음성 출력을 담당하고, 연산 집약적인 인식 및 번역은 CPU/GPU 백엔드에서 처리된다. 캡처 프로토콜은 클라이언트에 무관하게 설계되어 동일한 백엔드가 브라우저, 휴대폰, 노트북을 모두 지원할 수 있다. 청크 단위 수집, 제한된 큐, 병렬화된 인식, 시간적 재정렬, 문장 경계 상태 기계를 적용하여 전체 9,872개 예시 작업 서브셋에서 평균 최종화 후 응답 지연 시간을 1.873초에서 1.354초로(27.71%), P95 지연 시간을 2.919초에서 2.130초로(27.03%) 단축하였다.
STEB: A Speech-to-Speech Translation Expressiveness Benchmark for Evaluating Beyond Translation Fidelity
Measuring User's Mental Models of Speech Translation in Human-AI Collaboration
Transformer Based Punctuation Restoration for Turkish
토론
이 논문과 연결된 포럼 글이 아직 없습니다.