동시 수어 번역(Simultaneous Sign Language Translation, SLT)은 실시간 소통에 매우 중요하지만, 기존 방법들은 사전 분절된 입력을 가정하는 문장 단위의 오프라인 환경에 대체로 국한되어 있습니다. 이러한 가정은 연속적이고 분절되지 않은 비디오 스트림이 수반되는 실제 환경에서의 배포를 저해합니다. 본 논문에서는 실제 스트리밍 환경에 맞추어 학습(training)과 추론(inference)을 정렬하는, 분절되지 않은 장문 수어 비디오 대상의 동시 SLT를 위한 통합 프레임워크인 ReSCUE를 제시합니다. ReSCUE는 부분적 입력, 비수어 휴지기, 다중 문장 문맥을 처리하기 위한 추론 인지 학습, 출력 깜빡임(flicker)을 줄이면서도 수정 가능한 예측을 통해 저지연을 가능하게 하는 안정화된 재번역, 그리고 온라인 분절 및 메모리 관리를 위한 문장 확정(sentence commitment) 메커니즘을 결합합니다. 표준 문장 단위 벤치마크에서의 실험 결과, ReSCUE는 저지연 환경에서 더 낮은 지연 시간과 최고의 번역 품질을 달성함을 보여줍니다. 또한 분절되지 않은 장문 데이터셋에서 ReSCUE는 정답(ground-truth) 문장 경계를 사용하는 오라클 오프라인 시스템의 번역 품질에 근접하면서도 훨씬 낮은 지연 시간으로 동작하여, 실제 스트리밍 시나리오에서의 실용성을 입증합니다.
동시 음성 번역(SimulST)은 엄격한 지연 시간 제약 하에서 점진적 번역을 요구하지만, 제한된 문맥과 언어 간 재배열로 인해 디코더 전용 LLM 시스템에게 여전히 어려운 과제로 남아 있다. 최근 접근법들은 출력 타이밍을 제어하기 위해 아키텍처 변경이나 명시적인 read/write 정책을 도입하는 경우가 많으며, 이는 분할 경계가 모호한 대화형 음성에서는 취약할 수 있다. 우리는 간단한 데이터 기반 대안을 제안한다: 되감기(rewind) 기반 확정 접두 문맥을 갖춘 누적 스트리밍 디코딩을 위한 고정 길이 청크, 그리고 미세조정을 위한 유한 대기(bounded waiting)가 적용된 교사 라벨 접두 문맥 대 접두 문맥(P2P) 타깃으로, 이를 통해 CSSEL-P2P를 만든다. CSSEL은 우리가 제안한 chunked streaming speech encoder LLM이다. 사내 대화형 음성 평가에서 CSSEL-P2P는 유사한 지연(+0.15s Average Lagging)에서 CSSEL 스트리밍 기준선 대비 스트리밍 품질을 COMETKiwi +1.54만큼 향상시켰으며, P2P supervision을 통한 아키텍처 변경 없이도 효과적인 SimulST가 가능함을 시사한다.
본 연구는 IWSLT 2026 동시 음성 번역(Simultaneous Speech Translation) 트랙 공유 과제에 MLLP-VRAIN 연구 그룹이 참가한 내용을 기술한다. 우리 제출 시스템은 최근 공개된 Parakeet 및 Qwen 3.5 모델을 활용하여, 적응형 "블랙박스(black-box)" 정책을 통해 장문 동시 음성 번역(SimulST)을 위한 견고한 계단식(cascaded) 솔루션을 구축한다. 더 나은 품질-지연(latency) 트레이드오프를 달성하기 위해 이러한 정책의 완화를 탐색한다. 작년과 비교하여 모든 언어 방향에 참가한다. 이에 더해 En→{De, It, Zh} 방향에서는 ASR word-boosting과 오프라인 사전 번역 exemplar를 활용한 RAG(검색-증강 생성) 메커니즘을 결합하여 생성을 유도하고 도메인 특화 문맥으로 시스템을 보강하는 올해의 새로운 context track에도 참가한다. 마지막으로 우리 시스템에 대한 상세한 지연(latency) 분석을 제공한다. 작년과 비교하여 MCIF En→De 테스트 세트 결과는 +5.82 XCOMET-XL의 상당한 품질 향상을 보여준다. context track 처리는 성능을 추가로 +1.03만큼 더 향상시킨다.
동시 음성 대 음성 번역(S2ST)에서 낮은 지연 시간 추구로 인한 불연속적인 음성 흐름 문제를 해결하기 위해, 모델 내부 신호를 활용해 청크 간 침묵을 최소화하는 유창성 인식 최적화 프레임워크를 제안한다. 이 방법은 다양한 벤치마크에서 자연스러운 음성 흐름을 구현하면서도 경쟁력 있는 지연 시간과 번역 품질을 유지한다.