arXiv:2611.19375v1 cs.CL

CausalGloss: 중국어 음성을 미국 수어 글로스로 동시 번역하는 연쇄 시스템의 다중 근거 기반 행동 제어

CausalGloss: Multi-Evidence Action Control for a Simultaneous Mandarin Speech-to-ASL Gloss Cascade

Mingze Li, Satoshi Nakamura

제출 2026-11-17

한국어 초록

중국어 음성을 미국 수어(ASL) 글로스, 즉 수어 동작의 텍스트 표기로 동시에 번역하려면, 진행 중인 발화에서 각 글로스를 언제 확정할 수 있는지 판단해야 한다. 고정 Wait-k는 원문과 글로스 사이의 어순 변경에 적응하지 못하고, 참조 이력만 사용해 학습하면 노출 편향이 생긴다. 본 연구는 중국어 음성 연쇄 시스템에서 영어 접두 문맥을 ASL 글로스로 바꾸는 행동 정책 CausalGloss를 제시한다. 어휘 및 의미 근거, 제한된 대기 시간, 부정 표현 제약, 글로스를 한꺼번에 쓰는 WRITE 행동, 불완전한 이력에서의 복구를 결합한다. LLM이 생성한 약한 참조를 갖는 How2Sign 기반 고정 예제 500개의 벤치마크에서, CausalGloss는 고정 Wait-k의 성능 경계를 개선했다. k = 5에서 시드 세 개로 학습한 TransLLaMA 방식의 적응형 기준선과 토큰 F1이 비슷했으며(0.7047 대 0.7067), LAAL은 54.4% 낮았다. 사람이 작성한 CLERC Epee 글로스 참조에 대해서는 토큰 F1 0.649를 달성했다. 시드 세 개의 TransLLaMA 방식 k = 5 및 고정 k = 5, 7 기준선을 파레토 지배하면서 LAAL을 58.2~69.9% 줄였다. 구성 요소 제거 실험은 출력 시점의 효과와 내용 보존의 효과를 구분한다. 합성 중국어 음성 연쇄에서도 계산 비용을 고려한 지연 시간 개선이 작게나마 유지됐으나, 출력은 여전히 지나치게 길었다. 발화 19,924개, 총 36.54시간의 통제 평가 말뭉치 ChineseSpeech-ASLGloss-v1도 구축했다.

원문 초록

Simultaneous Mandarin speech-to-American Sign Language (ASL) gloss translation requires deciding when an evolving utterance supports committing each gloss. Fixed Wait-k cannot adapt to source-gloss reordering, while training only on reference histories causes exposure bias. We present CausalGloss, an English-prefix-to-ASL-gloss action policy for a Mandarin-speech cascade. It combines lexical and semantic evidence, bounded delay, negation constraints, burst WRITE actions, and incomplete-history recovery. On a frozen 500-example How2Sign-derived benchmark with weak LLM-generated references, CausalGloss improves the fixed Wait-k frontier and nearly matches a three-seed TransLLaMA-style learned adaptive baseline at k = 5 in Token F1 (0.7047 versus 0.7067), with 54.4% lower LAAL. Against CLERC Epee human-gloss references, it achieves 0.649 Token F1 and Pareto-dominates three-seed TransLLaMA-style k = 5 and fixed k = 5, 7, reducing LAAL by 58.2-69.9%. Ablations separate timing from retention. A synthetic Mandarin-speech cascade preserves a smaller computation-aware latency gain, although outputs remain over-long. We also construct ChineseSpeech-ASLGloss-v1, a 19,924-utterance, 36.54-h controlled evaluation corpus.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19375v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.