SignRAG: 통합 검색-증강 기반 글로스 프리 수어 번역
SignRAG: Unified Retrieval-Augmented Gloss-Free Sign Language Translation
한국어 초록
최신 디코더 전용 대규모 언어 모델(LLM)은 광범위한 도메인에서 강력한 역량을 입증해 왔습니다. 그러나 글로스 프리(gloss-free) 수어 번역(SLT)을 위한 기존 사전학습 패러다임은 대부분 전통적인 인코더-디코더 기반 사전학습 언어 모델을 중심으로 설계되어 있어, 디코더 전용 LLM에 직접 적용하는 데 한계가 있습니다. 이러한 한계를 해결하기 위해 계층적 사전학습, 타깃 도메인 검색-증강(retrieval augmentation), 검색 인식 강화 미세조정(fine-tuning)을 결합한 통합 프레임워크인 SignRAG를 제안합니다. 계층적 사전학습은 먼저 언어학적으로 기반을 둔(linguistically grounded) 수어 표현을 학습한 후 수어 인코더와 LLM을 공동으로 정렬하여 모달리티 간 최적화 불균형을 완화합니다. 다운스트림 적응을 위해 SignRAG는 매개변수 기반 미세조정을 인스턴스별 번역 단서를 제공하는 타깃 도메인 검색 갤러리로 보완합니다. 나아가 검색된 컨텍스트가 적절하게 활용되도록 번역 품질 보상과 검색 유용성 보상을 결합하여 유익한 검색 활용은 장려하고 유해한 의존은 억제하는 검색 유용성 유도 강화 미세조정(RUG-RFT)을 도입합니다. 여러 SLT 벤치마크에서의 실험을 통해 새로운 최고 성능(SOTA)을 달성했습니다. 특히 우리가 아는 한, SignRAG는 CSL-Daily에서 보고된 모든 평가 지표에 걸쳐 글로스 지도(gloss-supervised) 방식을 능가한 최초의 글로스 프리 접근법입니다. 향후 학술 연구를 지원하기 위해 다양한 크기의 모델과 함께 코드가 \href{https://github.com/shahelaojieraozhi/SignRAG}{GitHub}에 공개되었습니다.
원문 초록
Contemporary decoder-only large language models (LLMs) have demonstrated strong capabilities across a wide range of domains. However, existing pretraining paradigms for gloss-free sign language translation (SLT) are largely designed around conventional encoder-decoder pretrained language models, which limits their direct applicability to decoder-only LLMs. To address this limitation, we propose SignRAG, a unified framework combining hierarchical pretraining, target-domain retrieval augmentation, and retrieval-aware reinforcement fine-tuning. Hierarchical pretraining first learns linguistically grounded sign representations and then jointly aligns the sign encoder with an LLM, mitigating cross-modal optimization imbalance. For downstream adaptation, SignRAG complements parameter-based fine-tuning with a target-domain retrieval gallery that provides instance-specific translation cues. To ensure that retrieved contexts are used appropriately, we further introduce Retrieval Utility-Guided Reinforcement Fine-Tuning (RUG-RFT), which combines translation-quality and retrieval-utility rewards to encourage beneficial retrieval use while suppressing harmful reliance. Experiments on multiple SLT benchmarks establish new state-of-the-art performance. In particular, to the best of our knowledge, SignRAG is the first gloss-free approach to outperform gloss-supervised methods across all reported metrics on CSL-Daily. Our code has been released at \href{https://github.com/shahelaojieraozhi/SignRAG}{GitHub}, together with models of different sizes to support future academic research.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.