arXiv:2610.00881v1 cs.CV

수어를 위한 기계 번역

Machine Translation for Sign Languages

Ozge Mercanoglu Sincan, Anton Pelykh, Edward Fish, Harry Walsh, JianHe Low, Karahan Sahin, Oline Ranum, Sobhan Asasi, Steven Emery, Richard Bowden

제출 2026-10-01

저자 비고

arXiv Comments

Accepted for publication in the Annual Review of Linguistics, Volume 13

한국어 초록

수어 기계 번역(machine translation)은 지난 10년간 고립 수어 인식에서 종단간(end-to-end) 번역 시스템으로 발전하며 상당한 진전을 이루어 왔다. 포즈 추정, 트랜스포머(transformer) 아키텍처, 대규모 데이터셋(dataset) 수집의 발전이 이러한 진전을 이끌었지만, 여전히 과제가 남아 있다. 데이터셋은 음성 언어 자원에 비해 제한적이며, 평가 지표는 출력물의 언어적 품질을 충분히 포착하지 못하고, 모델은 수어의 동시적이고 다층적이며 3차원적인 구조를 포착해야 한다. 본 논문은 기술적 과제와 이해관계자 고려사항 간의 균형을 추구하는 포괄적인 리뷰를 제공한다. 우리는 수어를 계산적으로 독특하게 만드는 언어학적 특성을 살펴보고, 인식, 번역, 생성 시스템의 발전 과정을 추적하며, 현재진행 중인 기술적 과제를 분석한다. 결정적으로, 우리는 데이터 거버넌스, 커뮤니티 참여, 적절한 사용에 관한 윤리적 고려사항을 다룬다. 컴퓨터 비전, 수어 언어학, 농인학(deaf studies)을 아우르는 학제간 관점을 바탕으로, 우리의 분석은 지속적인 진전을 위해서는 이러한 분야들 간, 그리고 농인 커뮤니티와의 지속적인 협력이 필요함을 강조한다.

원문 초록

Sign language machine translation has progressed substantially over the past decade, evolving from isolated sign recognition to end-to-end translation systems. Advances in pose estimation, transformer architectures, and large-scale dataset collection have driven progress, yet challenges remain. Datasets are limited compared to spoken-language resources; evaluation metrics inadequately capture the linguistic quality of output; and models must capture the simultaneous, multi-layered, and three-dimensional structure of sign languages. This manuscript provides a comprehensive review that seeks to balance technical challenges with stakeholder considerations. We examine the linguistic properties that make sign languages computationally unique, trace the evolution of recognition, translation, and production systems, and analyze ongoing technical challenges. Crucially, we address ethical considerations around data governance, community involvement, and appropriate use. Drawing on interdisciplinary perspectives spanning computer vision, sign language linguistics, and deaf studies, our analysis emphasizes that continued progress requires sustained collaboration across these fields and with deaf communities.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00881v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.03657v1cs.CV공통 태그 Machine Translation, Pose Estimation, Sign Language Translation

ViPo-MLLM: 글로스 없는 수어 번역을 위한 시각-포즈 멀티모달 LLM

ViPo-MLLM: Visual-Pose Multimodal LLM for Gloss-Free Sign Language Translation

글로스 없는 수어 번역(SLT)은 글로스 어노테이션 없이 수어 영상을 음성 언어 문장으로 변환하는 것으로, 비용이 많이 드는 레이블링을 피할 수 있지만 손, 몸통, 얼굴 단서에 대한 세밀한 모델링이 필요하다. 기존 방법들은 단일 모달리티 또는 약하게 융합된 특징을 사용하는 경우가 많아 성능이 제한된다. 본 논문에서는 시공간 RGB와 인체 포즈 특징을 통합하는 프레임워크인 ViPo-MLLM을 제안한다. 전용 인코더가 모달리티 내부 다이나믹스를 모델링하고, 크로스 모달 어텐션이 장거리 의존성을 포착한다. 융합된 표현은 구조화된 프롬프트로 조건화되어 대조 학습 및 언어 모델링 목적 함수로 학습된 LLM에 의해 처리된다. 제안된 모델은 PHOENIX14T 및 CSL-Daily 데이터셋에서 평가되어 두 데이터셋 모두에서 새로운 최고 성능을 달성하였다. 또한 ViPo-MLLM 모델은 글로스 기반 인식 방법과 비교해서도 경쟁력 있는 성능을 달성하여, 제안된 포즈 단서와 크로스 모달 어텐션 메커니즘의 효과를 확인하였다.

arXiv:2609.25862v1cs.CL공통 태그 Pose Estimation, Sign Language Recognition

아이슬란드 수어 고립 수어 인식: 저자원 환경에서의 실험

Isolated Sign Language Recognition for Icelandic Sign Language: Experiments in a Low-resource Setting

본 논문은 아이슬란드 수어(\'ITM)에 대한 고립 수어 인식(ISLR) 최초의 실험을 제시한다. 아이슬란드어–\'ITM 이중 언어 온라인 사전에서 파생된 데이터셋인 \'ITM SignWiki를 사용한다. 이 데이터셋은 실제로 저자원 환경에 해당한다. 1,845개의 비디오가 849개 클래스를 이루며, 이 중 86%는 예시가 단 두 개뿐이어서 전체 과제는 사실상 서로 다른 수어 사용자 간의 원샷(one-shot) 인식이 된다. 어휘 크기가 점차 커지는 세 가지 과제(22개, 117개, 849개 클래스)에서 두 가지 오픈소스 ISLR 프레임워크인 OpenHands와 SPOTER를 비교하고, 세 가지 포즈 추정기와 두 가지 형태의 교차 언어 전이(cross-lingual transfer)를 평가한다. \'ITM 데이터만 사용할 경우 세 과제 모두에서 SPOTER가 OpenHands보다 우수한 성능을 보였으며, MediaPipe 포즈가 AlphaPose나 SDPose보다 더 좋은 결과를 냈다. 가장 큰 성능 향상은 교차 언어 전이에서 나타났다. \'ITM으로 파인튜닝하기 전에 미국 수어 데이터로 SPOTER를 사전학습하면 정확도가 14~24%p 상승하여 세 과제에서 각각 72.7%, 47.9%, 22.6%에 도달했으며, 다른 여섯 개 수어의 데이터를 활용한 다국어 학습은 전체 과제에서 OpenHands의 정확도를 1.41%에서 28.86%로 끌어올렸다. 실용화 수준에는 크게 못 미치지만, 이 결과는 자원이 더 풍부한 수어로부터의 전이가 극저자원 수어에 유망함을 시사한다. 두 프레임워크를 각각 수정한 버전을 공개한다.

arXiv:2607.11215v1cs.CL공통 태그 Machine Translation, Sign Language Translation

Q-BridgeNet: 교차 언어 수어 번역을 위한 양자화 네트워크

Q-BridgeNet: A Quantization Network for Cross-Lingual Sign Language Translation

대부분의 수어 번역(SLT) 방법은 고립된 단일 언어 수어-음성 언어 쌍(예: 미국 수어 - 영어)에 초점을 맞추고 있다. 언어별 SLT 모델을 다국어 번역으로 확장하면 다양한 수어 및 음성 언어 커뮤니티 간의 의사소통이 가능해져 접근성이 향상될 수 있다. 그러나 기존의 다국어 SLT 접근법은 교차 언어 충돌을 최소화하면서 공유된 교차 언어 의미론을 포착하고 서로 다른 수어에 걸친 언어별 변이를 보존하는 통합 모델을 학습하는 데 여전히 어려움을 겪고 있다. 이에 우리는 수어 측과 음성 언어 측 모두에서 교차 언어 충돌을 공동으로 완화하는 다국어 SLT 통합 프레임워크인 Q-BridgeNet을 제안한다. 수어 측에서는 Q-BridgeNet이 적응적 분할(adaptive segmentation)과 잔차 벡터 양자화(residual vector quantization)를 통해 이산 Q-단위(Q-units)를 학습한다. 공유 기반 코드북(codebook)은 언어 독립적 의미 기본 단위를 제공하고, 언어별 잔차 코드북은 이질적인 수어 의미론을 정제한다. 음성 언어 측에서는 다국어 대규모 언어 모델(LLM)을 Q-단위 공간에서 동작하도록 파인튜닝하여 교차 언어 사전 지식을 활용함으로써 통합 SLT 모델을 구현한다. PHOENIX14T, How2Sign, CSL-Daily에 대한 실험에서 Q-BridgeNet은 교차 언어 충돌을 효과적으로 완화하여 기본 수어-음성 언어 쌍에서 최첨단 성능을 달성하는 동시에 비기본 쌍에 대해서도 강력한 일반화 성능을 보인다. 소스 코드는 https://github.com/FengLiQ/Q-BridgeNet 에서 공개적으로 이용 가능하다.

arXiv:2607.09611v1cs.CL공통 태그 Machine Translation, Sign Language Translation

실시간 문장 수준 수어 번역을 향하여

Toward Real-Time Sentence-Level Sign Language Translation

대부분의 수어 이해 시스템은 개별 수어 단위로 동작하여 자연스러운 의사소통에서의 활용이 제한적이다. 본 연구는 새로운 번역 아키텍처 제안보다 실시간 배포를 주요 목표로 삼아 문장 수준 수어 번역(SLT)을 연구한다. 컴퓨팅 및 저장 용량 제약으로 인해 How2Sign에서 균일 샘플링한 9,872개 예시 서브셋을 대상으로 SHuBERT를 동결한 채 QLoRA를 적용하여 SHuBERT-ByT5 번역 스택을 파인튜닝하였다. 모델은 검증 BLEU 16.7을 달성하였으며, 테스트 분할에서 BLEU 15.9, BLEURT 44.7을 기록하였다. 본 논문의 주요 기여는 하드웨어 인식 스트리밍 시스템이다. Raspberry Pi 4B 레퍼런스 클라이언트가 카메라 캡처, 로컬 텍스트 표시, 음성 출력을 담당하고, 연산 집약적인 인식 및 번역은 CPU/GPU 백엔드에서 처리된다. 캡처 프로토콜은 클라이언트에 무관하게 설계되어 동일한 백엔드가 브라우저, 휴대폰, 노트북을 모두 지원할 수 있다. 청크 단위 수집, 제한된 큐, 병렬화된 인식, 시간적 재정렬, 문장 경계 상태 기계를 적용하여 전체 9,872개 예시 작업 서브셋에서 평균 최종화 후 응답 지연 시간을 1.873초에서 1.354초로(27.71%), P95 지연 시간을 2.919초에서 2.130초로(27.03%) 단축하였다.

arXiv:2607.09126v1cs.CV공통 태그 Machine Translation, Sign Language Translation

VTaMo: 수어 번역을 위한 비디오-텍스트 정렬 모델

VTaMo: Video-Text Alignment Model for Sign Language Translation

수어 번역(SLT)은 연속적인 수어 영상을 음성 언어 텍스트로 변환한다. 글로스 없는(gloss-free) 방식은 사전학습된 시각 인코더와 언어 모델을 활용하지만, 번역 감독만으로부터 암묵적인 교차 모달 정렬에 의존한다. 우리는 세 단계에서 명시적 다중 세분성 정렬을 도입하는 프레임워크 VTaMo를 제안한다: (1) 세밀한 프레임-토큰 대응을 위해 학습 가능한 널 토큰을 갖춘 엔트로피 정규화 최적 수송(optimal transport)을 통한 지역 정렬; (2) Earth Mover's Distance를 통해 임베딩 공간 기하를 보정하는 학습 가능한 직교 변환을 통한 전역 정렬; (3) 판별적 토큰 수준 표현을 위한 위치 정렬 대조 학습. Phoenix-2014T, CSL-Daily, How2Sign, OpenASL에 대한 실험은 일관된 최신 성능을 보여주며, 어블레이션 연구를 통해 각 구성 요소의 상보적 기여가 확인된다. 코드는 https://github.com/junyi2005/vtamo에서 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.