PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.22494v1cs.AI

동영상 기반 심층 학습 수화 인식 및 인도 방언으로의 교차 언어 번역

Deep Learning-Based Sign Language Recognition from Videos and Cross-Lingual Translation to Indian Vernaculars

수화는 전 세계 청각 장애인 및 난청인 커뮤니티의 주요 의사소통 수단이지만, 동영상에서 수화 제스처를 인식하고 이를 자연어 텍스트로 번역하는 자동화 도구는 여전히 제한적이며, 특히 저자원(low-resource) 인도 언어에 대해서는 더욱 그렇다. 우리는 2단계 심층 학습 파이프라인을 제안한다. 이 파이프라인은 (i) 파인튜닝(fine-tuning)된 VideoMAE 동영상 트랜스포머를 사용하여 짧은 수화 동영상 클립을 영어 단어 레이블로 분류하고, (ii) Meta AI의 No Language Left Behind(NLLB-200) 다국어 번역 모델을 사용하여 예측된 영어 레이블을 힌디어, 텔루구어, 벵골어로 번역한다. 분류 모델은 IIT Madras의 AI4Bharat 인도 수어 동영상 코퍼스의 13개 클래스 부분집합에서 파인튜닝되며, 각 동영상에서 균일하게 샘플링한 16프레임 클립을 224 x 224 해상도로 처리한다. 소규모 학술 설정(13개 클래스, 197개 클립, 80-20 분할)에서 파인튜닝된 모델은 15 에포크 후 99% 학습(training) 정확도와 78% 검증(validation) 정확도에 도달한다. 혼동 행렬과 분류 보고서를 통해 클래스별 세부 분석을 제공하고, 지배적인 실패 모드(ugly, deaf, blind, hat, dress와 같이 혼동되기 쉬운 형용사 쌍 등)를 식별하며, 사용자가 업로드한 동영상을 입력받아 예측된 영어 레이블과 그에 대한 힌디어, 텔루구어, 벵골어 번역을 반환하는 Streamlit 기반 추론 데모를 설명한다. 적용 범위, 한계(작은 레이블 집합, 연속 수화가 아닌 고립 단어 방식, 단일 수화자 스타일 민감성, 단일 단어 기계 번역의 모호성), 그리고 문장 수준 생성 및 더 큰 어휘로 확장하는 것을 포함한 향후 연구 방향을 논의한다. 재현 가능성을 위해 코드를 공개한다.