Bukva: 러시아 수어 알파벳
Bukva: Russian Sign Language Alphabet
본 논문은 러시아 수어(RSL) 지문자(dactyl)로도 알려진 러시아 지문자 알파벳의 인식을 연구한다. 지문자는 수어의 구성 요소로서, 서로 다른 손동작이 문자 언어의 개별 글자를 나타낸다. 이 방법은 고유명사나 전문 용어처럼 고유한 수어 표현이 없는 단어를 철자로 표현하는 데 사용된다. 알파벳 학습 시뮬레이터는 고립 지문자 인식의 핵심 응용이다. 고립 지문자 인식에는 데이터 부족이라는 뚜렷한 문제가 있다. 기존 러시아 지문자 데이터셋은 피험자 다양성이 부족하거나, 표본이 불충분하거나, 정적 수어만 포함한다. 우리는 RSL 지문자 인식을 위한 최초의 본격적인 오픈소스 비디오 데이터셋인 Bukva를 제공한다. 이 데이터셋은 동적 수어를 포함하여 RSL 알파벳 기호마다 101개 이상의 표본이 있는 3,757개의 비디오로 구성된다. 피험자 다양성을 높이기 위해 크라우드소싱 플랫폼을 활용했으며, 그 결과 청각장애인 및 난청 전문가 155명이 데이터셋 제작에 참여했다. 정적 및 동적 수어를 효과적으로 처리하기 위해 TSM(Temporal Shift Module) 블록을 사용하여, CPU만으로 실시간 추론을 하면서 top-1 정확도 83.6%를 달성했다. 데이터셋, 데모 코드, 사전학습된 모델은 공개되어 있다.