HandReader: 효율적인 지문자 인식을 위한 고급 기법
HandReader: Advanced Techniques for Efficient Fingerspelling Recognition
지문자는 수어(SL)의 중요한 구성 요소로, 고유명사를 표현할 수 있게 하며 수화 중 빠른 손동작이 특징이다. 기존의 지문자 인식 연구는 영상의 시간 차원을 처리하는 데 초점을 맞추어 왔으나, 이러한 접근법의 정확도를 개선할 여지는 여전히 남아 있다. 본 논문은 지문자 인식 과제를 해결하기 위해 설계된 세 가지 아키텍처의 묶음인 HandReader를 소개한다. HandReader$_{RGB}$는 새로운 시간 이동 적응 모듈(TSAM)을 사용하여 길이가 다양한 영상의 RGB 특징을 처리하면서 중요한 순차 정보를 보존한다. HandReader$_{KP}$는 키포인트를 텐서로 다루는 제안된 시간적 자세 인코더(TPE)를 기반으로 한다. 이러한 키포인트를 배치로 구성하면 인코더가 이를 2D 및 3D 합성곱 계층에 통과시켜 시간 및 공간 정보를 활용하고 키포인트 좌표를 누적할 수 있다. 또한 RGB와 키포인트 양식의 이점을 모두 얻기 위해 결합 인코더를 갖춘 아키텍처인 HandReader_RGB+KP도 소개한다. 각 HandReader 모델은 고유한 장점을 지니며 ChicagoFSWild 및 ChicagoFSWild+ 데이터셋에서 최고 수준의 결과를 달성한다. 더불어 본 논문에서 제시하는 러시아 지문자 최초의 공개 데이터셋인 Znaki에서도 모델들이 높은 성능을 보인다. Znaki 데이터셋과 HandReader 사전 학습 모델은 공개되어 있다.