arXiv:1503.05830

Sign Language Fingerspelling Classification from Depth and Color Images using a Deep Belief Network

Lucas Rioux-Maldague, Philippe Giguère

제출 2015-03-19

원문 초록

Automatic sign language recognition is an open problem that has received a lot of attention recently, not only because of its usefulness to signers, but also due to the numerous applications a sign classifier can have. In this article, we present a new feature extraction technique for hand pose recognition using depth and intensity images captured from a Microsoft Kinect sensor. We applied our technique to American Sign Language fingerspelling classification using a Deep Belief Network, for which our feature extraction technique is tailored. We evaluated our results on a multi-user data set with two scenarios: one with all known users and one with an unseen user. We achieved 99% recall and precision on the first, and 77% recall and 79% precision on the second. Our method is also capable of real-time sign classification and is adaptive to any environment or lightning intensity.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2410.08675v2cs.CV공통 태그 Sign Language Recognition공식 코드 · Papers with Code

Bukva: 러시아 수어 알파벳

Bukva: Russian Sign Language Alphabet

본 논문은 러시아 수어(RSL) 지문자(dactyl)로도 알려진 러시아 지문자 알파벳의 인식을 연구한다. 지문자는 수어의 구성 요소로서, 서로 다른 손동작이 문자 언어의 개별 글자를 나타낸다. 이 방법은 고유명사나 전문 용어처럼 고유한 수어 표현이 없는 단어를 철자로 표현하는 데 사용된다. 알파벳 학습 시뮬레이터는 고립 지문자 인식의 핵심 응용이다. 고립 지문자 인식에는 데이터 부족이라는 뚜렷한 문제가 있다. 기존 러시아 지문자 데이터셋은 피험자 다양성이 부족하거나, 표본이 불충분하거나, 정적 수어만 포함한다. 우리는 RSL 지문자 인식을 위한 최초의 본격적인 오픈소스 비디오 데이터셋인 Bukva를 제공한다. 이 데이터셋은 동적 수어를 포함하여 RSL 알파벳 기호마다 101개 이상의 표본이 있는 3,757개의 비디오로 구성된다. 피험자 다양성을 높이기 위해 크라우드소싱 플랫폼을 활용했으며, 그 결과 청각장애인 및 난청 전문가 155명이 데이터셋 제작에 참여했다. 정적 및 동적 수어를 효과적으로 처리하기 위해 TSM(Temporal Shift Module) 블록을 사용하여, CPU만으로 실시간 추론을 하면서 top-1 정확도 83.6%를 달성했다. 데이터셋, 데모 코드, 사전학습된 모델은 공개되어 있다.

arXiv:2505.10267v2cs.CV공통 태그 Sign Language Recognition공식 코드 · Papers with Code

HandReader: 효율적인 지문자 인식을 위한 고급 기법

HandReader: Advanced Techniques for Efficient Fingerspelling Recognition

지문자는 수어(SL)의 중요한 구성 요소로, 고유명사를 표현할 수 있게 하며 수화 중 빠른 손동작이 특징이다. 기존의 지문자 인식 연구는 영상의 시간 차원을 처리하는 데 초점을 맞추어 왔으나, 이러한 접근법의 정확도를 개선할 여지는 여전히 남아 있다. 본 논문은 지문자 인식 과제를 해결하기 위해 설계된 세 가지 아키텍처의 묶음인 HandReader를 소개한다. HandReader$_{RGB}$는 새로운 시간 이동 적응 모듈(TSAM)을 사용하여 길이가 다양한 영상의 RGB 특징을 처리하면서 중요한 순차 정보를 보존한다. HandReader$_{KP}$는 키포인트를 텐서로 다루는 제안된 시간적 자세 인코더(TPE)를 기반으로 한다. 이러한 키포인트를 배치로 구성하면 인코더가 이를 2D 및 3D 합성곱 계층에 통과시켜 시간 및 공간 정보를 활용하고 키포인트 좌표를 누적할 수 있다. 또한 RGB와 키포인트 양식의 이점을 모두 얻기 위해 결합 인코더를 갖춘 아키텍처인 HandReader_RGB+KP도 소개한다. 각 HandReader 모델은 고유한 장점을 지니며 ChicagoFSWild 및 ChicagoFSWild+ 데이터셋에서 최고 수준의 결과를 달성한다. 더불어 본 논문에서 제시하는 러시아 지문자 최초의 공개 데이터셋인 Znaki에서도 모델들이 높은 성능을 보인다. Znaki 데이터셋과 HandReader 사전 학습 모델은 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.