WSRNet: Joint Spotting and Recognition of Handwritten Words
원문 초록
In this work, we present a unified model that can handle both Keyword Spotting and Word Recognition with the same network architecture. The proposed network is comprised of a non-recurrent CTC branch and a Seq2Seq branch that is further augmented with an Autoencoding module. The related joint loss leads to a boost in recognition performance, while the Seq2Seq branch is used to create efficient word representations. We show how to further process these representations with binarization and a retraining scheme to provide compact and highly efficient descriptors, suitable for keyword spotting. Numerical results validate the usefulness of the proposed architecture, as our method outperforms the previous state-of-the-art in keyword spotting, and provides results in the ballpark of the leading methods for word recognition.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Sparse Binarization for Fast Keyword Spotting
BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance
이진화된 스펙트럼 압축 영상
Binarized Spectral Compressive Imaging
초분광 영상(HSI) 복원을 위한 기존 딥러닝 모델은 우수한 성능을 달성하지만, 막대한 메모리와 연산 자원을 갖춘 고성능 하드웨어를 필요로 한다. 따라서 이러한 방법은 자원이 제한된 모바일 기기에 배포하기 어렵다. 본 논문에서는 스냅샷 압축 영상(SCI) 시스템에서 압축된 측정값으로부터 효율적이고 실용적으로 HSI를 복원하기 위한 새로운 방법인 이진화 스펙트럼 재분배 네트워크(BiSRNet)를 제안한다. 먼저 이진화에 적합하도록 간결하고 배포하기 쉬운 기본 모델을 재설계한다. 이어서 기본 단위인 이진화 스펙트럼 재분배 합성곱(BiSR-Conv)을 제시한다. BiSR-Conv는 활성화를 이진화하기 전에 HSI 표현을 적응적으로 재분배하며, 역전파에서 확장 가능한 쌍곡탄젠트 함수를 사용하여 Sign 함수를 더 가깝게 근사한다. BiSR-Conv를 바탕으로 차원 불일치를 해결하고 전체 네트워크에 걸쳐 완전 정밀도 정보를 전달하기 위한 네 가지 이진화 합성곱 모듈을 맞춤 설계한다. 마지막으로 제안한 기법들을 사용하여 기본 모델을 이진화함으로써 BiSRNet을 도출한다. 포괄적인 정량적·정성적 실험을 통해 제안한 BiSRNet이 최신 이진화 방법들을 능가하며 완전 정밀도 알고리즘과 대등한 성능을 달성함을 보인다. 코드와 모델은 https://github.com/caiyuanhao1998/BiSCI 및 https://github.com/caiyuanhao1998/MST 에서 공개되어 있다. 온라인 Gradio 데모는 Hugging Face의 https://huggingface.co/spaces/CaiYuanhao/MST 에서 이용할 수 있다.
Advances in Small-Footprint Keyword Spotting: A Comprehensive Review of Efficient Models and Algorithms
GLAP: General contrastive audio-text pretraining across domains and languages
A Sample Efficient Conditional Independence Test in the Presence of Discretization
토론
이 논문과 연결된 포럼 글이 아직 없습니다.