시간 합성곱 신경망을 활용한 운동학 센서 기반 온라인 필기 궤적 재구성
Online Handwriting Trajectory Reconstruction from Kinematic Sensors using Temporal Convolutional Network
한국어 초록
디지털 펜을 이용한 필기는 온라인 필기(Online Handwriting, OH) 궤적 재구성을 활용하여 인간-컴퓨터 상호작용(HCI)을 촉진하는 일반적인 방식입니다. 본 연구에서는 OH 궤적을 재구성하고자 하는 센서가 장착된 디지털 펜에 초점을 맞춥니다. 이러한 펜은 어떤 표면에서든 글씨를 쓰고 디지털 흔적을 얻을 수 있게 해 주며, 종이에 글씨를 쓰는 방식으로 필기 학습을 돕거나 협업 회의 등 다양한 응용 분야에서 유용하게 쓰일 수 있습니다. 본 논문에서는 펜의 센서 신호를 해당하는 OH 궤적으로 매핑하는 새로운 처리 파이프라인을 소개합니다. 특히 지상실측(ground truth) 정보를 제공하는 태블릿과 펜 간의 샘플링 속도 차이를 해결하기 위해, 전처리 파이프라인은 신호 정렬에 동적 시간 워핑(Dynamic Time Warping)을 활용합니다. 또한 펜 센서 신호로부터 온라인 궤적을 재구성하기 위해 시간 합성곱 신경망(Temporal Convolutional Network)에서 영감을 얻은 전용 신경망 아키텍처를 도입합니다. 마지막으로 정성적 및 정량적 평가를 모두 수행한 새로운 벤치마크 데이터셋을 제시하며, 가장 주목할 만한 경쟁 모델 대비 괄목할 만한 성능 향상을 입증합니다.
원문 초록
Handwriting with digital pens is a common way to facilitate human-computer interaction through the use of Online Handwriting (OH) trajectory reconstruction. In this work, we focus on a digital pen equipped with sensors from which one wants to reconstruct the OH trajectory. Such a pen allows to write on any surface and to get the digital trace, which can help learning to write, by writing on paper, and can be useful for many other applications such as collaborative meetings, etc. In this paper, we introduce a novel processing pipeline that maps the sensor signals of the pen to the corresponding OH trajectory. Notably, in order to tackle the difference of sampling rates between the pen and the tablet (which provides ground truth information), our preprocessing pipeline relies on Dynamic Time Warping to align the signals. We introduce a dedicated neural network architecture, inspired by a Temporal Convolutional Network, to reconstruct the online trajectory from the pen sensor signals. Finally, we also present a new benchmark dataset on which our method is evaluated both qualitatively and quantitatively, showing a notable improvement over its most notable competitor.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.26733v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.