IMU 센서 기반 필기 궤적 재구성을 위한 전문가 혼합(MoE)
Mixture-of-experts for handwriting trajectory reconstruction from IMU sensors
한국어 초록
온라인 필기 궤적 재구성을 위한 전자펜의 활용은 인간-컴퓨터 상호작용(HCI) 분야에서 널리 쓰이는 방식입니다. 본 연구에서는 센서가 탑재된 전자펜을 활용하여 온라인 필기 궤적을 재구성하는 데 초점을 맞춥니다. 이 펜은 어떤 표면에서든 필기가 가능하며 필적의 디지털 자취를 보존할 수 있습니다. 이러한 형태의 펜은 교실에서 글쓰기 학습 보조 도구로 활용될 수 있습니다. 본 논문에서는 다음 터치 자취를 정확히 위치시키기 위해 호버링(공중 이동) 구간을 정밀하게 분석하면서, 표면에 닿는 터치 궤적을 미세하게 재구성하도록 학습하는 새로운 접근 방식을 제안합니다. 이는 전문가 혼합(MoE) 방식을 기반으로 합니다. 첫 번째 전문가는 펜의 터치에 특화되어 있으며 터치 전문가 모델(touching expert model)로 명명됩니다. 두 번째 전문가는 펜의 호버링 궤적에 특화되어 있으며 호버링 전문가 모델(hovering expert model)로 명명됩니다. 본 연구에서는 추가적인 컨텍스트 또는 특정 예시를 바탕으로 이들 각 전문가의 학습을 개선합니다. 또한 필기 재구성 분야의 향후 연구 및 성능 비교를 지원하기 위해 새로운 공개 벤치마크 데이터셋을 소개합니다. 실험 결과는 주요 경쟁 방식들에 비해 유의미한 성능 향상을 입증합니다.
원문 초록
The use of digital pens for online handwriting trajectory reconstruction is a prevalent method for human-computer interaction. In this study, we focus on a digital pen equipped with sensors where we aim at reconstructing the online handwriting trajectory. This pen enables writing on any surface and preserving the digital trace of handwriting. This type of pen could be used as an aid to learning to write in classroom. In this paper, we propose a new approach learning to finely reconstruct the touching trajectories while precisely analyzing the hovering part in order to position the next touching trace correctly. This relies on a Mixture-Of-Experts (MOE) approach. The first expert is dedicated for the pencil touch, and is named touching expert model. The second one is dedicated for the hovering pen trajectory, and is named hovering expert model. We improve on the learning of each of these experts based on additional context or specific examples. In addition we introduce a novel public benchmark dataset, to enable future research and comparisons in the field of handwriting reconstruction. The results demonstrates a significant enhancement compared to its primary competitors.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.26708v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.