움직임에 의미 부여하기: 도구 없는 AAC와 음성 생성 메시지의 결합을 통한 의사소통 확장의 과제와 기회
Giving Meaning to Movements: Challenges and Opportunities in Expanding Communication by Pairing Unaided AAC with Speech Generated Messages
한국어 초록
보완대체의사소통(AAC) 기술은 두 가지 형태로 분류된다. 하나는 음성 생성 시스템 같은 외부 장치를 사용해 표준화된 출력을 생성하는 보조기기 기반 AAC이고, 다른 하나는 자연스러운 표현을 위해 신체 기반 제스처에 의존하지만 상호 이해가 필요한 도구 없는 AAC이다. 우리는 도구 없는 AAC의 속도와 자연스러움을 활용하면서 보조기기 기반 AAC의 명료성을 유지하도록 두 접근을 결합하는 방법을 연구하며, 이는 의사소통 및 운동 장애가 있는 사람들에게 대체로 탐구되지 않은 영역이다. AAC 사용자와 함께한 18개월간의 참여적 설계를 통해 핵심 과제와 기회를 파악하고, 손목 착용형 IMU와 스마트폰 앱을 짝지은 웨어러블 시스템인 AllyAAC을 개발하였다. 14명의 참가자를 대상으로 한 현장 연구에서 AllyAAC을 평가하였고, 비정형 제스처를 포함하는 600,000개 이상의 멀티모달 데이터 포인트로 이루어진 데이터셋을 구축하였으며 이는 최초의 사례이다. 연구 결과는 개인화되고 특이한 제스처를 인식하는 데 따르는 어려움을 보여주며, 서로 다른 사전학습 전략을 가진 트랜스포머 기반 대규모 기계학습(ML) 모델로 이를 해결하는 방법을 제시한다. 종합하면, 우리는 보조기기 기반 AAC와 도구 없는 AAC를 결합한 적응형 개인화 시스템을 위한 설계 원칙과 참조 구현을 제공한다.
원문 초록
Augmentative and Alternative Communication (AAC) technologies are categorized into two forms: aided AAC, which uses external devices like speech-generating systems to produce standardized output, and unaided AAC, which relies on body-based gestures for natural expression but requires shared understanding. We investigate how to combine these approaches to harness the speed and naturalness of unaided AAC while maintaining the intelligibility of aided AAC, a largely unexplored area for individuals with communication and motor impairments. Through 18 months of participatory design with AAC users, we identified key challenges and opportunities and developed AllyAAC, a wearable system with a wrist-worn IMU paired with a smartphone app. We evaluated AllyAAC in a field study with 14 participants and produced a dataset containing over 600,000 multimodal data points featuring atypical gestures--the first of its kind. Our findings reveal challenges in recognizing personalized, idiosyncratic gestures and demonstrate how to address them using Transformer-based large machine learning (ML) models with different pretraining strategies. In sum, we contribute design principles and a reference implementation for adaptive, personalized systems combining aided and unaided AAC.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2602.22131v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.