발화 중 입술 영역을 동적으로 추정하는 이벤트 기반 방법
Event-Based Dynamic Lip Region Estimation During Speech
한국어 초록
이벤트 카메라는 시간 해상도가 높고 전력 소비가 낮아 발화 관련 응용에 유용하다. 자동 입술 읽기, 시청각 발화 분석, 사람과 로봇의 상호작용 등에 적용할 수 있으며, 특히 조명이 어둡거나 동적 범위가 큰 환경에서 가능성이 높다. 그러나 이벤트 기반 입술 읽기, 화자 인식, 음성 활동 탐지는 대부분 사람이 지정하거나 데이터셋에서 제공하는 관심 영역(ROI)을 잘라 사용한다. 이 관심 영역을 공간 영역으로 직접 제공하는 이벤트 기반 방법은 없었다. 기존 이벤트 기반 얼굴 분석은 입을 랜드마크로 표현하므로 응용에 필요한 영역과 위치 추정 방식이 맞지 않는다. 이 연구는 이벤트 ‘프레임’ 전체를 입력받아 입술 영역의 조밀한 히트맵을 예측한다. 이벤트를 극성별로 분리한 복셀 격자로 인코딩하고, 두 경로가 있는 연속 시간 순환 신경망(CT-RNN)으로 모든 위치를 처리한다. 이 신경망은 로그 공간에서 범위를 제한해 학습한 시간 상수와 각 시간 구간에서 실제로 경과한 시간을 사용한다. 상태를 유지하지 않는 빠른 경로로 예측을 정제하고, 상태를 유지하는 느린 경로로 예측을 안정화한다. 학습에 없던 화자 네 명에서 모델의 입술 영역 성능은 69.5%였으며, 추적 대상 전환은 초당 2.1회에 그쳤다. 매개변수가 더 많은 합성곱 기준선은 초당 8.9회와 11.0회였다. 공간 인코더를 추가하면 정밀도가 높아졌으나 새로운 얼굴 크기에는 대응하지 못했다. 모의 이벤트만으로 학습하고 실제 이벤트 센서에서 평가했을 때 입술 영역 성능은 제안 모델이 58.0%, 합성곱 신경망(CNN)이 43.2%였다. 제안 모델의 대상 전환 횟수는 CNN의 절반 미만이었다.
원문 초록
Event cameras offer high temporal resolution and low power consumption, making them promising for speech-related applications. These include automatic lip reading, audiovisual speech analysis, and human-robot interaction, particularly in challenging environments characterized by low illumination or high dynamic range. Event-based lip reading, speaker recognition, and voice activity detection, however, mostly operate on a cropped region of interest (ROI), by hand or by the dataset, and no event-based method supplies that ROI as a spatial region; existing event-based face analysis gives the mouth as landmarks, which presents a mismatch between application and localization. The present work predicts a dense heatmap over the lip region from the full event "frame". Events are encoded as a polarity-separated voxel grid and processed at every location by a two-pathway continuous-time recurrent network (CT-RNN) with learned, log-space bounded time constants acting on the real elapsed time of each bin: a stateless fast pathway and a stateful slow pathway, utilised for refining and anchoring the prediction. The model reaches 69.5% on lips on four unseen speakers and switches target only 2.1 times per second, against 8.9 and 11.0 for convolutional baselines with more parameters. Adding a spatial encoder improves precision but fails on a new face scale. On a real event sensor, trained only on simulated events, the proposed model reaches 58.0% on lips against 43.2% for the CNN, with fewer than half its target switches.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23111v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.