arXiv:2611.23111v1 cs.CV

발화 중 입술 영역을 동적으로 추정하는 이벤트 기반 방법

Event-Based Dynamic Lip Region Estimation During Speech

Hamze Hammami, Omar Eldardeer, Francesco Rea

제출 2026-11-18

한국어 초록

이벤트 카메라는 시간 해상도가 높고 전력 소비가 낮아 발화 관련 응용에 유용하다. 자동 입술 읽기, 시청각 발화 분석, 사람과 로봇의 상호작용 등에 적용할 수 있으며, 특히 조명이 어둡거나 동적 범위가 큰 환경에서 가능성이 높다. 그러나 이벤트 기반 입술 읽기, 화자 인식, 음성 활동 탐지는 대부분 사람이 지정하거나 데이터셋에서 제공하는 관심 영역(ROI)을 잘라 사용한다. 이 관심 영역을 공간 영역으로 직접 제공하는 이벤트 기반 방법은 없었다. 기존 이벤트 기반 얼굴 분석은 입을 랜드마크로 표현하므로 응용에 필요한 영역과 위치 추정 방식이 맞지 않는다. 이 연구는 이벤트 ‘프레임’ 전체를 입력받아 입술 영역의 조밀한 히트맵을 예측한다. 이벤트를 극성별로 분리한 복셀 격자로 인코딩하고, 두 경로가 있는 연속 시간 순환 신경망(CT-RNN)으로 모든 위치를 처리한다. 이 신경망은 로그 공간에서 범위를 제한해 학습한 시간 상수와 각 시간 구간에서 실제로 경과한 시간을 사용한다. 상태를 유지하지 않는 빠른 경로로 예측을 정제하고, 상태를 유지하는 느린 경로로 예측을 안정화한다. 학습에 없던 화자 네 명에서 모델의 입술 영역 성능은 69.5%였으며, 추적 대상 전환은 초당 2.1회에 그쳤다. 매개변수가 더 많은 합성곱 기준선은 초당 8.9회와 11.0회였다. 공간 인코더를 추가하면 정밀도가 높아졌으나 새로운 얼굴 크기에는 대응하지 못했다. 모의 이벤트만으로 학습하고 실제 이벤트 센서에서 평가했을 때 입술 영역 성능은 제안 모델이 58.0%, 합성곱 신경망(CNN)이 43.2%였다. 제안 모델의 대상 전환 횟수는 CNN의 절반 미만이었다.

원문 초록

Event cameras offer high temporal resolution and low power consumption, making them promising for speech-related applications. These include automatic lip reading, audiovisual speech analysis, and human-robot interaction, particularly in challenging environments characterized by low illumination or high dynamic range. Event-based lip reading, speaker recognition, and voice activity detection, however, mostly operate on a cropped region of interest (ROI), by hand or by the dataset, and no event-based method supplies that ROI as a spatial region; existing event-based face analysis gives the mouth as landmarks, which presents a mismatch between application and localization. The present work predicts a dense heatmap over the lip region from the full event "frame". Events are encoded as a polarity-separated voxel grid and processed at every location by a two-pathway continuous-time recurrent network (CT-RNN) with learned, log-space bounded time constants acting on the real elapsed time of each bin: a stateless fast pathway and a stateful slow pathway, utilised for refining and anchoring the prediction. The model reaches 69.5% on lips on four unseen speakers and switches target only 2.1 times per second, against 8.9 and 11.0 for convolutional baselines with more parameters. Adding a spatial encoder improves precision but fails on a new face scale. On a real event sensor, trained only on simulated events, the proposed model reaches 58.0% on lips against 43.2% for the CNN, with fewer than half its target switches.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23111v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.