arXiv:2111.09485

3D Lip Event Detection via Interframe Motion Divergence at Multiple Temporal Resolutions

Jie Zhang, Robert B. Fisher

제출 2021-11-18

원문 초록

The lip is a dominant dynamic facial unit when a person is speaking. Detecting lip events is beneficial to speech analysis and support for the hearing impaired. This paper proposes a 3D lip event detection pipeline that automatically determines the lip events from a 3D speaking lip sequence. We define a motion divergence measure using 3D lip landmarks to quantify the interframe dynamics of a 3D speaking lip. Then, we cast the interframe motion detection in a multi-temporal-resolution framework that allows the detection to be applicable to different speaking speeds. The experiments on the S3DFM Dataset investigate the overall 3D lip dynamics based on the proposed motion divergence. The proposed 3D pipeline is able to detect opening and closing lip events across 100 sequences, achieving a state-of-the-art performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2407.18402v3cs.LG공통 태그 Event Detection공식 코드 · Papers with Code

RECOVAR: 지진 사건 탐지를 위한 심층 잠재 공간상의 표현 공분산

RECOVAR: Representation Covariances on Deep Latent Spaces for Seismic Event Detection

최신 딥러닝 방법은 지진 탐지를 개선했지만, 가장 널리 쓰이는 접근법은 대체로 대규모 레이블 파형 데이터셋을 이용한 지도 학습에 의존한다. 이러한 데이터셋을 구축하는 일은 시간이 많이 들고, 기존 카탈로그, 탐지 파이프라인, 사람의 검토에서 비롯된 편향을 유발하여 데이터셋 간 일반화와 과소 대표된 사건에 대한 민감도를 제한할 수 있다. 본 논문은 사건/잡음 레이블 없이 원시 파형으로부터 직접 학습할 수 있는 비지도 지진 사건 탐지 방법인 RECOVAR를 제시한다. 이 방법은 합성곱 오토인코더의 앙상블을 사용하며, 교차 공분산 기반 지표를 통해 압축된 잠재 표현의 시간적 정렬을 측정함으로써 사건을 탐지한다. 결과는 RECOVAR가 공개 벤치마크 데이터셋에서 지도 학습 탐지기의 성능에 도달할 수 있고, 데이터셋 간 시나리오에서도 견고하며, 사건을 포함한 창이 학습 스트림의 $1\%$ 미만인 불균형 연속 파형 데이터에서도 효과적임을 시사한다. 또한 이 방법은 다중 관측소 환경에서 정밀도를 높이는 필터로 작용하여 지도 학습 파이프라인을 보완할 수 있다. 탐지 원리가 도메인 특화 가정을 두지 않으므로, 이 접근법은 지진학을 넘어 신호 탐지 문제로 확장될 수 있다.

arXiv:2408.12792v2cs.AI공통 태그 Event Detection공식 코드 · Papers with Code

직접적인 이벤트 시점 지도학습을 위한 경계 밀도 가능도

Boundary Density Likelihood for Direct Event-Time Supervision

이벤트 탐지(event detection)는 긴 기록을 순위화된 소수의 타임스탬프 집합으로 변환합니다. 그러나 많은 시퀀스 모델(sequence model)은 샘플 단위 분할(samplewise segmentation)을 목표로 학습(training)되며, 학습이 끝난 후에야 예측된 상태를 이벤트로 변환합니다. 본 논문에서는 평가되는 최종 출력에 맞춰 직접 학습하는 것이 탐지 성능을 향상시키는지 질문을 던집니다. 경계 밀도 가능도(Boundary Density Likelihood, BDL)는 주석이 달린 각 이벤트에 1단위의 타깃 질량을 할당하고, 스무딩(smoothing) 및 시간 축 다운샘플링 과정에서도 해당 질량을 보존하며, 각 출력 빈(bin)에서 기대되는 이벤트 질량을 추정하기 위해 포아송 목적함수를 사용합니다. 그리고 국소 피크(local peak)가 순위화된 탐지 결과가 됩니다. 사전 지정된 5겹 중첩 수면 연구(five-fold nested sleep study)에서, BDL-Hard는 구간 분할(interval segmentation) 대비 풀링된 폴드 외부(out-of-fold) mAP를 0.586에서 0.705로 높였고(+11.9%p; 95% 신뢰구간 [10.8, 13.0]), 엄격한 1분 단위 AP를 0.071에서 0.286으로 높여(4.0배; +21.5%p) 모든 외부 폴드에서 성능을 향상시켰습니다. 별도의 홀드아웃(held-out) 재실행에서도 이러한 효과의 방향성이 재현되었습니다. 조건이 매칭된 boundary-BCE 탐지기는 0.702 mAP를 달성하여 직접적인 경계 지도학습과 이벤트 디코딩이 성능 향상의 대부분을 설명하며, 포아송 목적함수의 기여는 상대적으로 작음을 보여줍니다. 동일한 경향이 오프라인 합성곱 모델(convolutional model)에서도 나타났으나 인과적(causal) 모델, 트랜스포머(Transformer), 그리고 환자 그룹화 발작 실험에서는 보다 넓은 일반화 가능성이 아직 미해결 상태로 남아 있습니다. 본 연구 결과는 타임스탬프가 평가 대상을 정의할 때 이벤트 시점에 대해 직접 학습하는 것을 지지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.