PyTorchKR Papers

최신 논문

총 461편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.21954v2cs.CV공식 코드 · Papers with Code

활성 화자 탐지(ASD) 재조명: 일반화와 강건성을 위한 실제 환경(in-the-wild) 벤치마크

Revisiting Active Speaker Detection: An In-the-Wild Benchmark for Generalization and Robustness

우리는 활성 화자 탐지(ASD) 작업에서 모델의 일반화 성능을 높이기 위해 도전적인 시나리오를 강조하는 새로운 데이터셋인 UniTalk를 소개합니다. AVA와 같은 기존 벤치마크는 주로 오래된 영화로 구성되어 있어 실제 환경 비디오와 상당한 도메인 격차를 보입니다. 이와 대조적으로, UniTalk는 언어 표현이 부족한 경우, 노이즈가 있는 배경, 혼잡한 장면 등 도전적인 실제 환경 조건을 반영하는 다양한 비디오 유형을 아우르면서도 규모 면에서는 AVA와 대등합니다. 광범위한 평가 결과, ASD는 현실적인 조건에서 여전히 해결되지 않은 문제임이 밝혀졌습니다. AVA에서 거의 완벽한 성능을 보이는 최첨단(SOTA) 모델들조차 UniTalk에서는 성능 포화에 도달하지 못했습니다. 반대로, UniTalk로 학습된 모델은 Talkies와 ASW를 포함한 최신 실제 환경(in-the-wild) 데이터셋에 대해 더 우수한 일반화 성능을 보였습니다. 이에 따라 UniTalk는 ASD를 위한 새로운 벤치마크를 수립하여, 연구자들이 다재다능하고 강건한 모델을 개발하고 평가할 수 있는 귀중한 자원을 제공합니다.