오디오-비주얼 딥페이크 탐지기(audio-visual deepfake detector)를 비교하려면 데이터셋 적응, 시간적 입력 표현(temporal input representation), 모델 인터페이스, 실험 조건을 함께 조율해야 한다. 본 논문은 이러한 책임들을 분리하면서도 공통된 학습 및 평가 워크플로를 지원하는 모듈형 파이프라인인 DFD-Lab을 제시한다. 우리는 Xception 기반 최대 로짓(maximum-logit) 융합, 시간적 LSTM 융합을 사용하는 ResNet, 그리고 우리가 재구현한 AVFF의 세 가지 구현을 통합한다. 실험은 외부 테스트, 열화(degradation) 기반 학습 증강(training augmentation), 그리고 평가 시점의 손상(corruption)을 다룬다. Deepfake-Eval-2024의 필터링된 하위 집합(subset)에서, FakeAVCeleb으로 학습된 모델들은 각각 0.504, 0.538, 0.458의 기준선 AUROC 값을 달성한다. JPEG50 학습 증강은 이 값을 각각 0.691, 0.605, 0.570으로 높이는 반면, 세 모델의 정확도는 모두 감소한다. 이러한 결과는 학습 개입, 평가 손상, 그리고 지표에 따라 달라지는 결과가 공통 파이프라인 내에서 왜 구분되어야 하는지를 보여준다. 본 연구의 기여는 오디오-비주얼 처리, 상호 교체 가능한 탐지기, 그리고 설정 가능한 실험 워크플로의 통합이며, 이는 실증적 사례 연구(case study)로 뒷받침된다. 이 연구 결과는 데이터셋 간(cross-dataset) 탐지의 어려움과 순위화(ranking) 지표 및 분류 지표가 제공하는 상호 보완적 정보를 강조한다.
실세계 배경 소음, 가림, 모달리티 손상 환경에서 오디오-비주얼 능동 화자 감지(Active Speaker Detection)의 성능 저하 문제를 해결하기 위해, 임베딩 수준 모달리티 간 일관성, 시퀀스 수준 모달리티 내 일관성, 예측 수준 지식 증류(knowledge distillation)로 구성된 다중 수준 일관성 프레임워크 $C^3$ASD를 제안한다. 광범위한 실험에서 다양한 노이즈 조건 하에 유의미한 성능 향상을 보이면서도 깨끗한 데이터에서 경쟁력 있는 성능을 유지함을 검증하였다.
공회전 차량 탐지(Idling Vehicle Detection, IVD)는 원격 감시 카메라의 동기화된 영상과 도로변에 공간적으로 분산 배치된 무선 마이크로 수집한 다채널 오디오를 활용하여, 비디오 클립의 마지막 프레임에서 어떤 차량이든 공회전(엔진이 가동된 채 정지한 상태) 중인지 판별하는 것을 목표로 한다. 기존의 전체 이미지·클립 수준 융합 접근법은 장면 배경과 전체 프레임 맥락에 과적합되는 경향이 있고, 시간적 판단이 불안정하며, 차량과 마이크를 정렬하기 위한 명시적 공간적 사전(prior)이 부족하여 도메인 이동(domain shift) 하에서 취약하고 데이터 효율이 낮다. 이에 우리는 다중 객체 추적(multi-object tracking)으로 안내되는 시청각 프레임워크 TAVR-IVD를 제안한다. 우리 방법은 차량을 검출하고, 검출을 트랙릿(tracklet)으로 연결한 뒤, 각 차량에 대해 해당 트랙릿 위에서 동작하며 분류한다. 이 설계는 유효 신호 대 잡음비를 높이고, 트랙릿을 통해 시간적 판단을 안정화하며, 차량과 마이크 정렬을 위한 명시적 공간적 사전(prior)을 부과하고, 검출기 무관(detector agnostic)이면서도 효율적으로 유지한 채 제한된 보정(calibration) 어노테이션만으로 도메인 간 적응이 가능하다. 배포 강건성을 평가하기 위해, 일간(inter-day) 및 교차 현장(cross-site) 이동을 아우르는 두 가지 평가 확장 AVIVD-LT와 AVIVD-M을 추가로 구축하였다.