최근 몇 년 동안 AI 생성 비디오의 시각적 품질이 비약적으로 향상되면서, 인간이 실제 미디어와 합성 미디어를 구별하기가 점점 더 어려워지고 있습니다. 본 연구에서는 최첨단(state-of-the-art) 움직임 기반 AI 생성 비디오 탐지기 4종의 견고성(robustness)과 적용 가능성을 평가합니다. 우리는 4가지 방법 중 3가지에서 중대한 전처리 및 샘플링 바이어스를 식별하고, 이것이 보고된 성능의 상당 부분을 차지함을 입증합니다. 나아가 이러한 탐지기들이 평가 데이터셋에 특화된 움직임 패턴에 매우 민감하며, 해당 데이터셋에서는 AI 생성 비디오가 실제 비디오보다 프레임 간 움직임이 대체로 적게 나타난다는 점을 밝혀냅니다. 또한 이러한 움직임 바이어스가 없는 데이터셋에서 평가할 경우 모든 탐지기의 성능이 무작위 추측에 가까운 수준으로 급락함을 보입니다. 아울러 데이터셋 재균형(rebalancing)과 단순한 공간 증강(spatial augmentations) 적용을 통해, 평가된 모든 모델에서 심각한 성능 저하가 발생함을 관찰했습니다. 반면, 기존의 주파수 기반 탐지기는 평가된 모든 데이터셋에서 우수한 성능을 유지함을 확인하였으며, 이는 주파수 기반 접근법이 AI 생성 비디오 탐지에서 더 일반화 가능한 방향성을 제시할 수 있음을 시사합니다. 본 연구가 이러한 취약점에 대한 경각심을 높이고, 더욱 대표성 있고 편향되지 않은 데이터셋과 견고한 평가 프로토콜 개발을 촉진하기를 기대합니다.
조작된 콘텐츠가 프레임 단위에서는 시각적으로 일관되어 보일 수 있지만 미세한 시간적 불일치를 나타낼 수 있기 때문에, 비디오에서의 딥페이크(deepfake) 탐지는 여전히 어려운 과제로 남아 있습니다. 본 논문은 비디오 시퀀스에서 공간적 및 시간적으로 일관된 얼굴 특징을 모델링하는 해석 가능한 딥페이크 탐지 프레임워크를 소개합니다. 암묵적 표현(implicit representations)에 의존하는 엔드투엔드(end-to-end) 딥러닝 모델과 달리, 제안된 접근 방식은 물리적 기반의 포렌식 단서를 명시적으로 인코딩하여 투명한 분석과 향상된 다중 데이터셋 일반화를 가능하게 합니다. 이 파이프라인은 비디오를 신원 일관적인 얼굴 궤적으로 변환하고, 이를 고정 길이의 시간 윈도우로 분할한 뒤, 측광(photometric), 텍스처(textural), 기하학적(geometric), 압축 기반(compression-based) 특징이라는 네 가지 상호 보완적인 도메인에 걸친 68개의 구조화된 기술자(descriptor)를 사용하여 각 프레임을 표현합니다. 이러한 기술자들은 조작 아티팩트에 대한 간결한 다중 도메인 표현을 제공하며, 시간적 의존성과 미세한 불규칙성을 포착하기 위해 장단기 메모리(LSTM) 네트워크에 의해 처리됩니다. FaceForensics++, Celeb-DF v2, DeepFake Detection Challenge(DFDC)의 큐레이션된 서브셋, DeeperForensics 등 네 가지 벤치마크 데이터셋에 대한 평가에서 각각 98.0%, 91.0%, 97.6%, 96.2%의 강력하고 일관된 F1-점수를 달성했습니다. 또한 본 접근 방식은 우수한 교차 데이터셋 일반화 성능을 입증하여, 비디오 딥페이크 탐지를 위한 견고하고 해석 가능한 솔루션을 제공합니다.
비디오 생성 패러다임이 부분적 조작에서 전체 장면 합성으로 발전함에 따라, AI 생성 비디오 탐지는 위조물이 전역적으로 일관된 구조와 높은 지각적 사실감을 나타내므로 점점 더 어려워지고 있다. 그러나 기존 벤치마크는 지각적 충실도에 편향되어 있으며, 주로 지각적 아티팩트를 기반으로 탐지기를 평가함으로써 물리 법칙 위반, 구조적 일관성, 또는 사회적 논리에 대한 추론이 필요한 시나리오를 충분히 다루지 못한다. 이러한 데이터셋 바이어스는 현재의 접근 방식을 형성하고, 인식-추론 격차(Perception-Reasoning Gap)를 야기한다: 아티팩트 중심 모델은 저수준 통계적 불규칙성을 포착하지만 의미론적 추론이 부족하고, 비전-언어 모델은 의미론적 추론을 수행하지만 세밀한 포렌식 단서에 둔감하다. 이 격차를 해소하기 위해, 우리는 포렌식 인식과 의미론적 추론 간의 협력적 전문화를 가능하게 하는 다중 에이전트 프레임워크인 SafeGuard를 제안한다. 계층적 지각 솔버(hierarchical perceptual solver)가 세밀한 포렌식 증거를 추출하고, 자기 반성적 검증기(self-reflective verifier)가 의미론적 추론과 물리적 타당성 간의 일관성을 강제하여 해석 가능한 증거 체인을 형성한다. 평가를 지원하기 위해, 우리는 물리적 타당성, 구조적 일관성, 사회적 행동의 합리성을 평가하도록 설계된 10개 사회적 위험 범주에 걸쳐 2만 개의 비디오로 구성된 새로운 AI 생성 비디오 탐지 벤치마크인 SafeVid를 소개한다. 광범위한 실험을 통해 SafeGuard의 일반화 성능을 입증하였으며, SafeVid에서 정확도를 +18.7% 향상시키고 4개의 공개 벤치마크에서 기존 방법들을 지속적으로 능가하였다.
비디오 편집 및 생성형 인공지능 기술의 급속한 발전으로 현실적인 비디오 조작이 점점 더 쉬워지고 있다. 기존 데이터셋은 딥페이크(deepfake) 탐지, 객체 제거(object removal), 비디오 인페인팅(video inpainting) 연구를 크게 발전시켰지만, 짧게 조작된 구간이 그 외에는 원본인 비디오에 삽입되고 이후 원본 비디오가 이어지는 시나리오를 충분히 반영하지 못한다. 본 연구에서는 문헌의 대표적인 데이터셋을 검토하고, 그 특성을 분석하며, 시간적으로 국소화된 현실적 조작 탐지와 관련하여 한계를 논의한다. 이 분석을 바탕으로, 짧고 매우 현실적인 조작 구간을 포함하는 원본 비디오를 위해 특별히 설계된 새로운 데이터셋의 필요성을 제시한다. 마지막으로, 이 도전적인 시나리오에 대한 초기 벤치마크를 확립하기 위해 자체 구축한 테스트 세트에서 두 가지 상호 보완적인 접근법을 평가한다. 첫 번째 방법은 DINOv3 특징에 선형 프로브(linear probe)를 적용하며, 세 가지 임계값 설정(thresholding) 전략 하에서 평가한다. 두 번째 방법은 DINOv3 특징과 연속 프레임 유사도 기반 방법을 활용하여 시간적 조작 경계를 탐지한다. 이러한 실험들은 함께 부분적으로 조 manipulated 비디오 탐지에 대한 초기 벤치마크를 제공하며, 콘텐츠 적응형(content-adaptive) 임계값 메커니즘의 필요성을 강조한다. 데이터셋, 코드, 보충 자료는 https://github.com/OkanUmur/temporally-localized-video-manipulation-detection 에서 공개적으로 이용할 수 있다.