Vision Transformer Based Video Hashing Retrieval for Tracing the Source of Fake Videos
원문 초록
In recent years, the spread of fake videos has brought great influence on individuals and even countries. It is important to provide robust and reliable results for fake videos. The results of conventional detection methods are not reliable and not robust for unseen videos. Another alternative and more effective way is to find the original video of the fake video. For example, fake videos from the Russia-Ukraine war and the Hong Kong law revision storm are refuted by finding the original video. We use an improved retrieval method to find the original video, named ViTHash. Specifically, tracing the source of fake videos requires finding the unique one, which is difficult when there are only small differences in the original videos. To solve the above problems, we designed a novel loss Hash Triplet Loss. In addition, we designed a tool called Localizator to compare the difference between the original traced video and the fake video. We have done extensive experiments on FaceForensics++, Celeb-DF and DeepFakeDetection, and we also have done additional experiments on our built three datasets: DAVIS2016-TL (video inpainting), VSTL (video splicing) and DFTL (similar videos). Experiments have shown that our performance is better than state-of-the-art methods, especially in cross-dataset mode. Experiments also demonstrated that ViTHash is effective in various forgery detection: video inpainting, video splicing and deepfakes. Our code and datasets have been released on GitHub: \url{https://github.com/lajlksdf/vtl}.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MultiVENT-Raw: 원시 동영상 검색 및 추론 벤치마크
MultiVENT-Raw: A Benchmark for Retrieval and Reasoning over Raw Videos
온라인 정보는 점점 더 동영상 형식으로 소비되고 있다. 이 중 상당 부분은 원시 동영상(raw video) 형태로, 휴대폰·핸드헬드 카메라·CCTV로 촬영된 연속 영상이 소셜 미디어 플랫폼과 콘텐츠 공유 서비스에 바로 업로드되는 것이다. 전문적이거나 아마추어가 편집한 영상은 대본화된 발화, 자막(chyron), 그래픽, 메타데이터 등 주제를 맥락화하는 요소를 담는 경우가 많지만, 원시 동영상에는 일반적으로 이런 것이 없어 정보 검색(information retrieval)과 기계 이해(machine understanding)에 훨씬 더 어려운 매체가 된다. 이 분야의 진전을 돕기 위해 우리는 MultiVENT-Raw를 공개한다. 이는 주로 원시 동영상 약 12만 개(총 5,300시간 이상)로 이루어진 다국어 컬렉션으로, 130개의 이벤트와 222개의 이벤트 중심 쿼리와 짝지어져 있으며, 관련 동영상에 대한 사람이标注한 관련성 판정과 사람이 추출한 핵심 사실을 포함한다. MultiVENT-Raw는 검색(retrieval) 과제—쿼리 이벤트와 관련된 컬렉션 내 동영상을 식별하는 것—와 생성(generation) 과제—이벤트 관련 동영상을 대상 사용자를 위한 일관된 보고서로 요약하는 것—를 모두 지원한다. MultiVENT-Raw에서 강력한 베이스라인을 벤치마킹한 결과, 최신 멀티모달 모델 중 일부에게도 두 과제 모두 여전히 도전적임을 보였다.
ESA: External Space Attention Aggregation for Image-Text Retrieval
Adversarial Modality Alignment Network for Cross-Modal Molecule Retrieval
Exploring the Temporal Cues to Enhance Video Retrieval on Standardized CDVA
W2VV++: Fully Deep Learning for Ad-hoc Video Search
Two-person interaction detection using body-pose features and multiple instance learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.