멀티모달 단서의 해독: 혐오 영상 내 암시적 의미 규명
Decoding Multimodal Cues: Unveiling the Implicit Meaning Behind Hateful Videos
한국어 초록
혐오 영상은 온라인 플랫폼에서 만연해졌으며, 이는 효과적인 탐지의 시급한 필요성을 강조합니다. 그러나 기존 연구는 주로 이진 분류(binary classification)에 초점을 맞추고 있어, 판단 뒤에 숨겨진 암시적 의미를 드러내는 맥락적 근거를 제공하지 못하여 모델의 설명 가능성을 크게 저해합니다. 이러한 격차를 해소하기 위해, 우리는 모델이 의사결정과 함께 관련 증거와 논리적 추론을 통합한 맥락적 근거를 제공할 수 있는 설명 가능한 혐오 영상 탐지를 달성하고자 합니다. 이 접근 방식은 비디오 콘텐츠에 대한 이해와 의사결정 과정의 설명 가능성을 포괄적으로 향상시킬 수 있습니다. 먼저, 설명 가능한 혐오 영상 탐지를 위해 Ex-HateMM과 Ex-ImpliHateVid라는 두 가지 데이터셋을 소개합니다. 각 데이터셋은 맥락적 근거와 함께 멀티모달 유해 요소에 대한 세분화된 주석을 제공합니다. 그 다음, 설명 가능한 탐지를 위해 설계된 정보 증강 및 추론 강화(IARE) 프레임워크를 제안합니다. 이 프레임워크는 멀티모달 사고의 연쇄(multimodal chain-of-thought)를 활용하여 유해 요소를 통합함으로써 근거 증거를 풍부하게 만드는 정보 증강 단계를 사용합니다. 또한, IARE는 추론 강화 단계를 포함하는데, 여기서 직접 선호 최적화(Direct Preference Optimization)는 모델이 올바른 추론 경로로 향하고 올바르지 않은 경로는 피하도록 유도하여 근거의 논리적 일관성을 향상시킵니다. 우리는 제안한 IARE 프레임워크와 여러 기준 모델(baselines)을 비교하여 두 데이터셋에 대해 광범위한 실험을 수행했습니다. 결과는 IARE가 정확한 근거를 생성하는 동시에 최첨단 성능을 달성함을 입증합니다.
원문 초록
Hateful videos have become prevalent on online platforms, highlighting an urgent need for effective detection. However, existing studies primarily focus on binary classification and fail to provide contextual rationales that reveal the implicit meanings behind these judgments, significantly undermining model explainability. To fill this gap, we aim to achieve explainable hateful video detection, enabling models to provide contextual rationales that integrate relevant evidence and logical reasoning alongside decisions. This approach can comprehensively enhance the understanding of video content and the explainability of the decision-making process. We first introduce two datasets, Ex-HateMM and Ex-ImpliHateVid, for explainable hateful video detection. Each dataset provides fine-grained annotations of multimodal harmful elements, along with contextual rationales. We then propose an Information Augmentation and Reasoning Enhancement (IARE) framework designed for explainable detection. The framework employs an information augmentation phase that leverages the multimodal chain-of-thought to integrate harmful elements, thereby enriching rationale evidence. Additionally, IARE incorporates a reasoning enhancement phase, in which Direct Preference Optimization guides the model toward correct reasoning paths and away from incorrect ones, thereby improving the logical coherence of its justifications. We conduct extensive experiments on the two datasets, comparing multiple baselines with our proposed IARE framework. The results demonstrate that IARE achieves state-of-the-art performance while also generating accurate rationales.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.11953v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
말하는 얼굴 딥페이크 탐지를 위한 상보적 rPPG 유래 및 입술 영역 주파수 단서
Complementary rPPG-Derived and Lip-Region Frequency Cues for Talking-Face Deepfake Detection
말하는 얼굴(talking-face, TF) 딥페이크는 생성기(generator)마다 rPPG 기반 방법의 탐지 성능이 고르지 않다. 우리는 피험자 독립(subject-independent) 프로토콜 하에서 Celeb-DF++의 7가지 TF 방법에 대해, RhythmFormer로 추출한 rPPG 유래 파형과 입술 영역 이산 코사인 변환(discrete cosine transform, DCT) 계수라는 두 가지 경량 시각 전용(visual-only) 단서를 연구한다. 도메인 내(in-domain)에서는 SadTalker를 제외한 모든 방법에서 입술 영역 DCT가 rPPG 유래 1D ResNet과 동등하거나 더 우수하며, Concat 융합은 단일 모달(unimodal) 기준선의 AUC 0.824 및 0.827에 대해 AUC 0.891에 도달한다. 생성기 하나 제외(leave-one-generator-out) 평가에서는 두 단서가 갈라진다: 각각은 보류(hold-out)된 세 방법으로 더 뚜렷이 전이(transfer)되며, IP-LAP은 두 단서 모두에서 거의 무작위(near chance) 수준이다. Concat은 평균 0.798이지만 DCT 전이가 약한 경우 rPPG 단독보다 낮아져, 정적(static) 융합은 이러한 상보성을 부분적으로만 활용한다. 입술 영역 DCT는 7가지 방법 중 6가지에서 전체 얼굴 DCT보다 우수하다. 우리는 rPPG 유래 신호를 경험적(empirical) 단서로 취급하며, 그�이 심장(cardiac) 기원임을 주장하지 않는다.
CausalWM: 체화된 월드 모델을 위한 인과적 사고의 연쇄 추론
CausalWM: Causal Chain-of-Thought Reasoning for Embodied World Model
체화된 월드 모델(Embodied World Model)은 시각적 관측과 제어 신호로부터 미래의 물리적 동역학을 예측하도록 학습하며, 이때 물리적 지식은 잠재 표현(latent representation) 내에 암묵적으로 얽혀 있다. 본 논문에서는 미래 비디오 예측 이전에 명시적인 인과적 사고의 연쇄(Causal Chain-of-Thought) 추론을 수행하는 160억 파라미터(16B) 규모의 체화된 월드 모델인 CausalWM을 소개한다. CausalWM은 유용한 변수들을 하나의 추론 궤적(reasoning trajectory)으로 구성하여, 모델이 물리적 진화의 근저에 있는 인과적 의존성을 점진적으로 포착할 수 있도록 한다. CausalWM을 학습시키기 위해 3만 1천 시간(31K hours) 분량의 체화된 데이터를 수집하였으며, 대규모 비디오 사전학습, 인과적 CoT 중간 학습(mid-training), 다중 목적 강화학습(RL) 사후 학습으로 구성된 3단계 패러다임을 개발하였다. 제한된 수의 지도(supervised) CoT 변수만을 사용했음에도 불구하고, CausalWM은 창발적인 문맥 내 학습(in-context learning) 능력을 보여주며, 이를 통해 문맥적 시각 특징 유도와 효율적인 소수 스텝(few-step) 생성이 가능하다. CausalWM은 언어 조건화(language-conditioned), 행동 조건화(action-conditioned), 단일 시점(single-view) 및 다중 시점(multi-view) 벤치마크 전반에서 최첨단(state-of-the-art) 성능을 달성했으며, TriWorldBench 리더보드에서 1위(Top-1) 성능을 기록했다.
EVL-MCoT: 유해 밈 탐지를 위한 향상된 비전-언어 Multi-CoT
EVL-MCoT: Enhanced Vision-Language Multi-CoT for Harmful Meme Detection
밈(MEME)은 인터넷에서 널리 사용되며, 종종 강한 풍자나 아이러니 요소를 담고 있다. 숨겨진 의미를 이해하려면 일반적으로 텍스트와 시각 정보를 함께 해석해야 한다. 기존 방법은 시각과 텍스트를 동시에 추출하기 위해 이중 스트림(dual-stream) 비전-언어 모델에 초점을 맞추는데, 이는 밈에 대한 포괄적 설명과 관련된 배경 정보 및 사전 지식이 부족하다. 하나의 실현 가능한 선택은 사고의 연쇄(Chain-of-Thought, CoT)를 채택하는 것이다. 그러나 단순한 CoT 접근법은 다각적 사고가 부족하여, 결과 답변의 신뢰성을 저해할 수 있다. 게다가 이는 종종 얕은 특징 융합에 의존하며, 국소적 세부 정보와 세밀한 시각-프롬프트 텍스트 정렬의 융합이 부족하다. 이 한계는 시각과 텍스트 간 복잡한 연결에 대한 더 깊은 이해를 방해한다. 이에 본 연구에서는 이러한 한계를 해결하기 위해 향상된 비전-언어 multi-CoT(EVL-MCoT) 접근법을 제안한다. multi-CoT를 촉진함으로써 EVL-MCoT는 일관성을 향상시키고 의사결정 과정에서 바이어스를 줄인다. 또한, 융합 과정을 안내하기 위해 시각적 프로토타입을 통합하고 모델이 텍스트와 시각 정보를 더 정밀하게 정렬할 수 있게 하는 프로토타입 안내 및 컨텍스트 안내 디코딩 프레임워크를 설계한다. HatefulMemes 및 MultiOff 데이터셋에서 유망한 결과를 달성했다. 소스 코드는 공개되어 https://github.com/BGWH123/EVL-MCoT에서 이용할 수 있다.
보도블록 순간: 더 풍부한 표현이 항상 더 인간 정렬적인가? 도시 산책 영상으로부터의 증거
Sidewalk Moments: Are Richer Representations Always More Human-Aligned? Evidence from City-Walk Videos
우리는 더 풍부한 시각적 표현이 도시 몰입(urban engagement)에 대한 더 인간 정렬된 측정치를 산출하는지를 검토한다. 이를 위해 YouTube의 1인칭 도시 산책 영상 61개를 10초 클립 50,000개 이상으로 분할하고, 시공간(spatiotemporal) 영상 특징, 시간 평균 이미지(TAI, temporally averaged images), 오디오 임베딩(embedding), 텍스트 기반 의미론적 설명의 네 가지 모달리티로 표현한다. Spearman 상관 분석은 시간적 풍부성(temporal-richness) 연속체를 따른 기대되는 순서를 보여주며, 영상 특징이 가장 강한 연속적 정렬을 나타낸다. 그러나 이러한 순서는 고몰입 대 저몰입 순간의 이진 분류(classification) 하에서—지각 점수 모델(perceptual scoring models)을 학습하는 데 가장 흔히 사용되는 패러다임—무너지며, 이 경우 TAI는 대부분의 분류기(classifier)와 분위(quantile) 임계값에서 일관되게 영상과 동등하거나 더 나은 성능을 보인다. Amazon Mechanical Turk에서 수행한 독립적인 2대안 강제 선택(two-alternative forced-choice) 연구는 이러한 동등성이 인간 판단을 반영함을 확인한다. 참가자들은 TAI와 전체 영상 클립으로부터 몰입적인 순간을 비슷한 정확도로 식별했으며, 텍스트는 상당히 낮은 성능을, 오디오는 거의 우연 수준에 머물렀다. 격차(gap) 분석은 기능적 분리(functional dissociation)를 드러낸다. 영상 특징은 동적 콘텐츠가 있는 활동 중심(activity-driven) 장면에서 유리하고, TAI는 안정적인 공간 구조가 지배하는 구도 중심(composition-driven) 장면에서 인간 판단과 더 잘 정렬된다. 이러한 결과는 더 풍부한 표현이 본질적으로 더 인간 정렬적이라는 가정에 도전하며, 지각적으로 근거 있는 시간적 압축(perceptually grounded temporal compression)이 전체 영상 인코딩(full video encoding)에 대한 원칙적인 대안이 될 수 있음을 시사한다.
조기 탐지, 드문 에스컬레이션: 압축 비트스트림 기반 AI 생성 비디오의 임의 시점 탐지
Detect Early, Escalate Rarely: Anytime Detection of AI-Generated Video from the Compressed Bitstream
AI 생성 비디오 탐지기는 오프라인에서 평가된다. 클립은 픽셀로 디코딩된 뒤 한 번 점수화되며, 점점 더 많이 대규모 비전-언어 모델에 의해 그렇게 처리된다. 그러나 탐지는 온라인으로 배포된다. 우리는 이 과제를 스트리밍 인식으로 재구성하고, 코덱이 이미 비트스트림에 기록한 모션 필드를 점수화한다. 해당 필드를 읽는 것은 파싱이며, 픽셀 도메인 순전파가 아니다. 누적 집계가 단조(monotone)이기 때문에, 끝점에서 한 번 보정한 임계값 하나가 데이터에 따라 달라지는 결정 시점에서 임의 시점 유효(anytime-valid)하다. 각 접두 문맥에서 재보정하는 것은 그렇지 않다. 에스컬레이션 비용은 폐형(closed form)으로 산출된다. 연산 예산은 지연(deferral) 윈도우에 대응하며, 지연 조건이 성립하는 바로 그 지점에서 프론티어가 단조적이다. 매칭된 GenVidBench에서 코덱 단계는 CPU에서 픽셀 CNN보다 연산량이 5자릿수(10^5배) 적은 상태로 전체 길이 AUC 0.64에 도달한다. 게이트는 실제 데이터가 보정과 일치할 때 정지 시점 거짓 양성률을 목표 수준에 유지하고, 분포 이동(distribution shift) 하에서는 그 위로 벗어난다. 클립의 15%를 지연하면 연산량을 $7\times$ 줄인 채 정확도가 0.75에서 0.78로 상승한다(쌍체: McNemar $p<10^{-6}$). 1단계 순서(ordering)는 AIGVDBench에서도 재현된다. 우리는 새로운 탐지기를 제안하지 않는다. 기여는 재구성, 두 가지 보장, 그리고 측정된 프론티어이다. 코드, 설정, 평가 분할: https://github.com/KurbanIntelligenceLab/streamdet.
DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩
DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video
토론
이 논문과 연결된 포럼 글이 아직 없습니다.