작은 단서, 큰 결과: 멀티모달 밈 분류를 위한 핵심 단서 학습
Small Cues, Big Consequences: Learning Pivotal Cues for Multimodal Meme Classification
한국어 초록
밈(Meme)은 작지만 결정적인 시각적, 텍스트적 또는 크로스모달 단서로부터 유해하거나 혐오적이거나 풍자적인 의미를 도출하는 경우가 많습니다. 기존의 멀티모달 분류기(multimodal classifier)는 주로 전역적(global) 이미지-텍스트 표현에 의존할 때 이러한 증거를 놓칠 수 있습니다. 본 논문에서는 유해성, 혐오, 풍자에 걸친 9,895개의 밈으로 구성되고 핵심 증거의 모달리티와 근거를 식별하는 주석을 포함한 단서 중심 벤치마크인 MemeCF를 소개합니다. 또한 밈 분류(classification)를 위한 국소-전역(local-global) 아키텍처인 MemePIVOT을 제안합니다. MemePIVOT은 동결된(frozen) CLIP 특징, 무관한 증거는 매칭되지 않은 채로 남겨두면서 단어와 이미지 패치를 정렬하기 위한 불균형 최적 수송(unbalanced optimal transport), 불확실성 하에서 국소적 그라운딩(grounding)과 전역적 밈 문맥을 결합하는 증거 기반 융합 헤드(evidential fusion head)를 사용합니다. HarMeme, PrideMM, MemeCF에 대한 실험 결과, 강력한 텍스트 전용, 이미지 전용, 멀티모달 및 비전-언어(vision-language) 베이스라인 대비 일관된 성능 향상을 보여줍니다. 교차 데이터셋(cross-dataset) 및 어블레이션 결과는 명시적인 핵심 증거 모델링이 견고성을 향상시키며 전역 멀티모달 표현을 넘어 의미 있게 기여함을 추가로 보여줍니다. 코드와 데이터셋(dataset)은 https://github.com/AkshitSharma1/MemePIVOT 에서 공개적으로 이용 가능합니다.
원문 초록
Memes often derive their harmful, hateful, or sarcastic meaning from small but decisive visual, textual, or cross-modal cues. Existing multimodal classifiers can miss such evidence when relying mainly on global image-text representations. We introduce MemeCF, a cue-focused benchmark of 9,895 memes across harm, hate, and sarcasm, with annotations identifying the modality and rationale of the pivotal evidence. We also propose MemePIVOT, a local-global architecture for meme classification. MemePIVOT uses frozen CLIP features, unbalanced optimal transport to align words with image patches while allowing irrelevant evidence to remain unmatched, and an evidential fusion head to combine local grounding with global meme context under uncertainty. Experiments on HarMeme, PrideMM, and MemeCF show consistent gains over strong text-only, image-only, multimodal, and vision-language baselines. Cross-dataset and ablation results further show that explicit pivotal-evidence modeling improves robustness and contributes meaningfully beyond global multimodal representations. Our code and dataset are publicly available at https://github.com/AkshitSharma1/MemePIVOT
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.26907v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
NepPlural: 네팔 이주 담론의 페르소나 주석을 위한 인간 기반 벤치마크
NepPlural: A Human-Anchored Benchmark for Persona Annotation in Nepali Migration Discourse
다원주의적 정렬(Pluralistic alignment)은 언어 모델이 사회의 다양하고 대립하는 가치들을 하나의 지배적인 관점으로 축소하기보다 충실하게 표현할 것을 요구하지만, 대표적인 다원주의적 정렬 데이터셋들은 여전히 서구권 응답자에게 크게 치우쳐 있습니다. 본 연구에서는 청년층 이주 및 두뇌 유출에 관한 네팔의 공론장에서 나타나는 대립적인 사회문화적 페르소나를 모델링하기 위한 인간 기반 벤치마크인 NepPlural을 소개합니다. 우리는 2,148개의 코드 혼용(데바나가리 문자, 로마자 표기 네팔어, 영어) 유튜브 댓글을 수집하고, 4개 축으로 구성된 페르소나 분류 체계(의도, 주요 동인, 가치 지향, 정서)와 명시적인 '페르소나 없음(No-Persona)' 클래스에 따라 주석을 달았으며, 세 명의 네팔어 원어민 화자가 독립적으로 레이블을 지정한 300개 댓글 규모의 골드 세트(평균 Fleiss' $κ\approx 0.55$)를 구축했습니다. 이 골드 세트를 활용해 자동 주석의 신뢰도를 검증한 결과, 대규모 언어 모델(LLM) 주석의 신뢰도는 프로토콜에 따라 결정된다는 점을 발견했습니다. 채팅 인터페이스를 통해 일괄(batch) 수집된 레이블은 모델 간 일치도가 무작위 수준에 불과했습니다($κ\approx 0.17$). 한 번에 하나의 댓글씩 주석을 달 경우 일치도가 원어민 화자 수준 이상으로 증가했으나($κ\approx 0.72$), 일관성이 곧 타당성을 의미하지는 않았습니다. 강제 선택 방식(forced-choice schema)에서는 원어민 화자가 페르소나가 없다고 판단한 댓글의 39%에 대해서도 모델들이 페르소나가 존재한다고 합의하여, 인간 골드 기준 매크로 F1 점수가 0.50 수준에 머물렀습니다. 기권(abstention)을 허용하자 이 문제가 해결되었습니다. 모델은 0.79에서 0.87의 F1 점수로 '페르소나 없음' 댓글을 복원했으며, 1인 배제(leave-one-annotator-out) 참조 기준에 대해 개별 원어민 화자와 일치하거나 이를 능가했습니다(매크로 F1 0.75~0.86 대 0.75). 일괄 처리된 레이블로 파인튜닝(fine-tuning)한 인코더는 0.34에 불과했습니다. 마지막으로, 인간 평가 기반의 제어 가능성(steerability) 검증 결과 프론티어 모델 3종은 단일 페르소나 축을 59~77%의 충실도로 채택했으나 전체 페르소나를 완벽히 구성한 비율은 33%에 불과했으며, 이 규모에서는 서구 친화적 페르소나와 네팔 집단주의적 페르소나 간의 일치도 격차가 감지되지 않았습니다.
검증되지 않았는가, 아니면 억울하게 의심받는가? 카자흐어에서의 AI 생성 텍스트 탐지기 평가
Unchecked or Falsely Accused? Evaluating AI-Generated Text Detectors on Kazakh
AI 텍스트 탐지기는 이미 카자흐어 글쓰기에 적용되고 있지만, 공개적으로 이용 가능한 탐지기가 ChatGPT 이전에 작성된 것으로 확인된 카자흐어 텍스트를 얼마나 자주 (AI 생성으로) 플래그하는지 보고한 연구는 없다. 우리는 AINA-KK를 제시한다: ChatGPT 이전에 존재했음이 입증된 백과사전, 뉴스, 웹, 교육용 페이지에서 수집한 3,811개의 인간 작성 지문(passage)과, 카자흐어로 구축된 KazLLM과 Sherkala를 포함한 9개의 생성기에서 나온 5,597개의 기계 생성 및 그레이존(gray-zone) 지문으로 구성되며, 문자 체계(script) 및 길이에 대한 스트레스 테스트를 포함한다. Hugging Face Hub에서 가져온 영어로 학습된 5개의 탐지기는 인간 지문의 최대 81.4%와 공개된 학생 에세이의 79.6%를 (AI 생성으로) 플래그했다; 재보정(recalibration) 후에는 기계 생성 텍스트를 최대 1.3%만 탐지했다. 보정된 제로샷(zero-shot) 탐지기는 분포 내(in-distribution) 생성기의 기계 생성 텍스트를 최대 50.3%만 탐지했다. 파인튜닝된 인코더는 텍스트를 거의 완벽하게 순위화하지만, 기본 임계값에서 mDeBERTa는 50단어 분량의 인간 발췌문 중 24.4%를 플래그했는데, 이는 부분적으로 기계 생성 출력이 인간 텍스트보다 짧기 때문이다; 보정 후에는 KazLLM 지문의 47.1%와 Sherkala 지문의 62.7%만 탐지했다. 문자 체계 처리를 하지 않으면, 기계가 음차 표기(transliteration)한 Latin-2021 텍스트가 모든 탐지기를 무력화시켰다. 새로운 데이터가 필요 없는 수정 사항들(보정, 문자 체계 정규화(canonicalization), 문자 체계가 증강되고 길이가 일치된 학습, 그리고 제로샷 스코어러와의 OR 결합)을 결합하여 AINA-KK-Det을 구성한다. 테스트에서 이는 인간 지문의 0.9%를 플래그하며(95% 신뢰구간 0.4-2.7; 개발 데이터에서는 1.5%), 알려진 생성기의 기계 생성 텍스트 중 85.2%, 보지 못한(unseen) 두 개의 Gemini 계열 Gemma-4 모델에서 나온 텍스트 중 92.9%, 카자흐어로 구축된 생성기에서 나온 텍스트 중 61.3%를 탐지한다; 해당 구성은 테스트 결과를 고려하여 선택되었다. 우리는 데이터, 코드, 탐지기를 https://github.com/ozxmn/aina-kk 에서 공개한다.
기계 생성 텍스트 탐지기의 아티팩트 의존성 측정
Measuring Artifact Reliance in Machine-Generated Text Detectors
기계 생성 텍스트 탐지기는 과학 문헌 벤치마크에서 거의 완벽한 점수를 기록하는데, 이는 이러한 탐지기로 인간이 작성한 문서와 기계가 생성한 문서를 신뢰성 있게 구별할 수 있음을 암시한다. 우리는 여섯 개의 널리 사용되는 자료원에서 추출한 열 개의 과학 문서 서브셋을 살펴보았으며, 그중 여러 서브셋에서는 이러한 겉보기의 용이함이 문서가 구성된 방식에서 비롯된 부수 효과임을 확인했다. 27개의 표면적 특징(superficial feature)을 사용한 로지스틱 회귀(logistic regression)는 0.833-0.997의 매크로(macro) F1을 기록했으며, 세 개의 arXiv 서브셋에서는 우리가 평가한 모든 탐지기를 능가하여 0.951-0.997의 F1 점수를 보였다. 탐지기에 가장 강력한 단서는 PDF 추출 아티팩트(artifact)이다: 인간이 작성한 텍스트는 원래의 줄 바꿈을 유지하는 반면, 생성된 텍스트는 단일한 연속된 문장 블록으로 추출된다. 이 단서는 다른 세 가지 서식 특징과 함께 0.996의 AUC로 두 클래스를 구별해낸다. 이러한 신호를 포함하는 벤치마크와 그 신호에 의존하는 탐지기를 구별하기 위해, 우리는 서식 반사실(format counterfactual)을 도입한다: 단 한 단어도 바꾸지 않고 기계가 작성한 초록을 다시 줄바꿈하는 것만으로도 공개된 한 탐지기의 정확한 판단 중 20-27%가 뒤바뀐다. 학습 전에 서식을 정규화(normalizing)하면 일반화 격차(generalization gap)가 0.32에서 0.22로 줄어든다. 서식이 정제된 벤치마크에서는, 아티팩트가 포함된 서브셋으로 학습된 탐지기의 도메인 외(out-of-domain) 매크로 F1 또한 0.33에서 0.65로 향상된다.
TabReliBench: 예측 정확도를 넘어 정형 파운데이션 모델 평가하기
TabReliBench: Evaluating Tabular Foundation Models Beyond Predictive Accuracy
정형 파운데이션 모델(TFM)은 뛰어난 예측 성능으로 인해 점점 더 인기를 얻고 있습니다. 많은 TFM은 사후 예측 분포(PPD)도 제공하지만, 이에 대한 신뢰성은 상대적으로 덜 연구되었습니다. 본 연구에서는 점 예측(point prediction), 분포 품질, 한계(marginal) 및 하위 집단 보정(subgroup calibration), 구간 효율성을 통해 신뢰성을 평가합니다. 그런 다음 이러한 비교 및 데이터셋 수준 분석을 위한 대규모 분류(classification) 및 회귀 벤치마크인 TabReliBench를 소개합니다. 연구 결과, TabArena와 본 벤치마크 간에, 그리고 여러 신뢰성 지표에 걸쳐 TFM의 순위가 달라지는 것을 확인했습니다. 회귀 TFM은 대개 공칭에 가까운 한계 커버리지(nominal marginal coverage)를 달성하고 좁은 구간을 유지하지만, 이러한 우수한 한계 거동이 유효한 조건부 커버리지를 보장하지는 않습니다. 데이터셋 수준 분석에 따르면 분류 난이도가 높을수록 보정 성능이 저하되는 경우가 흔한 반면, 회귀 예측 성능은 보정 성능의 신뢰할 수 있는 지표가 되지 못합니다. 앙상블은 예측 성능을 향상시키지만 PPD의 보정을 일관되게 개선하지는 않으며, TFM은 적합성 사후 처리(conformal post-processing)로부터 얻는 이점이 거의 없어 하위 집단 간의 격차를 안정적으로 해결하지 못합니다. 따라서 신뢰할 수 있는 TFM을 선택하기 위해서는 단순한 종합 순위를 넘어 다차원적인 평가가 필요합니다. 코드는 https://github.com/Tianqi-Zhao/TabReliBench 에서 확인할 수 있습니다.
TabMF: 정형 데이터 파운데이션 모델을 활용한 데이터셋 표현 학습
TabMF: Learning Dataset Representations with Tabular Foundation Models
지도학습 데이터셋의 표현(representation)은 데이터셋 검색 및 분포 변화(distribution shift) 모니터링과 같은 상위 수준의 머신러닝 작업을 지원합니다. 그러나 기존 접근 방식은 일반적으로 수작업으로 설계된 메타 피처나 표현 학습만을 위해 특별히 학습된 데이터셋 인코더에 의존합니다. 본 논문에서는 사전학습된 정형 데이터 파운데이션 모델(TFM)을 지도학습 데이터셋의 인코더로 재활용하는 프레임워크인 TabMF를 소개합니다. TabMF는 예측형 TFM에 구조를 고려한 데이터셋 수준의 리드아웃(readout)을 장착하고, 합성 지도학습 데이터셋의 확률적 뷰(stochastic view)에 대한 대조 사후 학습(contrastive post-training)을 사용하여 모델을 엔드투엔드로 적응시킵니다. TabICLv2 및 TabPFN-2.5에 TabMF를 적용하고, 미확인 실제 데이터셋을 대상으로 6개 작업에 걸쳐 도출된 표현을 평가합니다. 가중치를 고정한(frozen) 단순 TFM 리드아웃만으로도 경쟁력 있는 표현이 생성되며, 이는 예측 사전학습이 이미 상당한 수준의 데이터셋 차원 구조를 유도함을 시사합니다. 두 가지 TabMF 인코더는 평가된 학습 기반 및 고전적 데이터셋 표현 중 가장 강력한 종합 성능을 달성했으며, 특히 데이터셋 검색, 압축 벤치마크 구축, 분포 변화 심각도 평가에서 뛰어난 성과를 보였습니다.
같은 쿼리, 다른 답변: 시맨틱 쿼리 처리에서의 실행 간 변동성
Same Query, Different Answer: Run-to-Run Variance in Semantic Query Processing
시맨틱 쿼리 엔진은 대규모 언어 모델(LLM)에 개별 행을 판단하도록 요청하며, 벤치마크는 온도(temperature) 0에서 몇 차례 실행한 품질을 바탕으로 이러한 엔진들을 비교합니다. 본 연구에서는 또 다른 실행에서 결과가 얼마나 달라지는지 측정합니다. 우리는 SemBench, LRO-Bench, UDA-Bench의 텍스트 및 테이블 워크로드를 각 벤치마크의 하네스를 통해 재실행하여 120만 건의 모델 호출을 모두 기록하고, SemBench의 공개된 실행 결과를 재분석했습니다. 온도 0에서도 5회 실행 동안 모델에 따라 0.07%에서 10.2%의 행이 연산자 출력을 변경했으며, 특정 태스크에서는 최대 24.0%에 달했습니다. 가능 세계 모델(possible-worlds model)이 예측하듯이, 쿼리 플랜은 답변이 노출하는 행의 수에 따라 이러한 변화를 지수적으로 증폭시킵니다. UDA-Bench에서는 추출된 값 중 소수 퍼센트만 변경되었음에도 답변의 약 3분의 2가 변경되었습니다. SemBench의 공개 결과에서는 결정론적 플랜을 사용하는 엔진을 포함하여 텍스트 결과의 21%가 실행 간에 품질 변화를 보였습니다. 쿼리별 시스템 비교 다수와 LRO-Bench의 구현 권장사항 테스트 28개 중 16개는 벤치마크가 수행한 실행만으로는 결론을 내릴 수 없었습니다. 변경되는 행은 모델 간에 서로 의견이 일치하지 않는 행이며, 단일 실행 내의 동일한 요청 간 불일치 빈도는 서로 다른 실행 간의 불일치 빈도만큼이나 잦았습니다. 또한 단일 실행의 결정 마진(decision margin)이나 추론 길이를 통해 어떤 행이 변경될지 예측할 수 있습니다. 보팅(voting)은 분산을 줄이지만 완전히 제거하지는 못하며, 보정된 캐스케이드(calibrated cascade)는 반환하는 행이 변경되는 와중에도 보장성을 유지합니다. 우리는 이를 바탕으로 벤치마크를 위한 보고 규칙과 엔진을 위한 설계 규칙을 도출합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.