arXiv:2607.28637v1 cs.CL

ZeroR@CHiPSAL 2026: 네팔어 밈 분류를 위한 대조 학습 기반 2단계 비전-언어 적응

ZeroR@CHiPSAL 2026: Two-Stage Vision-Language Adaptation with Contrastive Learning for Nepali Meme Classification

Nitiz Khanal

제출 2026-05-19

한국어 초록

본 논문에서는 네팔어 밈에서의 멀티모달 혐오 발언 및 감성 탐지를 다루는 CHiPSAL 2026 공유 태스크를 위한 당사의 시스템을 소개합니다. 당사는 이진 혐오 발언 분류와 3개 클래스 감성 분석(sentiment analysis)이라는 두 가지 세부 과제를 모두 다룹니다. 당사의 접근 방식은 데바나가리(Devanagari) 문자를 기본 지원하는 최첨단 비전-언어 모델(VLM)인 Qwen3-VL-8B-Instruct를 활용하여 RA-HMD(Robust Adaptation of Hateful Meme Detection) 프레임워크를 적용합니다. 당사는 2단계 학습(training) 파이프라인을 채택합니다: (1) 생성형 분류를 위한 MLP 프로젝션 헤드가 결합된 LoRA 미세조정(fine-tuning), (2) 지도 InfoNCE 손실(loss)을 활용한 대조 백본 미세조정. 당사는 소수 클래스 오버샘플링, 이미지 증강, 초점 손실(focal loss)을 통해 클래스 불균형 문제를 해결합니다. 추론(inference) 시에는 검증(validation) 단계에서 튜닝된 가중치를 사용하여 1단계 토큰(token) 확률과 2단계 분류기 점수를 앙상블(ensemble)합니다. 당사의 엔드투엔드 접근 방식은 모델 자체의 데바나가리 이해 능력을 활용함으로써 별도의 OCR 및 번역 파이프라인에서 발생하는 오류 전파를 제거합니다. 당사의 시스템은 혐오 발언 탐지에서 2위(F1: 0.797), 감성 분석에서 4위(F1: 0.518)를 달성했습니다. 아울러 상세한 어블레이션 분석, 오류 분석, 그리고 저자원 남아시아 언어를 위한 대규모 비전-언어 모델 적응에 관한 인사이트를 제공합니다.

원문 초록

This paper presents our system for the CHiPSAL 2026 shared task on multimodal hate speech and sentiment detection in Nepali memes. We address both subtasks: binary hate speech classification and three-class sentiment analysis. Our approach adapts the Robust Adaptation of Hateful Meme Detection (RA-HMD) framework using Qwen3-VL-8B-Instruct, a state-of-the-art vision-language model with native Devanagari support. We employ a two-stage training pipeline: (1) LoRA fine-tuning with an MLP projection head for generative classification, and (2) contrastive backbone fine-tuning with supervised InfoNCE loss. We handle class imbalance through minority oversampling, image augmentation, and focal loss. At inference, we ensemble Stage 1 token probabilities with Stage 2 classifier scores using validation-tuned weights. Our end-to-end approach eliminates error propagation from separate OCR and translation pipelines by leveraging the model's native Devanagari understanding. Our system achieved \textbf{2nd place} on hate speech detection (F1: 0.797) and \textbf{4th place} on sentiment analysis (F1: 0.518). We provide detailed ablations, error analysis, and insights into adapting large vision-language models for low-resource South Asian languages.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.28637v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.