arXiv:2309.06517

Overview of Memotion 3: Sentiment and Emotion Analysis of Codemixed Hinglish Memes

Shreyash Mishra, S Suryavardan, Megha Chakraborty, Parth Patwa, Anku Rani, Aman Chadha, Aishwarya Reganti, Amitava Das, Amit Sheth, Manoj Chinnakotla, Asif Ekbal, Srijan Kumar

제출 2023-09-12

원문 초록

Analyzing memes on the internet has emerged as a crucial endeavor due to the impact this multi-modal form of content wields in shaping online discourse. Memes have become a powerful tool for expressing emotions and sentiments, possibly even spreading hate and misinformation, through humor and sarcasm. In this paper, we present the overview of the Memotion 3 shared task, as part of the DeFactify 2 workshop at AAAI-23. The task released an annotated dataset of Hindi-English code-mixed memes based on their Sentiment (Task A), Emotion (Task B), and Emotion intensity (Task C). Each of these is defined as an individual task and the participants are ranked separately for each task. Over 50 teams registered for the shared task and 5 made final submissions to the test set of the Memotion 3 dataset. CLIP, BERT modifications, ViT etc. were the most popular models among the participants along with approaches such as Student-Teacher model, Fusion, and Ensembling. The best final F1 score for Task A is 34.41, Task B is 79.77 and Task C is 59.82.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23493v1cs.CV공통 태그 Emotion Recognition, Misinformation

다중모달 정서 해석을 위한 토큰-영역 유도 교차 어텐션 융합

Token-Region Guided Cross-Attention Fusion for Multimodal Affect Interpretation

소셜 네트워크상의 다중모달 콘텐츠에 대한 자동 분석은 디지털 시대에 대중 정서와 정보 확산을 이해하기 위한 핵심 과제가 되었다. 그러나 인터넷 밈 분류는 시각적 단서와 내장된, 종종 스타일화된 텍스트 간의 복잡한 상호작용으로 인해, 특히 벵골어와 같은 저자원 언어에서는 여전히 계산적으로 어려운 과제로 남아 있다. 본 논문은 Multimodal Cross-Attention Fusion 프레임워크를 도입하여 벵골어 밈에서의 정치적 의도 탐지 문제를 다룬다. 먼저 비전-언어 모델(Vision-Language Model)을 활용하여 노이즈가 많은 밈 이미지로부터 고품질 OCR 텍스트를 추출한다. 이어서 시각 및 텍스트 특징을 인코딩하고, 의미 토큰을 시각 영역과 정렬하는 교차 모달 다중 헤드 어텐션 메커니즘을 통해 이를 융합한다. 또한 도메인 특화 정치 어휘집을 지식 사전(knowledge prior)으로 통합하는 방안을 탐구한다. PoliMemeDecode1 데이터셋에 대한 실험 평가 결과, 우리의 어텐션 기반 융합은 단일 모달 기준선 및 표준 연결(concatenation) 방법을 크게 능가하며, 약 0.94의 최첨단 Macro-F1을 달성하였다. 해석 가능성 분석은 또한 모델이 텍스트 의미를 시각적 증거에 효과적으로 그라운딩(grounding)하도록 학습함을 확인한다.

arXiv:2604.24197v4cs.CL공통 태그 Misinformation

보는 것이 더 이상 믿는 것이 아닐 때: 프론티어 이미지 생성 모델, 합성 시각적 증거, 그리고 현실 세계의 위험

Seeing Is No Longer Believing: Frontier Image Generation Models, Synthetic Visual Evidence, and Real-World Risk

이미지 생성 시스템은 그럴듯한 사진, 판독 가능한 문서, 사람과 장소에 대한 일관된 묘사를 만들어 낼 수 있다. 이러한 결과물이 실제 사건의 기록으로 제시되면 뉴스, 금융, 신원 확인, 의료, 법률 분야의 의사결정에 영향을 미칠 수 있다. 이 서술형 리뷰는 2026년 10월 1일까지 확인 가능한 공개 모델 문서, 사고 보고서, 실증 연구, 거버넌스 자료, 그리고 영어와 중국어로 된 실무자 논평 사례를 검토한다. 우리는 제공사의 성능 주장, 문서화된 사고, 실험 결과, 앞으로 발생할 수 있는 피해 경로를 구분한다. 사실감, 텍스트 렌더링, 참조 일관성, 대화형 편집, 검색 기반 근거화, 낮은 생성 비용은 합성 이미지가 증거로서의 비중을 얻는 조건을 형성한다. 문서화된 사례는 조작된 시각 자료가 공공 및 기관의 업무 흐름에 유입되는 방식을 보여 주지만, 공개 보고만으로는 현재 출시된 모델의 오용 확산 정도를 측정할 수 없다. 제공사의 안전장치, 출처 증명 자격 정보, 워터마크, 플랫폼 라벨, 법적 의무를 비교한 결과, 출처 신호만으로는 묘사된 사건이나 거래를 검증할 수 없음이 드러난다. 우리의 프레임워크는 산출물 유형과 의사결정의 중요도를 구체적인 통제 수단에 대응시킨다. 중대한 결정에는 인증된 원본 기록, 독립적인 채널을 통한 교차 확인, 조치 전의 비례적 검토가 필요하다.

arXiv:2607.07824v2cs.MA공통 태그 Emotion Recognition

CPM-MultiAgent: 의료 대화에서 환자 감정의 동적 변화를 시뮬레이션하기 위한 CPM 기반 평가(appraisal) 프레임워크

CPM-MultiAgent: A CPM-Grounded Appraisal Framework for Simulating Dynamic Patient Emotional Evolution in Healthcare Dialogue

대규모 언어 모델(LLM)은 학습자가 임상 정보, 우려, 감정적 반응에 대응하는 연습을 하는 의료 커뮤니케이션 교육을 위한 환자 시뮬레이션을 가능하게 한다. 그러나 기존의 환자 시뮬레이션 및 정서 대화 시스템은 환자의 감정을 정적인 속성으로 표현하거나 감정 인식과 공감적 응답 생성에 초점을 맞추는 경우가 많다. 이들은 의료 전문가의 커뮤니케이션에 반응하여 시뮬레이션된 환자의 감정 상태가 어떻게 변화하는지를 모델링하는 데 제한적인 지원만을 제공한다. 환자 감정의 변화는 학습자가 대화 턴 전반에 걸쳐 인식하고 대응해야 하는 상호작용적 피드백이 된다. 본 연구는 감정을 사건 평가(appraisal)에 의해 형성되는 동적 과정으로 설명하는 심리학 이론인 구성요소 과정 모델(CPM)을 활용한다. 의료 커뮤니케이션 교육에서 동적 환자 감정 시뮬레이션을 위한 CPM 기반 멀티 에이전트 프레임워크인 CPM-MultiAgent를 제안한다. 이 프레임워크는 의학 문헌과 전문가 의견을 반영한 감정 분류 체계를 사용하며, 환자의 프로필, 임상 맥락, 이전 감정 상태를 고려하여 의료 관련 트리거 식별, 구조화된 CPM 평가, 감정 상태 통합을 통해 감정 상태를 갱신한다. 학생 주도 대화와 통제된 트리거 사례를 통해 프레임워크를 평가하며, 간호 전문가 평가, LLM 판정자 비교, 구성요소 제거 실험, 백본 점검, 학생 피드백을 결합하였다.

arXiv:2607.13920v2cs.CL공통 태그 Misinformation

DeepStress: 딥 검색 에이전트 스트레스 테스트

DeepStress: Stress-Testing Deep Search Agents

검색 에이전트는 다단계 질의응답에서 인상적인 능력을 보이지만, 품질이 낮은 증거에 대한 견고성은 충분히 연구되지 않았다. 이러한 증거는 벤치마크 코퍼스에서 드물며, 그로 인한 실패는 재현하기 어렵다. 우리는 에이전트에 열화된 증거를 통제된 비율로 제공하는 동적 스트레스 테스트 프레임워크인 DeepStress를 제안한다. 이 프레임워크는 검색 모듈을 질의마다 문서가 동적으로 생성되는 합성 환경으로 대체하며, 문서의 신뢰성, 관련성, 사실성을 독립적으로 제어한다. 스트레스 상황에서의 행동을 규명하기 위해, 이진 정확도를 넘어 최종 답변 결과에 대한 5가지 분류와, 신중한 행동을 인정하고 계산 비용을 반영하는 두 가지 새로운 신뢰성 인지 지표인 RAS와 CoPRAS를 도입한다. HotpotQA와 BrowseComp-Plus의 질문으로 12개 시스템을 평가한 결과, 여러 오픈 웨이트 에이전트가 출처에 명백한 신뢰성 경고 신호가 있을 때도 자신 있게 답하며, 많은 HotpotQA 질문이 반환된 모든 문서가 사실과 다른 경우에도 파라미터 지식으로 답해진다는 것을 확인하였다.

arXiv:2511.21245v4cs.CV공통 태그 Emotion Recognition

FIELDS: 직접 지도학습을 통한 표정의 정확한 추론을 갖춘 얼굴 재구성

FIELDS: Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision

단안 3D 얼굴 복원은 단일 이미지로부터 3D 변형 가능 얼굴 모델(3DMM)의 매개변수를 추정하여 얼굴 표정 분석을 위한 명시적 기하 표현을 제공한다. 짝지어진 2D 이미지와 3D 얼굴 메시가 부족하기 때문에 대부분의 방법은 예측된 얼굴을 렌더링하고 입력 이미지에 대한 광도 오차와 랜드마크 오차 같은 이미지 수준 복원 손실을 최소화하는 자기지도 방식으로 학습된다. 그러나 이러한 손실은 시각적 정렬을 강제할 뿐 예측된 매개변수가 정서 정보를 보존함을 보장하지는 않는다. 최근 방법들은 이미지 수준의 감정 일관성 손실을 추가하지만, 이는 얼굴 변형을 과장함으로써 충족될 수 있다. 이러한 문제를 해결하기 위해 우리는 FLAME 매개변수 공간에서 정서 정보를 담은 표정 표현을 학습하는 FIELDS(Face reconstruction with accurate Inference of Expression using Learning with Direct Supervision)를 제안한다. 구체적으로 FIELDS는 2D 자기지도 복원에 스캔 기반 표정 앵커링과 매개변수 공간 감정 손실을 보강한다. 학습 중 스캔에 피팅한 목표값이 표정 관련 FLAME 매개변수를 직접 제약하여 과장된 변형을 억제하고, 함께 학습되는 감정 헤드는 이산 감정과 연속적인 감정가–각성도 주석을 사용하여 예측된 매개변수가 정서 분석에 유용한 정보를 담도록 한다. 실험 결과 FIELDS는 데이터셋 내부 및 데이터셋 간 설정 모두에서 예측된 매개변수의 정서적 효용을 향상시킨다. 특히 강체 정렬과 유사 변환 정렬 모두에서 비교 기준 모델들보다 전반적으로, 그리고 대부분의 얼굴 영역에서 더 낮은 복원 오차를 달성한다.

arXiv:2606.15920v3cs.CV공통 태그 Emotion Recognition

OmniOPSD: 감성 컴퓨팅을 위한 근거-특권 온-정책 자기증류

OmniOPSD: Rationale-Privileged On-Policy Self-Distillation for Affective Computing

멀티모달 대규모 언어 모델(MLLM)은 시각, 음향, 언어적 증거에 대한 섬세한 추론을 가능하게 하여 정서 컴퓨팅을 발전시켰다. 이들의 일반화를 향상시키는 핵심 접근법은 결과 기반 강화학습으로, 기존의 레이블 수준 주석을 최종 답의 정확성에 대한 보상으로 변환한다. 그러나 이 방식의 희소한 시퀀스 수준 지도는 멀티모달 정서 단서를 해석하는 데 필요한 세밀한 안내를 제한적으로만 제공하며, 단서를 잘못 해석한 경우에도 올바른 레이블에 보상을 줄 수 있다. 이 문제를 해결하기 위해 본 논문은 옴니모달 정서 추론을 위한 최초의 온폴리시 자기 증류 프레임워크인 OmniOPSD를 제안한다. OmniOPSD의 핵심은 참조 정서 판단을 의미적 사전 정보로 활용하여 최첨단 MLLM으로부터 오프라인으로 멀티모달 증거를 이끌어 냄으로써, 레이블 수준 지도를 증거가 풍부한 교사 전용 근거(rationale)로 변환하는 것이다. 근거 특권(rationale-privileged) 자기 증류를 통해 학생의 온폴리시 롤아웃과 로컬 자기 교사로부터 얻은 조밀한 증거 기반 토큰 수준 지도를 결합하며, 이에 따라 학생은 고정된 추론 흔적을 모방하는 대신 자신의 궤적을 따라 학습할 수 있다. 오프라인 증거 획득과 로컬 정책 학습의 이러한 분리는 추가적인 사람 주석, 최첨단 모델의 로짓, 또는 온라인 최첨단 모델 호출 없이도 학습을 가능하게 하며, 원래의 과제 입력만으로 학생 단독 추론을 수행하도록 유지한다. 3B와 7B 규모 모두에서 OmniOPSD는 도메인 내 및 도메인 외 평가 모두의 평균 macro-F1에서 지도 미세조정(SFT)과 그룹 상대 정책 최적화(GRPO)를 능가한다. 비교 모델 중에서 세 가지 입력 모달리티 설정 전반의 MER-UniBench 평균 기준 1위를 차지하며, 오디오–비디오–텍스트 입력에서 84.13에 도달하고, MME-Emotion 인식 점수(Rec-S)에서 최고점인 42.4를 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.