PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.05019v3cs.LG

Fusion-Free Multimodal Classification with Heterogeneous Deep Ensembles

In multimodal classification, late-fusion approaches classify concatenated modality-specific features extracted by unimodal neural networks. When modality imbalance is pronounced, various regularization techniques have been proposed to balance the learning process and overcome the inferior performance of late-fusion networks. In contrast, this work demonstrates that multimodal data can be effectively classified without any explicit modality fusion, using deep ensembles of unimodal networks. We systematically compare deep ensembles to late-fusion networks at equal parameter count and show that ensembles consistently outperform state-of-the-art late-fusion methods designed to address modality imbalance when trained from random initialization. This advantage also holds over intermediate-fusion techniques we evaluated and over hybrid methods that combine unimodal and multimodal classifiers. We propose and empirically validate a method for selecting the number of models per modality in an ensemble, avoiding computationally expensive exhaustive search. Under extreme modality imbalance and small ensemble sizes, the heuristic indicates that ensembles of unimodal models trained solely on the stronger modality are preferable. As the ensemble scales up, incorporating models from the weaker modality becomes beneficial. Both predictions align with our empirical findings. However, the heuristic becomes less reliable when the diversity of ensemble members is low. To systematically explore the challenges of optimizing multimodal models, we propose a synthetic multimodal framework that allows control over both the number of modalities and their predictive strength. Our findings are consistent across synthetic and real-world datasets. Finally, by fitting scaling laws to bimodal datasets, we estimate the asymptotic performance of ensembles.

arXiv:2609.26907v1cs.MM

작은 단서, 큰 결과: 멀티모달 밈 분류를 위한 핵심 단서 학습

Small Cues, Big Consequences: Learning Pivotal Cues for Multimodal Meme Classification

밈(Meme)은 작지만 결정적인 시각적, 텍스트적 또는 크로스모달 단서로부터 유해하거나 혐오적이거나 풍자적인 의미를 도출하는 경우가 많습니다. 기존의 멀티모달 분류기(multimodal classifier)는 주로 전역적(global) 이미지-텍스트 표현에 의존할 때 이러한 증거를 놓칠 수 있습니다. 본 논문에서는 유해성, 혐오, 풍자에 걸친 9,895개의 밈으로 구성되고 핵심 증거의 모달리티와 근거를 식별하는 주석을 포함한 단서 중심 벤치마크인 MemeCF를 소개합니다. 또한 밈 분류(classification)를 위한 국소-전역(local-global) 아키텍처인 MemePIVOT을 제안합니다. MemePIVOT은 동결된(frozen) CLIP 특징, 무관한 증거는 매칭되지 않은 채로 남겨두면서 단어와 이미지 패치를 정렬하기 위한 불균형 최적 수송(unbalanced optimal transport), 불확실성 하에서 국소적 그라운딩(grounding)과 전역적 밈 문맥을 결합하는 증거 기반 융합 헤드(evidential fusion head)를 사용합니다. HarMeme, PrideMM, MemeCF에 대한 실험 결과, 강력한 텍스트 전용, 이미지 전용, 멀티모달 및 비전-언어(vision-language) 베이스라인 대비 일관된 성능 향상을 보여줍니다. 교차 데이터셋(cross-dataset) 및 어블레이션 결과는 명시적인 핵심 증거 모델링이 견고성을 향상시키며 전역 멀티모달 표현을 넘어 의미 있게 기여함을 추가로 보여줍니다. 코드와 데이터셋(dataset)은 https://github.com/AkshitSharma1/MemePIVOT 에서 공개적으로 이용 가능합니다.