PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.05019v3cs.LG

Fusion-Free Multimodal Classification with Heterogeneous Deep Ensembles

In multimodal classification, late-fusion approaches classify concatenated modality-specific features extracted by unimodal neural networks. When modality imbalance is pronounced, various regularization techniques have been proposed to balance the learning process and overcome the inferior performance of late-fusion networks. In contrast, this work demonstrates that multimodal data can be effectively classified without any explicit modality fusion, using deep ensembles of unimodal networks. We systematically compare deep ensembles to late-fusion networks at equal parameter count and show that ensembles consistently outperform state-of-the-art late-fusion methods designed to address modality imbalance when trained from random initialization. This advantage also holds over intermediate-fusion techniques we evaluated and over hybrid methods that combine unimodal and multimodal classifiers. We propose and empirically validate a method for selecting the number of models per modality in an ensemble, avoiding computationally expensive exhaustive search. Under extreme modality imbalance and small ensemble sizes, the heuristic indicates that ensembles of unimodal models trained solely on the stronger modality are preferable. As the ensemble scales up, incorporating models from the weaker modality becomes beneficial. Both predictions align with our empirical findings. However, the heuristic becomes less reliable when the diversity of ensemble members is low. To systematically explore the challenges of optimizing multimodal models, we propose a synthetic multimodal framework that allows control over both the number of modalities and their predictive strength. Our findings are consistent across synthetic and real-world datasets. Finally, by fitting scaling laws to bimodal datasets, we estimate the asymptotic performance of ensembles.

arXiv:2609.28165v1cs.LG

확신만으로는 부족하다: 최적화로 인한 비대칭적 확실성 이득이 멀티모달 분류를 저해한다

Confidence Falls Short: Asymmetric Certainty Gains from Optimization Hinder Multimodal Classification

멀티모달 학습(MML)은 모달리티 불균형 현상으로 인해 최적화 딜레마에 빠지며, 실제로 전반적인 성능이 최적에 미치지 못하는 결과를 낳습니다. 기존의 많은 시도는 이 문제를 해결하기 위해 주로 모달리티 간 최적화 동역학의 균형을 맞추는 데 초점을 두지만, 본 연구는 미묘하지만 결정적인 결함을 발견했습니다. 최적화가 예측 확실성(predictive certainty)에서 비대칭적인 이득을 만들어 강한 모달리티가 약한 모달리티보다 더 높은 확신을 갖게 되고, 이것이 모달리티 기여도의 불균형을 초래한다는 점입니다. 본 논문의 분석은 이 결함이 멀티모달 학습 자체가 아니라 단일 모달리티의 특성에서 비롯되며, 이러한 확신도 불일치는 긍정적인 교차 모달 개입(cross-modal intervention)으로 바로잡을 수 있음을 보여줍니다. 이러한 통찰을 바탕으로, 모달리티의 의미적 확신도에 동적으로 개입하는 멀티모달 Max Confidence Regularization(MaxCR)을 제안합니다. 구체적으로, 각 모달리티의 의미적 확신도는 비선형 희소성(sparsity) 척도를 사용해 추적합니다. 그런 다음 이 척도를 기반으로 max suppression과 max excitation을 설계하여 각각 강한 모달리티와 약한 모달리티를 정규화(regularization)합니다. 이들은 top-1 확신도를 각각 억제하고 촉진함으로써 멀티모달 예측을 제약합니다. 이를 통해 강한 모달리티와 약한 모달리티 모두 보정된(calibrated) 확신도를 갖게 되어 전반적인 성능이 향상될 것으로 기대됩니다. 널리 사용되는 데이터셋에서 수행한 실험 결과, 본 방법은 다양한 최첨단(SOTA) 멀티모달 학습 베이스라인과의 비교에서 우수성을 보였습니다.