PyTorchKR Papers

최신 논문

총 65편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.27539v2cs.SI

멀티모달 그래프 기반 소셜 미디어 인기 예측 벤치마킹

Benchmarking Multi-Modal Graph-based Social Media Popularity Prediction

Social media popularity prediction aims to forecast the future reach or influence of online content from early-stage observations. Accurate prediction enables key downstream applications, such as advertising optimization and strategic content planning by users, creators, and platforms. Despite substantial progress, existing popularity prediction works often fail to jointly consider multimodal content and temporal social interaction signals. Moreover, the literature remains highly fragmented across datasets, modalities, observation windows, prediction targets, and evaluation protocols. This fragmentation prevents fair comparison and obscures a systematic understanding of how textual, visual, temporal, and interaction-based signals jointly shape popularity dynamics. To address these challenges, we introduce MMG-Pop, a Multi-modal Graph-based Popularity Prediction benchmark, which unifies datasets, modalities, temporal interaction signals, and representative baselines under a standardized evaluation protocol. Furthermore, we propose MMG-PopNet, a unified multi-modal graph-based network that jointly models the aforementioned multi-modal signals and graph-structured social interactions. Extensive experiments on MMG-Pop across Bluesky and Reddit platforms demonstrate the superior performance of MMG-PopNet and yield new insights into cross-platform training generalization, multi-task prediction benefits, multi-modality contributions, and LLM prediction limitations. These findings establish a foundation for future research on social dynamics modeling and intervention under heterogeneous modalities and socially-aware agentic ecosystem paradigms.

arXiv:2610.11057v1cs.CV

노이즈가 있는 지도 환경의 멀티모달 학습에서 신뢰할 대상을 학습하기

Learning What to Trust in Multimodal Learning under Noisy Supervision

멀티모달 분류(multimodal classification)는 보다 정확한 예측을 달성하기 위해 여러 모달리티의 정보를 처리하고 연계합니다. 그러나 기존 방법들은 일반적으로 실제 환경에서 얻기 어려운 고품질의 정답 라벨에 의존합니다. 노이즈 라벨 환경에서의 학습을 위한 샘플 선택 방법들은 노이즈가 포함된 데이터에서 올바르게 라벨링된 예제를 식별하는 것을 목표로 하지만, 전통적인 방식들은 주로 단일 모달(unimodal) 설정에 초점을 맞추어 멀티모달 정보를 완전히 활용하지 못합니다. 이는 멀티모달 학습에서 더 신뢰할 수 있는 노이즈 탐지기를 구축하도록 동기를 부여합니다. 이를 위해 본 연구에서는 표현 구조와 노이즈 탐지 능력 간의 관계를 이론적으로 분석합니다. 이러한 분석을 바탕으로, 라벨 노이즈 탐지를 위해 융합된 표현과 단일 모달 표현을 함께 사용하는 멀티모달 라벨 노이즈 탐지 프레임워크인 REFINE을 제안합니다. 구체적으로, REFINE은 타깃 클래스와 배경 클래스의 판별 분석을 통해 판별 고유벡터(discriminative eigenvector)를 구성하고, 각 클래스별로 노이즈 탐지 능력이 더 우수한 신뢰할 수 있는 표현 공간을 선택합니다. 각각의 신뢰할 수 있는 공간 내에서 REFINE은 각 인스턴스 표현과 판별 고유벡터 간의 정렬(alignment)을 측정합니다. 그런 다음 이러한 공간에서 선택된 하위 집합들을 결합합니다. 결합된 집합은 멀티모달 분류기를 업데이트하기 위한 더 깨끗한 지도 신호를 제공함으로써 학습(training) 중 잘못 라벨링된 예제의 영향을 줄이고 모델(model) 일반화를 향상시킵니다. 다양한 태스크에 걸친 광범위한 실험을 통해 기준선(baseline) 방법들과 비교하여 REFINE의 우수성을 입증합니다. 소스 코드는 공개될 예정입니다.

arXiv:2610.10648v1cs.LG

알츠하이머병 연구의 진단 및 진행 예측을 위한 정보 누출 제어 다중 모달 학습

Leakage-Controlled Multimodal Learning for Diagnosis and Progression Prediction in Alzheimer's Disease Research

알츠하이머병(Alzheimer's disease) 예측은 불규칙한 방문 주기, 이종의 측정값, 불완전한 모달리티 문제를 수반합니다. 본 연구에서는 맞춤형 SFCN MRI 인코더, 4개의 인과적 임상 트랜스포머(clinical Transformer), 공유 융합 모듈, 과업별 ODE-GRU 역학을 결합한 다중 모달 다중 과업(multimodal multitask) 프레임워크를 제안합니다. 미세조정(fine-tuning)과 LoRA를 적용해 마지막 두 개의 MRI 블록을 적응시킵니다. Task-DRO는 과업 간 손실의 균형을 맞추며, Group-CVaR은 코호트 및 동반 질환 계층을 목표로 합니다. 브랜치별 입력 제어, 피험자 그룹화 분할, 경험적 인과성 검증을 통해 종단적 평가를 지원합니다. ADNI, OASIS-2, MIRIAD의 2,649명 피험자와 17,317회 방문 데이터를 기반으로 한 내부 검증에서, 진단, 1단계 진행, 첫 1단계 방문 진행의 AUROC는 각각 0.935 +/- 0.002, 0.884 +/- 0.003, 0.870 +/- 0.005를 기록했습니다(3개 시드에 대한 평균 +/- 표준편차). 상응하는 하이브리드 AUROC는 각각 0.951, 0.909, 0.896입니다. 다음 방문 시점의 MMSE 평균 절대 오차(MAE)는 1.61점이며, 최하위 계층의 진단 AUROC는 0.827 +/- 0.008입니다. 샘플링된 ADNI 설명 분석을 통해 과업별 입력 의존성을 식별했습니다. OASIS-3 외부 검증에서는 네트워크 및 하이브리드 진단 AUROC가 각각 0.763과 0.767, 하이브리드 다음 방문 진행 AUROC가 0.764를 기록했고, 진단 캘리브레이션 오차는 0.197에서 0.052로 감소했으며, 다음 방문 MMSE MAE는 0.86을 나타냈습니다. 시드 42에 대한 6개 구성 요소의 대응 절제 연구(ablation study) 결과, 풀링된 진단 및 진행 AUROC 차이는 -0.004에서 +0.004 사이로 나타났으며, 임상 인코더 입력을 제거하면 진단 AUROC가 0.272 감소했습니다. 본 프레임워크는 종단적 예측, 결측 모달리티 처리, 보조 동반 질환 모델링, 하위 그룹 평가를 단일 파이프라인 내에 통합합니다.

arXiv:2609.12035v3cs.AI

심장 전체 읽기: 다중모달 심장 표현 학습을 위한 잠재 어텐션 마스크 오토인코더

Reading the Whole Heart: Latent-Attention Masked Autoencoders for Multimodal Cardiac Representation Learning

심혈관 질환의 진단과 치료는 심전도(electrocardiogram), 심초음파(echocardiography), 흉부 X선(chest X-rays)과 같이 심장 병태생리의 서로 다르지만 상호보완적인 측면을 포착하는 상호보완적 모달리티들의 통합에 기반합니다. 그러나 대부분의 의료 파운데이션 모델은 여전히 특정 모달리티에 국한되어 있으며, 파인튜닝(fine-tuning)이나 사후 학습(post-training) 단계에서만 모달리티들을 결합합니다. 이는 임상의들이 자연스럽게 통합하는 교차 모달 증거를 버리고 각 모달리티 내부의 구조를 무시합니다. 본 논문에서는 자기지도 사전학습(self-supervised pre-training) 과정에서 환자 수준의 표현을 공동으로 학습하는 다중모달(multimodal) 구조 인식 마스크 오토인코더인 Latent-Attention Masked Autoencoder(LAMAE)를 제안합니다. 사후에 모달리티를 융합하는 대신, LAMAE는 검사-뷰-개체(study-view-entity) 계층 구조에 걸쳐 작동하는 공유 잠재 어텐션(latent-attention) 모듈을 통해 잠재 공간에서 직접 정보를 교환함으로써 다양한 관찰 결과의 집계와 누락된 모달리티 처리를 가능하게 합니다. 50만 건 이상의 MIMIC-IV 입원 기록을 대상으로 사전학습된 LAMAE는 원내 사망률, ICD-10 및 DRG 코딩, 입원 기간과 같은 다중모달 입원 과제 전반에서 모달리티별 사전학습과 강력한 대조 학습 및 비전-언어 베이스라인을 능가하는 동시에, 단일 모달 과제에서도 경쟁력 있는 성능을 유지합니다. 이러한 구조를 모델링하는 것은 단일 모달리티 내에서도 효과를 발휘하여, 교차 모달 정보가 없더라도 잠재 어텐션 모듈은 모달리티별 사전학습 대비 표현력을 향상시킵니다.

arXiv:2602.00811v2cs.AI

MissMAC-Bench: 강건한 멀티모달 정서 컴퓨팅의 모달리티 결측 문제를 다루기 위한 견고한 벤치마크 구축

MissMAC-Bench: Building Solid Benchmark for Missing Modality Issue in Robust Multimodal Affective Computing

현재의 멀티모달 정서 컴퓨팅(Multimodal Affective Computing, MAC) 시스템은 인간의 정서 상태를 정확히 이해하기 위해 여러 모달리티의 완전성에 크게 의존하고 있습니다. 그러나 실제 환경에서는 모달리티 데이터의 가용성이 동적이며 불확실한 경우가 많고, 불완전한 멀티모달 입력으로 인한 분포 변화와 의미적 결손으로 인해 상당한 성능 변동이 발생합니다. 모달리티 결측(missing modality) 문제로 알려진 이 과제는 MAC 모델의 강건성과 실제 배포에 중대한 장벽이 됩니다. 이러한 문제를 체계적으로 정량화하기 위해, 본 논문에서는 교차 모달 시너지(cross-modal synergy) 관점에서 공정하고 통일된 평가 표준을 정립하도록 설계된 포괄적인 벤치마크인 MissMAC-Bench를 소개합니다. 더 나은 일반화를 보장하기 위해 학습(training) 중 결측에 대한 사전 지식을 가정하지 않는 원칙과, 완전한 모달리티 및 불완전한 모달리티 시나리오를 모두 처리할 수 있는 단일 모델(model)을 요구하는 두 가지 가이드라인을 제안합니다. 나아가 학술 연구와 실제 응용 간의 간극을 좁히기 위해, 본 벤치마크는 데이터셋(dataset) 및 인스턴스 수준에서 고정 및 무작위 결측 패턴을 모두 포함하는 평가 프로토콜을 통합합니다. 4개 데이터셋에 걸쳐 널리 사용되는 3개 언어 모델을 대상으로 수행한 광범위한 실험을 통해, 모달리티 결측 문제를 해결하는 다양한 MAC 접근법의 유효성을 검증합니다. 본 벤치마크는 강건한 MAC의 발전을 위한 견고한 기반을 제공하며 멀티미디어 데이터 마이닝의 발전을 촉진합니다. 코드는 https://github.com/RH-Lin/MissMAC-Bench 에 공개되어 있습니다.

arXiv:2511.17776v2cs.LG

PrismSSL: 하나의 인터페이스, 다양한 모달리티; 멀티모달 자기지도학습을 위한 단일 인터페이스 라이브러리

PrismSSL: One Interface, Many Modalities; A Single-Interface Library for Multimodal Self-Supervised Learning

본 논문에서는 오디오, 비전, 그래프 및 크로스모달(cross-modal) 환경 전반의 최신 자기지도학습(SSL) 방법들을 단일 모듈형 코드베이스로 통합한 파이썬 라이브러리인 PrismSSL을 소개합니다. 본 데모의 목표는 연구자와 실무자가 (i) 몇 줄의 코드만으로 사전 작업 학습(pretext training)을 설치, 설정 및 실행하고, (ii) 간결한 벤치마크를 재현하며, (iii) 깔끔한 트레이너 및 데이터셋 추상화를 통해 프레임워크를 새로운 모달리티나 방법으로 확장할 수 있는 방법을 보여주는 것입니다. PrismSSL은 PyPI에 패키징되어 MIT 라이선스로 배포되며, HuggingFace Transformers와 긴밀하게 연동되고, PyTorch 기반 분산 학습, Optuna 기반 하이퍼파라미터 탐색, 트랜스포머 백본을 위한 LoRA 미세조정, 온전성 검사(sanity check)를 위한 애니메이션 임베딩 시각화, Weights & Biases 로깅, 사용 편의성과 가독성 향상을 위한 다채로운 구조화된 터미널 로그와 같은 다양한 편의 기능을 제공합니다. 또한 PrismSSL은 Flask 및 표준 웹 기술로 구축된 그래픽 대시보드를 제공하여 사용자가 최소한의 코딩으로 학습 파이프라인을 구성하고 실행할 수 있도록 지원합니다. 본 연구의 결과물(코드 및 데이터 레시피)은 공개되어 재현 가능하도록 제공될 예정입니다.

arXiv:2508.17497v3cs.LG

의미적 관계를 조건으로 하는 다중모달 표현 학습

Multimodal Representation Learning Conditioned on Semantic Relations

다중모달(multimodal) 표현 학습은 쌍을 이루는 이미지-텍스트 샘플을 정렬하여 공유된 임베딩(embedding) 공간을 학습하는 CLIP과 같은 대조 모델(contrastive model)을 중심으로 주로 발전해 왔습니다. 이러한 모델은 범용 표현 학습에는 효과적이지만, 일반적으로 샘플당 단일 임베딩을 생성하여 다양한 의미적 관계와 맥락 전반에서 이를 재사용합니다. 그러나 많은 실제 응용 분야에서 샘플 간의 관련성은 본질적으로 관계에 따라 달라지며, 서로 다른 의미적 관계는 다중모달 데이터의 서로 다른 측면을 강조합니다. 본 연구에서는 의미적 관계를 다중모달 표현 학습의 명시적 조건으로 다루는 프레임워크인 RCML(Relation-Conditioned Multimodal Learning)을 제안합니다. 관계에 무관한 임베딩을 생성하는 대신, RCML은 자연어 관계 설명을 조건으로 하는 표현을 학습하여 동일한 샘플이라도 서로 다른 관계 맥락에서 다르게 표현될 수 있도록 합니다. 이 프레임워크는 관계를 인식하는 학습(training) 쌍을 구성하고, 임베딩을 관계 의미론에 적응시키는 관계 조건 모듈을 도입하며, 통합 대조 목적 함수를 사용하여 모달 간 정렬과 관계 기반 샘플 간 구조를 함께 모델링합니다. 여러 데이터셋(dataset)에 대한 실험 결과, RCML은 제로샷(zero-shot), 파인튜닝(fine-tuning) 및 도메인 외(out-of-domain) 환경의 검색 및 분류(classification) 태스크에서 강력한 베이스라인들을 일관되게 능가함을 보여주며, 의미적 관계를 활용하여 다중모달 표현 학습을 유도하는 방식의 효과성을 입증합니다.

arXiv:2508.16748v2cs.LG

FairSSL: 공정한 멀티모달 자기지도학습

FairSSL: Fair Multimodal Self-Supervised Learning

널리 사용되는 멀티모달 자기지도학습(SSL) 방법론들은 서로 다른 뷰(view)가 태스크와 관련된 상당한 양의 정보를 공유한다는 중복성(redundancy) 가정에 의존합니다. 본 연구에서는 이질성(heterogeneity, 예: 가변 길이의 의료 또는 행동 데이터)이 두드러지는 복잡한 실세계 환경에서는 이러한 가정이 무너지며, 엄격한 정렬(alignment)을 강제할 경우 고유한 모달리티별 신호가 손실되고 의도치 않게 바이어스가 증폭될 수 있음을 주장합니다. 이에 따라 본 논문에서는 데이터 이질성을 장애물이 아닌 공정성을 위한 자원으로 활용하는 프레임워크인 FairSSL을 제안합니다. 일반적인 대조 학습(contrastive learning) 방식과 달리, FairSSL은 동일한 피험자(subject)로부터 추출된 세그먼트 간의 정렬을 강제하는 피험자 인지 기반 분산-불변성-공분산 정규화(Variance-Invariance-Covariance Regularization) 목적 함수를 사용합니다. 가변 길이 모달리티를 다루기 위해 세그먼트 기반 풀링 전략을 도입하며, (i) 충분한 피험자 내 변동성(within-subject variability), (ii) 교차 모달 및 교차 피험자 불변성(cross-modal and cross-subject invariance), (iii) 표현 비상관화(representation decorrelation)를 유도하도록 표현을 정규화합니다. 이론적 분석을 통해 본 목적 함수가 보호 집단 간의 점수 격차를 제한함을 보입니다. 실증적으로 FairSSL은 이질적 멀티모달 데이터셋에서 기존 베이스라인 모델들을 크게 능가하며, 다운스트림 예측 성능을 저하시키지 않고도 공정성을 개선합니다. 코드는 https://github.com/abtinmU/FairSSL 에서 확인할 수 있습니다.

arXiv:2610.02123v1cs.CV

효율적인 적응을 위한 멀티모달 전문가 혼합(MoE) 모델 내 도메인 전문 전문가 활용

Harnessing Domain Specialists in Multimodal Mixture-of-Experts for Efficient Adaptation

전문가 혼합(MoE) 아키텍처는 각 토큰을 소수의 전문가 하위 집합으로만 라우팅하는 희소 계산을 통해 모델 용량을 확장합니다. 본 연구에서는 이러한 희소성(sparsity)이 멀티모달 MoE에서 창발적인 내재적 조직화로 이어지는지 탐구합니다. 그 결과, 모듈성을 위해 명시적으로 학습되지 않았음에도 불구하고 전문가들이 모달리티와 도메인 전반에 걸쳐 강력한 의미론적 전문화를 발전시킨다는 것을 발견했습니다. 이러한 구조를 기반으로, 라우터 가중치를 의미론적으로 유의미한 어휘 토큰으로 디코딩하여 사전학습된 모델 가중치로부터 직접 도메인 전문 전문가를 식별하는 데이터 프리(data-free) 방식인 ExpertLens를 소개합니다. 우리는 타깃 도메인과 관련된 전문가를 선택적으로 미세조정(fine-tuning)함으로써 효율적인 멀티모달 적응에 이러한 전문화를 활용합니다. 수학, 의료, 원격 탐사 작업 전반에서 ExpertLens는 모델 파라미터의 21.7~47.0%만을 업데이트하고 평균 4.0배의 학습 속도 향상을 달성하면서도 전체 미세조정과 동등하거나 이를 능가하는 성능을 보였으며, 적응 성능과 학습 효율성 모두에서 LoRA를 능가했습니다. 이러한 결과는 효율성을 위해 도입된 희소성이 효율적인 적응에 직접적으로 유용한 의미론적 모듈성을 만들어낼 수 있음을 보여줍니다.

arXiv:2609.28165v1cs.LG

확신만으로는 부족하다: 최적화로 인한 비대칭적 확실성 이득이 멀티모달 분류를 저해한다

Confidence Falls Short: Asymmetric Certainty Gains from Optimization Hinder Multimodal Classification

멀티모달 학습(MML)은 모달리티 불균형 현상으로 인해 최적화 딜레마에 빠지며, 실제로 전반적인 성능이 최적에 미치지 못하는 결과를 낳습니다. 기존의 많은 시도는 이 문제를 해결하기 위해 주로 모달리티 간 최적화 동역학의 균형을 맞추는 데 초점을 두지만, 본 연구는 미묘하지만 결정적인 결함을 발견했습니다. 최적화가 예측 확실성(predictive certainty)에서 비대칭적인 이득을 만들어 강한 모달리티가 약한 모달리티보다 더 높은 확신을 갖게 되고, 이것이 모달리티 기여도의 불균형을 초래한다는 점입니다. 본 논문의 분석은 이 결함이 멀티모달 학습 자체가 아니라 단일 모달리티의 특성에서 비롯되며, 이러한 확신도 불일치는 긍정적인 교차 모달 개입(cross-modal intervention)으로 바로잡을 수 있음을 보여줍니다. 이러한 통찰을 바탕으로, 모달리티의 의미적 확신도에 동적으로 개입하는 멀티모달 Max Confidence Regularization(MaxCR)을 제안합니다. 구체적으로, 각 모달리티의 의미적 확신도는 비선형 희소성(sparsity) 척도를 사용해 추적합니다. 그런 다음 이 척도를 기반으로 max suppression과 max excitation을 설계하여 각각 강한 모달리티와 약한 모달리티를 정규화(regularization)합니다. 이들은 top-1 확신도를 각각 억제하고 촉진함으로써 멀티모달 예측을 제약합니다. 이를 통해 강한 모달리티와 약한 모달리티 모두 보정된(calibrated) 확신도를 갖게 되어 전반적인 성능이 향상될 것으로 기대됩니다. 널리 사용되는 데이터셋에서 수행한 실험 결과, 본 방법은 다양한 최첨단(SOTA) 멀티모달 학습 베이스라인과의 비교에서 우수성을 보였습니다.

arXiv:2609.27577v1cs.LG

VCMM: 멀티모달 학습을 위한 분산 보정 모멘텀

VCMM: Variance-Calibrated Momentum for Multimodal Learning

멀티모달 공동 학습(multimodal joint training)은 지배적인 모달리티가 다른 모달리티의 최적화를 억제하는 모달리티 불균형 문제를 자주 겪습니다. 기존 방법들은 주로 그래디언트의 크기나 방향을 조절하거나, 최적화 목적 함수를 수정하거나, 학습 전략을 조정하여 모달리티 학습의 균형을 맞추며, 대부분의 개입은 현재의 업데이트에 초점을 맞춥니다. 그러나 널리 사용되는 모멘텀 기반 옵티마이저와 결합될 경우, 업데이트에는 이전 그래디언트로부터 누적된 정보도 포함되며, 이는 현재 단계의 조절만으로는 명시적으로 해결되지 않습니다. 이러한 문제를 해결하기 위해, 모달리티별 그래디언트 동역학에 맞춰 그래디언트 메모리를 적응시키는 분산 보정 모멘텀(Variance-Calibrated MomentuM, VCMM)을 제안합니다. 구체적으로, VCMM은 미니배치 노이즈와 시간적 드리프트(temporal drift)를 온라인으로 추정하고, 칼만(Kalman)에서 영감을 얻은 제어기를 통해 이들의 상대적 강도를 활용하여 모달리티별 모멘텀을 결정합니다. 나아가 모달리티 간 제어 신호를 중앙화하고 시간에 따라 변하는 1차 모멘트에 대한 정확한 바이어스 수정을 적용함으로써, 추가적인 네트워크 패스나 명시적인 학습률 스케일링 없이도 적응형 그래디언트 메모리를 구현합니다. 네 가지 멀티모달 벤치마크에 대한 실험은 적은 학습 오버헤드로 일관된 성능 향상을 입증합니다.

arXiv:2609.27554v1cs.LG

PhyMo: 다중모달 AI4Physics를 위한 물리장 모달리티

PhyMo: A Physical-Field Modality for Multimodal AI4Physics

다중모달 학습(Multimodal learning)은 물리 시스템을 예측할 때 이종의 관측치, 측정값, 도메인 지식에 대한 공동 해석이 요구되는 물리 특화 인공지능(AI4Physics)을 위한 강력한 패러다임으로 부상하고 있습니다. 그러나 기존 접근 방식은 일반적으로 물리량과 지배 방정식을 일반적인 수치 또는 텍스트 토큰(token)으로 표현하여, 이들의 시공간적 상호작용을 결정하는 물리적 제약 조건을 간과합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 물리장 모달리티(physical-field modality)를 도입하고 편미분 방정식(PDE) 관련 연산자를 통해 이종 측정값을 구성하는 물리 기반 다중모달 프레임워크인 PhyMo를 제안합니다. PhyMo는 3단계 학습(training) 절차를 따릅니다. 먼저 물리장 인코더를 PDE 잔여 오차 감독 하에 장 재구성을 통해 사전학습(pre-training)하고, 이후 그 표현을 공유 잠재 공간에서 시각적 임베딩(embedding)과 정렬(alignment)하며, 마지막으로 융합된 다중모달 표현을 해당 다운스트림 예측 헤드에서 처리합니다. 다양한 물리 환경에 걸친 5개의 데이터셋(dataset)에 대한 실험에서 PhyMo는 각 데이터셋의 가장 강력한 기준선(baseline) 대비 최고 성능(state-of-the-art)을 달성하여, AI4Physics의 다중모달 표현 학습에서 PhyMo의 우수성을 입증합니다.

arXiv:2609.16597v3cs.CV

수술 전 다중 모달 데이터를 이용한 정밀·포괄적 뇌종양 진단을 위한 비전-언어 파운데이션 모델

A Vision-Language Foundation Model for Precise and Comprehensive Brain Tumor Diagnosis from Preoperative Multimodal Data

BrainVLM을 개발하여 세계보건기구(WHO) 2021 분류의 12가지 뇌종양 유형을 모두 분류한다. BrainVLM은 예측 신뢰도를 나타내기 위한 불확실성 정량화(uncertainty quantification) 전략과 임상적 근거를 설명하기 위한 방사선학 보고서 생성 모듈을 통합한다. BrainVLM은 40,043명으로부터 수집한 다중 모달 데이터(MRI 스캔, 인구통계학적 정보, 방사선학 보고서)로 학습되었다. 병리학적으로 확인된 뇌종양 환자 5,211명에서 검증하였으며, 여기에는 주요 병원의 hold-out 환자 3,877명과 11개 독립 병원의 환자 1,334명이 포함된다. 또한 AI-임상의 워크플로에서의 임상적 유용성을 검증하기 위해 두 가지 개념 증명(proof-of-concept) 연구를 수행하였다. 1) 경험 수준이 다양한 12명의 신경방사선과 의사가 248건의 후향적 사례를 AI 지원 유무에 따라 해석한 맹검 다독자(multireader) 연구, 2) 수술 전 1,009명의 환자를 BrainVLM과 방사선과 의사가 각각 독립적이고 맹검적으로 평가한 실세계 전향적 연구이다. 추가로 632명의 다기관 코호트를 이용하여 성인형 diffuse glioma의 수술 전 분자 아형(subgroup) 예측에서 BrainVLM의 유용성을 입증하였다. 주요 평가에서 BrainVLM은 macro-AUC 0.85(95% CI: 0.84-0.86)와 F1 점수 0.82(95% CI: 0.81-0.83)를 달성하여 신경방사선과 의사(F1 = 0.80(95% CI: 0.79-0.81))를 능가하였다. 11개 센터에 걸친 외부 검증에서 BrainVLM은 AUC = 0.80(95% CI: 0.79-0.82) 및 F1 = 0.75(95% CI: 0.73-0.78)를 달성하였고, 신경방사선과 의사는 F1 = 0.71(95% CI: 0.69-0.73)이었다. 전향적 실세계 평가에서 BrainVLM은 신경방사선과 의사와 유사한 수준의 성능을 유지하였다.

arXiv:2412.00606v3cs.AI

모든 교차에서의 공정성: 다중모달 임상 예측에서 교차성 바이어스 발굴 및 완화

Fairness at Every Intersection: Uncovering and Mitigating Intersectional Biases in Multimodal Clinical Predictions

전자 의료 기록(Electronic Healthcare Records, EHR)을 활용한 자동화된 임상 의사결정에서의 바이어스는 환자 치료 및 치료 결과에 상당한 격차를 초래한다. 기존 접근법은 주로 단일 속성에서 기인하는 바이어스 완화 전략에 초점을 맞춰, 인종, 성별, 민족 등 다양한 인구통계학적 교차로 형성된 교차성 하위군(intersectional subgroups)을 간과해 왔다. 단일 속성 완화 전략을 교차성 하위군에 그대로 적용하는 것은 이러 하위군 간 분포와 바이어스 패턴의 차이로 인해 통계적으로 무의미해진다. EHR의 다중모달적 특성—텍스트, 시계열, 표 형식 데이터, 이벤트, 이미지 등 다양한 출처의 데이터 조합—은 소수 집단에 대한 영향이 모달리티마다 달라질 수 있어 복잡성을 한 층 더 더한다. 본 논문에서는 MIMIC-Eye1과 MIMIC-IV ED 등 광범위한 다중모달 데이터셋을 구축하여 예측에서 잠재적 교차성 바이어스를 발굴하는 초기 단계를 밟고, 교차성 하위군 수준에서의 완화를 제안한다. 우리는 다중모달 소스에서 통합 텍스트 표현을 학습하고, 사전학습된 임상 언어 모델(LM)인 MedBERT, Clinical BERT, Clinical BioBERT의 강력한 능력을 활용하여 데이터셋에서 하위 작업(downstream tasks) 수행·벤치마킹과 바이어스 평가를 수행한다. 실험 결과, 제안한 하위군별 바이어스 완화는 서로 다른 데이터셋, 하위군, 임베딩(embedding)에서 견고하게 나타나, 다중모달 환경에서 교차성 바이어스를 해소하는 데 효과적임을 보여 준다.

arXiv:2609.23533v1cs.CV

GeoBalance: 균형 잡힌 멀티모달 학습을 위한 기하학 인지 모니터링 및 재구성과 비대칭 최적화

GeoBalance: Geometry-Aware Monitoring and Reconstruction with Asymmetric Optimization for Balanced Multimodal Learning

멀티모달 분류기는 특정 모달리티가 결합 예측(joint prediction)을 지배하여 다른 모달리티의 학습을 억제하는 모달리티 지배적 해로 수렴할 수 있습니다. 기존의 불균형 완화 방법들은 주로 손실, 그래디언트(gradient) 또는 모달리티 기여도를 조정하며, 모달리티 불균형을 주로 최적화(optimization) 문제로 취급하는 동시에 취약한 모달리티를 최적화가 덜 되었을 뿐 표현적으로는 온전하다고 암묵적으로 간주합니다. 본 연구에서는 지속적인 모달리티 지배가 취약한 모달리티의 표현 수준 붕괴를 유발할 수 있으므로 이러한 가정이 항상 성립하지는 않음을 발견하고, 이를 다양체 모달리티 붕괴(manifold modality collapse, MMC)라고 명명합니다. MMC는 취약한 모달리티의 표현이 각 클래스 내에서 더 적은 방향으로 붕괴되고 클래스 간 구분이 어려워지는 결합된 기하학적 퇴보로 나타납니다. 이러한 관찰에 착안하여, 본 논문은 이 두 가지 기하학적 특성을 모니터링하고 MMC 징후를 보일 때만 취약한 모달리티 표현을 재구성하는 기하학 인지 프레임워크인 GeoBalance를 제안합니다. 일단 작동되면 GeoBalance는 고정된 Simplex-ETF 클래스 스캐폴드(scaffold)와 스펙트럼 정규화(regularization)를 사용하여 소수의 특징(feature) 방향으로의 붕괴를 방지하면서 클래스 분리도를 복원합니다. 결합 학습(joint training) 중에 재구성을 보존하기 위해 비대칭 그래디언트 투영은 재구성과 충돌하는 결합 그래디언트 성분을 제거하고 충돌하지 않는 최적화는 그대로 유지합니다. 6개의 멀티모달 벤치마크(benchmark)에 걸친 광범위한 실험을 통해 경쟁력 있는 불균형 완화 방법 대비 큰 폭의 성능 향상을 입증함으로써 그 효과를 검증합니다.

arXiv:2609.22271v1cs.CV

다중모달 뇌졸중 재발 예측을 위한 비전 및 교차 모달 학습 실현: 해석 가능한 2단계 프레임워크

Enabling Vision and Cross-Modal Learning for Multimodal Stroke Recurrence Prediction: An Interpretable Two-Step Framework

다중모달(multimodal) 뇌졸중 재발 예측은 이종의 임상 및 영상 데이터의 효과적인 통합을 필요로 하지만, 모달리티 불균형(modality imbalance)으로 인해 모델이 지배적인 모달리티에 지나치게 의존하고 상호보완적인 정보를 충분히 활용하지 못하는 경우가 자주 발생합니다. 자기지도 사전학습(self-supervised pretraining)과 선택적 매개변수 동결은 표현 학습과 미세조정 안정성을 향상시키기 위해 흔히 사용되지만, 다중모달 의료 모델에서 모달리티 기여도 및 교차 모달(cross-modal) 동작에 미치는 영향은 여전히 거의 연구되지 않았습니다. 본 연구에서는 최근 다루었던 임상적으로 중요한 과제인 뇌졸중 재발 예측을 위해, 3D CTA 스캔 기반의 영상 사전학습이 모달리티 불균형을 줄이고 교차 모달 통합을 향상시키는지 조사합니다. 이를 위해 두 가지 다중모달 신경망을 자기지도 방식으로 사전학습한 후, 두 가지 서로 다른 동결 전략을 사용하여 미세조정합니다. 이들의 성능과 모달리티 활용도를 이전 연구의 기준선 모델 및 본 연구에서 처음부터 완전히 학습(trained from scratch)된 모델 모두와 비교합니다. 연구 결과, 자기지도 사전학습은 다중모달 영상-정형(image-tabular) 데이터셋을 더욱 효과적으로 활용할 수 있게 하여 기존 기준선과 사전학습되지 않은 모든 모델을 능가함을 입증합니다. 특히, 가장 우수한 성능을 보인 Vision Transformer 기반 신경망은 단일모달 붕괴(unimodal collapse)를 성공적으로 극복했습니다. 시너지 분석 결과, 비전과 성별 및 관상동맥질환(CHD) 간의 유의미한 상호작용이 밝혀졌으며, 이는 뇌졸중 재발에 대한 임상적으로 유의미한 패턴을 시사합니다. 전반적으로, 본 연구의 결과는 자기지도 사전학습과 전략적인 미세조정이 보다 균형 잡힌 모달리티 활용을 지원하고 의미 있는 교차 모달 상호작용을 가능하게 함을 보여줍니다. 코드는 https://github.com/ChristianGappGit/SSL_Pretraining 에서 공개되어 있습니다.

arXiv:2604.03314v3cs.CV

CoLA: Cross-Modal Low-rank Adaptation for Multimodal Downstream Tasks

Foundation models have revolutionized AI, but adapting them efficiently for multimodal tasks, particularly in dual-stream architectures composed of unimodal encoders, such as DINO and BERT, remains a significant challenge. ParameterEfficient Fine-Tuning (PEFT) methods like LowRank Adaptation (LoRA) enable lightweight adaptation, yet they operate in isolation within each modality, limiting their ability in capturing cross-modal interactions. In this paper, we take a step in bridging this gap with Cross-Modal LowRank Adaptation (CoLA), a novel PEFT framework that extends LoRA by introducing a dedicated inter-modal adaptation pathway alongside the standard intra-modal one. This dual-path design enables CoLA to adapt unimodal foundation models to multimodal tasks effectively, without interference between modality-specific and crossmodal learning. We evaluate CoLA across a range of vision-language (RefCOCO, RefCOCO+, RefCOCOg) and audio-visual (AVE, AVS) benchmarks, where it consistently outperforms LORA, achieving a relative gain of around 3% and 2%, respectively, while maintaining parameter efficiency. Notably, CoLA enables the first multitask PEFT framework for visual grounding, bridging a key gap in efficient multimodal adaptation. Code is available at https://github.com/peterwisu/CoLA

arXiv:2607.12787v2cs.AI

1B 매개변수보다 큰 멀티모달 감정 언어 모델이 정말 필요한가?

Do We Really Need Multimodal Emotion Language Models Larger Than 1B Parameters?

최근 멀티모달 대규모 언어 모델(MLLM)의 발전은 멀티모달 감정 인식(MER) 성능을 크게 향상시켰으며, 비디오, 오디오, 언어 등을 공동으로 모델링하여 해석 가능한 설명 생성을 가능하게 했다. 그러나 이러한 성능 향상은 종종 모델 매개변수 크기의 증가(예: 최소 7B)를 동반하며, 이는 동시에 높은 계산 비용을 초래하고 추론 효율을 저하시켜 로봇 및 모바일 기기와 같은 자원 제약 플랫폼에서의 실시간 배포를 어렵게 한다. 이는 근본적인 질문을 던진다: 고품질 MER를 위해 1B 매개변수보다 큰 멀티모달 MER 모델이 정말 필요한가? 본 논문에서는 더 큰 모델이 본질적으로 필요하다는 가정에 도전하고, 지식 증류를 통해 더 우수하고 빠른 멀티모달 감성 이해 및 인식을 달성하는 경량 MER 프레임워크(Light-MER)를 제안한다. 강력한 대규모 교사 모델에서 경량의 10억 미만 매개변수 학생 모델로 지식을 전달하여, 풍부한 멀티모달 감정 추론 및 인식을 유지하면서 배포 효율을 대폭 향상하는 것을 목표로 한다. 구체적으로, 지식 전달을 강화하기 위한 두 가지 새로운 최적화 전략을 도입한다: (1) Sliced Wasserstein Distance와 은닉 상태 정렬(hidden-state alignment)을 결합한 새로운 최적 전송(optimal transport) 손실, (2) MER 성능과 효율의 균형을 맞추어 학생 모델의 학습 능력을 더욱 향상시키는 GRPO 기반 새로운 다중 보상 최적화 전략. 9개 벤치마크 데이터셋에 대한 광범위한 실험은 Light-MER가 최첨단 성능을 달성하면서 추론 효율을 크게 향상시킴을 보여준다. 이는 향후 연구를 위한 소형 멀티모달 감정 언어 모델의 큰 잠재력을 부각한다. 코드는 https://github.com/GAIR-Lab/Light-MER 에서 이용 가능하다.

arXiv:2607.22794v1cs.LG

우울증 탐지를 위한 멀티모달 도메인 일반화: 어텐션 기반 BiLSTM 네트워크와 도메인 적대적 학습

Multimodal Domain Generalization for Depression Detection: An Attention-Based BiLSTM Network with Domain-Adversarial Training

심층 학습을 이용한 자동 우울증 탐지는 유망한 결과를 보여왔지만, 화자 간 변동성에서 기인하는 도메인 시프트(domain shift)로 인해 일반화가 제한되는 경우가 많다. 이러한 중요한 문제를 해결하기 위해, 우리는 도메인 일반화(DG)를 통합한 최초의 환자 독립적 멀티모달 우울증 탐지 프레임워크를 제안하며, 음향 및 텍스트 모달리티를 공동으로 활용한다. 제안 모델은 양방향 장단기 메모리(BiLSTM)와 모달 내 및 교차 모달 어텐션 메커니즘을 통합하고, 의사결정을 위해 세그먼트 수준 융합을 수반한다. 일반화는 신경망의 도메인 적대적 학습(DANN)에서 영감을 받은 그래디언트 역전 층을 적용하여 더욱 향상되며, 이는 모델이 개별 화자를 식별하는 능력을 적대적으로 제한함으로써 도메인 불변 표현을 촉진하고, 효과적으로 환자 특이적 바이어스를 줄인다. Androids-Corpus 데이터셋에서 5-겹 교차 검증(CV) 프로토콜로 실험을 수행하여, 다양한 세그먼트 길이에 걸쳐 오디오 및 텍스트 특징 추출기의 다양한 조합을 평가했으며, 30초 세그먼트 길이에서 MelSpec과 ItalianBERT를 최적 기준선으로 확인했다. 이 기준선에 DG를 추가하면 정확도가 2.5%, F1 점수가 3.3% 향상되어, 정확도 93.2%, 정밀도 93.2%, 재현율 96.2%, F1 점수 94.2%를 달성하며 기존의 모든 벤치마크를 능가한다. 광범위한 ablation 연구를 통해 멀티모달 융합, 심층 아키텍처 선택, DG의 영향을 평가하고, 이들이 견고하고 일반화 가능한 우울증 탐지에 기여하는 결합적 효과를 강조한다.

arXiv:1805.11546v3cs.CL

아기처럼: 시각적으로 상황화된 신경망 언어 습득

Like a Baby: Visually Situated Neural Language Acquisition

신경망 언어 모델을 다음 단어 예측(next-word prediction)을 수행하도록 학습할 때 시각적 맥락의 이점을 조사한다. 언어만으로 학습된 동등 모델보다 테스트 시 시각적 맥락이 없을 때에도 perplexity가 2% 감소하는 다중 모달(multi-modal) 신경망 아키텍처를 제안한다. 사전학습된 최신(state-of-the-art) 양방향 언어 모델(BERT)의 임베딩을 언어 모델링(language modeling) 프레임워크에서 미세조정하면 3.5%의 개선을 얻는다. 시각적 맥락으로 학습하고 시각적 맥락 없이 테스트할 때의 이점은 다양한 언어(영어, 독일어, 스페인어)와 다양한 모델(GRU, LSTM, $Δ$-RNN, BERT 임베딩을 사용하는 모델 포함)에서 견고하게 나타난다. 따라서 언어 모델은 아기처럼, 즉 다중 모달 환경에서 학습할 때 더 나은 성능을 보인다. 이 발견은 상황 인지(situated cognition) 이론과 부합한다: 언어는 물리적 맥락과 분리할 수 없다.