PyTorchKR Papers

최신 논문

총 65편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.24683v1cs.CV

멀티모달 분류에서 임의 모달리티 결손을 위한 공동 학습

Co-Learning for Missing Arbitrary Modalities in Multi-modal Classification

멀티모달 분류는 다양한 데이터 소스에 걸친 상호 보완적 정보를 활용하여 예측 성능을 높인다. 그러나 센서 고장이나 개인정보 보호 제한과 같은 운영상 제약에 놓인 실제 환경에서는 학습과 추론 시점 간 모달리티 가용성이 불일치하게 된다. 결손 모달리티를 다루기 위해 기존 연구는 주로 이모달(bimodal) 데이터 설정을 다루었으며 견고한 퓨전(fusion) 프로세스 설계에 초점을 맞추었다. 이에 우리는 멀티모달 퓨전보다는 모달리티 간 협력을 우선시하는 멀티모달 공동 학습(co-learning) 프레임워크를 채택한다. 구체적으로, 사전 정의된 결손 모달리티 패턴을 가정하지 않고 임의의 모달리티 부분집합이 부재할 수 있는 상황을 고려하며, 이러한 추론 시나리오를 임의 모달리티 결손(missing arbitrary modalities)이라고 한다. 이 문제를 해결하기 위해 특징(feature) 수준과 결정(decision) 수준 모두의 정보를 활용하는 두 가지 대안적 접근법을 제안한다. 두 개의 멀티모달 분류 벤치마크에서의 실험은 다양한 모달리티 결손 조건에서 상당한 강건성 향상을 보여준다. 첫 번째 방법은 단일 모달리티가 부재하는 최소 결손 조건에서 더 견고한 동작을 보이는 반면, 두 번째 방법은 하나를 제외한 모든 모달리티가 부재하는 극단적 결손 조건에서 더 나은 성능을 보인다. 코드는 https://github.com/fmenat/Co4Miss 에서 확인할 수 있다.

arXiv:2607.23972v1cs.CV

컬러 안저 사진 분석: 멀티모달 AI를 향한 데이터, 전처리, 모델링의 공진화

Color Fundus Photography Analysis: Co-evolution of Data, Preprocessing, and Modeling toward Multimodal AI

컬러 안저 사진(Color Fundus Photography, CFP)은 안과 및 전신 질환의 대규모 스크리닝을 위한 주요 비침습적 영상 방식이다. 기존 서베이는 주로 과제별 알고리즘, 데이터셋, 또는 전처리 기법을 각각 독립적으로 요약하며, 현대 인공지능과의 공진화에 대한 통합적 관점이 부족하다. 본 리뷰는 데이터셋 진화, 전처리 패러다임, 모델링 프레임워크의 상호작용을 통해 CFP AI에 대한 통합적 개관을 제공한다. CFP 데이터셋이 과제별 라벨을 갖춘 소규모 단일 기관 수집물에서 멀티모달 페어링과 종단 임상 기록을 특징으로 하는 대규모 다기관 자원으로 진화해 왔음을 보인다. 전처리는 기존의 이미지 향상에서 신경망 기반 데이터 엔지니어링 파이프라인, 하드웨어 인식 토큰 최적화, 불완전한 전자 건강 기록(EHR)에 대한 자기지도 보간(self-supervised imputation)으로 발전해 왔다. 한편, 모델링은 합성곱 신경망(CNN)에서 비전 기반 모델(vision foundation models), 상태 공간 모델(SSM), 멀티모달 전문가 아키텍처로 발전해 왔다. 멀티모달 최전선에서 CFP는 EHR 및 종단 환자 정보와 점점 더 통합되어, 고립된 이미지 분석을 넘어 더 포괄적인 임상 추론을 가능하게 한다. 향후 발전은 데이터셋, 전처리, 멀티모달 모델링의 협력적 최적화에 달려 있으며, 이는 견고한 임상 배포, 향상된 교차 도메인 일반화, 자원 효율적인 엣지 지능을 향한 로드맵을 제공한다.

arXiv:2607.22709v1cs.CV

RMS@CC-MMD 2026: 기하학적 상호작용과 다중 관점 합의를 통한 멀티모달 여성혐오 탐지

RMS@CC-MMD 2026: Multimodal Misogyny Detection via Geometric Interaction and Multi-View Consensus

인터넷 밈의 확산은 자동화된 콘텐츠 모더레이션, 특히 여성혐오 탐지에 새로운 복잡성을 도입했다. 밈은 종종 시각·텍스트 모달리티 간의 의미적 충돌에 의존하며, 여기서 혐오적 의도는 암묵적이고 문화적으로 기반을 둔다. 본 논문은 ICMI 2026 CC-MMD Grand Challenge를 위해 개발된 GeoMVC(Geometric Interaction and Multi-View Consensus)를 제시한다. 정적 특징 결합의 한계를 해결하기 위해, 동결된 시각·텍스트 임베딩 간 Hadamard 곱과 코사인 유사도를 통해 교차 모달리티 정렬을 모델링하는 기하학적 상호작용 층(Geometric Interaction Layer)을 제안한다. 또한 노이즈가 있는 OCR과 코드 혼합 음역으로 인한 분포 이동을 다중 관점 합의(Multi-View Consensus) 전략으로 완화하며, 원문, 길이 필터링, 영어 번역 텍스트 관점에 걸친 예측을 집계한다. 이 시스템은 Task A에서 Malayalam 파티션 2위(Macro F1: 0.892), Chinese 파티션 3위(Macro F1: 0.895)를 달성했으며, Tamil 파티션에서는 5위(Macro F1: 0.521)를 기록했다. 개발 파티션에 대한 상세 오류 분석은 Dravidian 및 중국 문화 맥락에서 지역화된 음역과 코드 혼합 풍자를 모델링하는 데 남아 있는 과제를 부각한다.

arXiv:2607.22408v1cs.LG

LunarFM: 달 표면의 공유 다중모달 표현

LunarFM: A Shared Multimodal Representation of the Moon's Surface

현장 자원 활용(in-situ resource utilization)과 달에 대한 지속적인 인간 거주 전망에 힘입어 달 탐험이 다시 전 세계적 관심을 받으면서, 달 표면의 정확하고 대규모적인 특성화에 대한 수요가 증가하고 있다. 궤도 원격 탐사 데이터가 방대하게 수집되었음에도, 이질적인 다중 계측기 관측, 희소 라벨, 맞춤형 과제별 모델링 워크플로로 인해 과학적 분석과 자원 매핑은 여전히 파편화되어 있다. 본 연구에서는 다양한 궤도 측정으로부터 달 표면의 일반적 표현을 학습하는 다중모달 파운데이션 모델 LunarFM을 소개한다. LunarFM은 세 개의 달 임무에서 여섯 개 계측기의 관측을 통합하여 18개 입력 채널을 공유 임베딩 공간에 매핑한다. 이 임베딩 공간이 유사도 검색, 퓨샷(few-shot) 자원 매핑, 광물 함량 회귀, 지질 단위 분류 등 다양한 다운스트림 응용을 지원함을 보여, 효율적인 과학적 조사와 자원 중심 분석을 가능하게 한다. 위도 70°S에서 70°N에 걸친 공동 등록(co-registered) 다중모달 관측의 머신러닝 준비 데이터셋, 사전학습된 다중모달 마스크드 오토인코더, 그리고 달 표면 특성의 결합 768차원 표현을 제공하는 동반 임베딩 데이터셋을 함께 제공한다. 모든 코드와 데이터는 https://lunarfm.trillium.tech/ 에서 이용할 수 있다.

arXiv:2607.21660v1cond-mat.mtrl-sci

재료 예측 및 설계를 위한 생성형·멀티모달 AI: 진전, 과제 및 전망

Generative and multimodal AI for materials prediction and design: Progress, challenges, and perspectives

인공지능(AI)은 화학적·구조적 공간의 효율적 탐색을 가능하게 함으로써 재료 예측 및 설계를 가속화하고 있으며, 특히 신규 재료 발견에 큰 가능성을 보여준다. 그러나 재료 발견에서의 참신성은 화학적 타당성, 구조적 독특성, 물성 관련성, 실험적 실현 가능성을 포괄하므로 AI 기반 참신성 주장을 입증하기 어렵다. 우리는 배치(deployment) 제약을 명확히 하고 구조적·물리적·배치 참신성을 구별하기 위해, 고유(intrinsic)적이고 조성에 의해 결정되는 물성에서 외재(extrinsic)적이고 가공(processing)에 의존하는 성능까지 이어지는 재료 물성 계층을 제안한다. 이 프레임워크는 화학 조성, 미세구조, 가공, 시험 및 특성화(characterisation)에 걸친 멀티모달 재료 데이터에 대한 증거 기반 관점을 이끌어내며, 현재 증거가 조성과 이상화된(idealised) 구조에 집중되어 있는 반면 이질적·과소 대표·약하게 통합된 모달리티가 물리적 및 배치 참신성에 대한 지지를 제한함을 보여준다. 또한 주로 계산 라벨과 대리(proxy) 참신성 기준에 기반한 벤치마크(benchmark)의 한계를 강조한다. 멀티모달 데이터 구축, 공정 인식(process-aware) 멀티모달 모델링, 실현 가능성 우선(feasibility-first) 생성형 모델링, 배치 인식(deployment-aware) 벤치마킹을 지원하려면 데이터 수집, 모달리티 정렬(alignment), 증거 종합(synthesis)에 대한 커뮤니티 전반의 표준이 필요하며, 이를 통해 생성형·멀티모달 AI가 방어 가능한(defensible) 과학적·실용적 참신성을 갖춘 실험적으로 실현 가능한 재료를 설계할 수 있다.

arXiv:2607.21496v1eess.SP

음성 기반 멀티모달 대규모 언어 모델을 활용한 일반화 가능한 인지 장애 탐지

Toward Generalizable Cognitive Impairment Detection with Speech-Based Multimodal Large Language Models

인지 장애(CI)는 점점 증가하는 공중 보건 문제이다. 조기에 정확하게 진단하는 것은 적시 개입을 가능하게 하고 환자 결과를 개선하는 데 매우 중요하다. 음성 기반 CI 탐지는 인지 저하와 관련된 언어적·음향적 표지를 모두 음성 신호가 담고 있기 때문에 유망한 비침습적 접근법으로 떠오르고 있다. 대규모 언어 모델(LLM)의 최근 발전은 더 표현력 있는 표현 학습(representation learning)과 다양한 화자, 녹음 장치, 임상 환경에 걸친 일반화(generalization) 개선을 가능하게 함으로써 음성 기반 평가의 잠재력을 더욱 강화한다. 또한 언어적 특징과 음향적 특징을 공동으로 모델링하는 멀티모달 학습은 CI와 관련된 인지 및 행동 변화를 더 포괄적으로 특성화할 수 있게 하여 더 신뢰할 수 있는 탐지로 이어진다. 본 연구에서는 환자 프라이버시를 보존하면서 음성 오디오와 해당 전사문을 통합하는 오픈소스 LLM 기반 멀티모달 CI 탐지 프레임워크를 제안한다. 음향 임베딩(embedding)은 음성 신호에서 직접 추출되고, 텍스트 임베딩은 자동 전사된 음성으로부터 생성된다. 이러한 모달리티별 임베딩은 이어 결합되어 결합 특징 벡터를 만들고, 원시 또는 민감한 환자 데이터에 접근할 필요 없이 하류 분류에 사용된다. 제안 접근법은 ADReSS20 및 ADReSSo21 벤치마크 데이터셋에서 평가된다. 실험 결과, 제안된 멀티모달 프레임워크는 CI 분류 정확도 92.4%를 달성하며 단일 모달리티 베이스라인을 일관되게 능가한다. 본 연구는 CI 식별에 대한 새로운 최첨단(state-of-the-art) 수준을 확립하며, 제안 방법은 우수한 교차 데이터셋 일반화를 보여준다. 이 발전은 언어적·음향적 데이터를 융합하여 견고하고 확장 가능하며 비침습적인 선별검사를 가능하게 하는 LLM 기반 멀티모달 프레임워크의 힘을 부각한다.

arXiv:2602.08792v2cs.CV

Multimodal Learning for Arcing Detection in Pantograph-Catenary Systems

The pantograph-catenary interface is essential for ensuring uninterrupted and reliable power delivery in electrified rail systems. However, electrical arcing at this interface poses serious risks, including accelerated wear of contact components, degraded system performance, and potential service disruptions. Detecting arcing events at the pantograph-catenary interface is challenging due to their transient nature, noisy operating environment, data scarcity, and the difficulty of distinguishing arcs from other similar transient phenomena. To address these challenges, we propose a novel multimodal framework that combines high-resolution image data with force measurements to more accurately and robustly detect arcing events. First, we construct two arcing detection datasets comprising synchronized visual and force measurements. One dataset is built from data provided by the Swiss Federal Railways (SBB), and the other is derived from publicly available videos of arcing events in different railway systems and synthetic force data that mimic the characteristics observed in the real dataset. Leveraging these datasets, we propose MultiDeepSAD, an extension of the DeepSAD algorithm for multiple modalities with a new loss formulation. Additionally, we introduce tailored pseudo-anomaly generation techniques specific to each data type, such as synthetic arc-like artifacts in images and simulated force irregularities, to augment training data and improve the discriminative ability of the model. Through extensive experiments and ablation studies, we demonstrate that our framework significantly outperforms baseline approaches, exhibiting enhanced sensitivity to real arcing events even under domain shifts and limited availability of real arcing observations.

arXiv:2607.14995v1cs.LG

3D 의료 영상에서 거짓 음성 완화를 위한 다중모달 의미 인식 대조 학습

Multimodal Semantic-Aware Contrastive Learning For False Negative Mitigation in 3D Medical Imaging

다중모달 대조 학습(CL)은 다양한 데이터 모달리티 간 표현을 정렬하고 하류(downstream) 과제를 개선하는 데, 특히 의료 분야에서 뛰어난 성능을 보여주었다. 이는 매칭된(양성) 데이터 모달리티 간 거리를 최소화하고, 매칭되지 않은(음성) 샘플 간 거리를 최대화하는 방식으로 동작한다. 기존 CL 프레임워크는 일반적으로 데이터 배치 내 인스턴스 기반 대응 관계를 가정하며, 짝이 맞지 않은 모든 샘플을 음성으로 취급한다. 그러나 이 가정은 샘플들이 고수준 의미적 속성을 공유할 수 있는 의료 환경에서는 종종 성립하지 않으며, 이로 인해 표현 품질을 저하시키는 거짓 음성(false negative)이 발생한다. 본 논문에서는 소아 코호트의 3D 뇌 자기공명영상(MRI) 스캔과 방사선학 보고서로 학습한 다중모달 의미 인식 대조 학습(MseaCL) 프레임워크를 제안한다. 이 프레임워크의 목표는 학습 과정에서 방사선학 보고서 간 의미적 유사성을 유도 신호로 통합하여, 의미적으로 유사한 거짓 음성 샘플의 영향을 완화하는 것이다. 우리의 결과는 이 프레임워크를 사전학습(pre-training) 단계로 적용하면 하류 과제에서 눈에 띄는 성능 향상을 달성할 수 있음을 보여준다. 예를 들어 소아 뇌종양 분자 분류(molecular classification)의 수신자 조작 특성 곡선(AUC)이 최소 22.6% 증가하여, 임상 응용에서 더 견고하고 의미적으로 정렬된 다중모달 표현을 위한 잠재력을 입증한다.

arXiv:2607.14510v1cs.AI

VLT: 산업 지능을 위한 비전-언어-시계열 다중모달 파운데이션 모델

VLT: A Vision-Language-Time Series Multimodal Foundation Model for Industrial Intelligence

산업 시계열은 항공 엔진과 같은 산업 장비의 신뢰성과 안전성을 보장하기 위한 예지 및 건강 관리(PHM)의 기반이 된다. 그러나 기존 접근법은 일반적으로 단일 모달리티 모델링에 한정되어 복잡한 시나리오에서의 일반화를 제한한다. 최근 대규모 언어 모델(LLM)의 발전이 다중모달 학습에 새로운 기회를 제공하지만, 연속적인 시계열 신호와 이산적인 텍스트 의미를 연결하는 것은 여전히 열린 과제로 남아 있다. 이를 위해 우리는 시계열, 주파수 스펙트럼 시각 표현, 텍스트 지식을 공동으로 모델링하는 다중모달 파운데이션 모델 VLT를 제안한다. 핵심 통찰은 연속적인 시간 신호와 이산적인 의미를 연결하기 위해 주파수 스펙트럼을 시각적 가교로 활용하는 것이다. 구체적으로, 이질적인 시간 역학을 포착하기 위해 시간 인식 전문가 혼합(Time-MoE)을 설계하고, Frequency-Text Augmented Learner는 공유 표현 공간 내에서 스펙트럼 및 의미 특징의 공동 모델링을 가능하게 한다. 또한 시간 중심 그래디언트 정렬 메커니즘을 도입하여 그래디언트 정규화와 신뢰성 인식 동적 재가중치를 통해 교차 모달 최적화 충돌을 완화한다. 다양한 산업 데이터셋에 대한 광범위한 실험에서 VLT가 최신(state-of-the-art) 방법들을 능가하며, 퓨샷(few-shot), 노이즈, 불완전 모달리티 설정에서 우수한 견고성과 일반화를 달성함을 보여준다.

arXiv:2607.15094v1cs.CV

AlphaWiSE: 지속적 다중모달 표현 학습을 위한 적응형 가중치 보간

AlphaWiSE: Adaptive Weight Interpolation for Continual Multimodal Representation Learning

CLIP과 같은 다중모달 모델은 교차 모달 검색을 위해 공유 임베딩 공간을 학습하지만, 순차적으로 도착하는 데이터에 대한 지속적 적응은 이전 단계에서 획득한 교차 모달 정렬을 방해할 수 있다. 기존 지속 학습(continual learning) 방법은 단일 체크포인트를 반환하며, 이는 모든 검색 방향을 동일한 안정성-가소성(stability-plasticity) 트레이드오프에 고정한다. 우리는 두 개의 고정된 소스 체크포인트를 구성하는 사후(post-hoc) 가중치 공간 보간 방법인 AlphaWiSE를 제안한다. 체크포인트 키로 식별되는 각 정렬된 매개변수 텐서에 대해, AlphaWiSE는 모든 텐서 항목이 공유하는 하나의 스칼라 보간 계수를 적합한다. 계수는 더 작은 예시(exemplar) 메모리에서 적합되며, 하나의 보간된 체크포인트를 생성하는 데 사용된다. 배포된 모델은 두 소스 체크포인트 중 어느 하나와 동일한 아키텍처와 매개변수 수를 가지므로 추가 추론 시간이 필요하지 않다. 오디오-이미지-텍스트 검색에 대한 광범위한 실험에서, 여러 검색 방향과 평가 지표에 걸쳐 강력한 지속 학습 베이스라인 대비 일관된 개선을 보인다.

arXiv:2607.14721v1cs.CV

멀티모달리티를 감독 신호로: 멀티모달리티를 통한 테스트 환경 자기지도 특화

Multimodality as Supervision: Self-Supervised Specialization to the Test Environment via Multimodality

교차 모달 학습(cross-modal learning), 즉 한 모달리티로부터 다른 모달리티를 예측하도록 학습하는 것은, 멀티모달리티를 활용한 자기지도의 기본적인 메커니즘이다. 많은 실용적 응용(예: 가정용 로봇 배포)은 테스트 환경에서 멀티모달 센싱을 가능하게 하는 풍부한 센서 세트를 갖춘 장치를 포함한다. 이는 이러한 장치가 센싱한 멀티모달 데이터에 교차 모달 학습을 적용하여 표현(representation)을 학습할 기회를 제공한다. 발달 심리학의 연구 결과 또한 생물학적 에이전트(agent)가 이를 활용하여 주변 환경에 대한 효과적인 표현을 구축한다는 것을 시사한다. 이를 연구하기 위해, 사용자 장치를 주어진 테스트 환경으로만 제한하는 통제된 설정을 제안한다. 그 결과, 이 특정 테스트 환경에 대해 성능이 우수한 모델을 개발하려는 특화(specialization) 설정이 된다. 이 설정 하에서, 테스트 환경에서 멀티모달 데이터 수집을 수행하고 이를 기반으로 자기지도 사전학습을 수행하는 Test-Space Training(TST)을 개발한다. 동일한 환경에서 다양한 다운스트림(downstream) 과제에 대해 이러한 모델들을 평가한다. 이 설정에서, 테스트 환경에서만 풍부한 멀티모달 데이터를 수집하고 교차 모달 학습을 활용하면, 대규모 인터넷 데이터셋으로 사전학습된 범용(generalist) 모델(예: DINOv2, CLIP)과 경쟁력 있는 결과를 달성할 수 있다는 등 다양한 흥미로운 통찰을 얻는다. 이는 모델 사전학습을 위해 외부의 인터넷 규모 데이터셋이 필요한 정도를 줄이는 대안적 시나리오를 가능하게 한다. 또한 (멀티)모달리티로 데이터를 대체하는 문제와, 사전학습 데이터를 달리함으로써 모델이 테스트 환경에 특화(specialise)하는 능력과 보류(hold-out) 공간으로 일반화(generalize)하는 능력 사이에서 트레이드오프가 어떻게 형성되는지에 대한 흥미로운 논점을 제기하는 일련의 분석 및 ablation을 제시한다.

arXiv:2607.13466v1cs.LG

PQFA: 다중모달 분류를 위한 융합 표현의 병렬 양자 특징 증강

PQFA: Parallel Quantum Feature Augmentation of Fused Representations for Multimodal Classification

대부분의 다중모달 학습 방법은 이질적인 표현이 정렬되고 융합되는 방식을 개선하는 데 초점을 맞추지만, 융합 후 향상은 상대적으로 덜 연구되었다. 우리는 융합된 다중모달 특징에 여러 개의 얕은 변분 양자 회로(variational quantum circuits)를 적용하는 양자-고전 하이브리드 프레임워크인 병렬 양자 특징 증강(PQFA)을 제안한다. 동결(frozen)된 RoBERTa 및 ViT 인코더로 추출한 텍스트와 이미지 표현은 양방향 교차 어텐션(cross-attention), 어텐션 기반 풀링, 적응형 게이트 융합(adaptive gated fusion)을 거쳐 처리된다. 융합된 특징은 이어서 병렬 양자 회로에 진폭 인코딩(amplitude-encoded)되며, 측정 판독값(measurement readouts)은 예측을 위해 고전 표현과 연결(concatenated)된다. 동일한 인코더, 융합 백본(fusion backbone), 데이터 분할, 투영 차원(projection dimension), 증강 출력 폭(augmentation output width)을 사용한 통제 비교를 통해 MM-IMDb 및 N24News에서 PQFA를 평가한다. PQFA는 양자 증강 없는 융합 백본과 폭이 맞춰진(width-matched) MLP 증강 기준선 모두보다 일관되게 우수한 성능을 보이며, MLP 분기의 24.0K에 비해 약 2.2K의 증강 매개변수만 사용한다. 모달리티 누락(missing-modality) 실험은 텍스트 또는 시각 입력이 불완전할 때 견고성(robustness)이 향상됨을 추가로 보여주며, 특히 정보가 더 풍부한 텍스트 모달리티가 심하게 저하된 경우 뚜렷한 이득을 보인다. 통제된 ablation 및 특징 공간 분석은 이러한 개선이 무작위 특징 매핑, 고전 폭 증가, 또는 학습되지 않은 양자 변환으로는 재현될 수 없음을 나타낸다. 양자 상태 진단(quantum-state diagnostics)은 또한 테스트된 시뮬레이션 노이즈 수준 전반에 걸쳐 안정적인 예측 성능과 인코딩된 상태의 분기별 고유 변환을 보여준다. 이러한 결과는 PQFA가 양자-고전 하이브리드 다중모달 학습에서 융합 후 증강을 위한 효과적이고 매개변수 효율적인 전략임을 입증한다.

arXiv:2605.24395v2cs.LG

AvAtar: 능동적 최적 운송을 통한 정렬 학습

AvAtar: Learning to Align via Active Optimal Transport

정렬(alignment)은 다중 네트워크 분석, 멀티모달 학습, 포인트 클라우드 정합 등 많은 기계학습 문제에서 근본적인 역할을 한다. 최근 연구들은 분포 정렬(distributional alignment)에 최적 운송(OT)을 점점 더 많이 활용하고 있으며, 그 효과는 실무에서 얻기 어렵거나 비용이 큰 희소(sparse) 감독(supervision)에 크게 의존한다. 그러나 기존 연구들은 OT 프레임워크에서 정렬 성능을 향상시키기 위해 고품질 감독을 능동적으로(active) 획득하는 방법은 대체로 간과하고 있다. 본 논문에서는 AvAtar라는 OT 정렬을 위한 원칙 기반의 능동적 정렬(active alignment) 프레임워크를 제안한다. 우리는 후보의 정보량(informativeness)을 전역 정렬 결과에 대한 그래디언트 기반 영향으로 정량화하며, 이는 엔트로피 정규화(entropy-regularized) OT 공식을 통해 전역 정렬 결과에서 후보의 모든 가능한 감독까지 그래디언트가 전파(propagation)되는 방식으로 계산된다. OT의 제약 특성상 OT를 통한 미분(differentiation)은 어렵지만, 우리는 adjoint-state method를 활용하여 계산을 공액 그래디언트(conjugate gradient) 방법으로 풀 수 있는 선형 시스템으로 재공식화하며, 선형 복잡도와 수렴 보증을 달성한다. 효과적인 유틸리티 함수를 통해 전역 정렬 결과를 인코딩함으로써, AvAtar는 OT 프레임워크 하의 일반적인 정렬 문제에 적용 가능하다. 세 가지 대표적인 정렬 과제에 대한 광범위한 실험을 통해 제안된 AvAtar의 효과성, 확장성, 일반화 가능성을 입증한다.

arXiv:2607.13826v1cs.CV

심층 학습을 이용한 췌장암 절제 가능성의 멀티모달 평가

Multimodal Assessment of Pancreatic Cancer Resectability Using Deep Learning

췌관선암(pancreatic ductal adenocarcinoma, PDAC)의 절제 가능성을 정확히 판정하려면 CT 영상에서 종양이 주요 췌장 주변 혈관과 어떻게 상호작용하는지를 평가해야 하지만, 전문가 평가는 종종 상당한 변동성을 보인다. 본 연구에서는 3D 조영 CT와 구조화된 임상 정보를 공동으로 분석하여 환자를 National Comprehensive Cancer Network(NCCN)의 세 가지 절제 가능성 범주(즉시 절제 가능, 경계 절제 가능, 국소 진행)로 분류하는 완전 자동화 멀티모달 심층 학습 프레임워크를 제안한다. 이 접근법은 Swin-UNETR 백본을 사용하여 췌장, 종양, 혈관 구조의 보조 분할을 통해 해부학적으로 인식된 영상 표현을 얻는다. 이러한 특징은 일상적으로 수집되는 17개 변수에서 유도된 간결한 임상 임베딩과 융합되며, 경량 분류 헤드에 의해 처리된다. 모델 학습은 현재 종양 Dice 성능에 따라 분할과 분류 간 균형을 적응적으로 조절하는 동적 다중 과제 목적 함수에 의해 안내되며, 해부학적으로 정보를 담으면서도 판별력 있는 특징 표현을 유도한다.

arXiv:2607.13386v1cs.CV

FM$^2$: 이질적 다중 모달 의료 영상을 위한 통합 연합 파운데이션 모델

FM$^2$: Unified Federated Foundation Models for Heterogeneous Multimodal Medical Imaging

의료 영상용 파운데이션 모델 구축은 여러 기관 간 데이터 풀링(pooling)을 요구하지만, 프라이버시 규정으로 인해 중앙 집중식 집계가 금지된다. 기존 연합 파운데이션 모델은 자연 이미지 모델을 파인튜닝하여 의료 도메인 전이 성능이 낮거나, 단일 모달리티 내에서 처음부터 학습하여 작업을 통합할 유연성이 부족하다. 우리는 영상 모달리티 이질성(Imaging Modality Heterogeneity)이라는 미개척 과제를 식별한다. 여기서 클라이언트는 두 가지 구조적 체제에서 동작한다: 겹침(Overlapped, 공유 모달리티와 이질적 레이블 분포)과 비겹침(Non-overlapped, 클라이언트마다 완전히 분리된 모달리티). 우리는 FM$^2$를 제안한다. 이는 핵심 백본을 처음부터 학습하여 의료 도메인 충실도를 보존하면서, 선택적으로 생의학 사전학습 인코더를 비전-언어 정렬에 통합하는 통합 프레임워크이다. FM$^2$는 각 클라이언트에 이중 전문가 혼합(MoE) 모듈(개인화된 범주 지식을 위한 클래스별 MoE와 공유 교차 모달리티 표현을 위한 도메인별 MoE)을 장착하고, 모달리티별 전문가 파라미터를 명시적으로 정렬하는 이질적 모달리티 정렬(HMA) 정규화를 결합한다. 이를 통해 증명 가능한 $O(1/\sqrt{T})$ 수렴 및 일반화 보장을 제공한다. FM$^2$는 또한 캡션 강화 학습(CEL)을 포함한다. 여기서 로컬에 보관된 GPT-4o 생성 캡션이 텍스트 의미적 다리로 작용하여 분리된 모달리티를 가진 클라이언트 간 표현 전이를 가능하게 하며, 연합 의료 VQA로의 확장성을 보여준다. 우리의 MIMH 벤치마크(분류 및 CEL)와 실제 의료 VQA 데이터셋에 대한 실험은 세 가지 작업 모두에서 최신 연합 기준선 대비 일관된 우수성과 강한 모달리티 외 일반화를 확인한다.

arXiv:2607.12112v1cs.LG

연합 MLLM 미세조정을 위한 탄성 정규화 및 합성 리플레이 기반 지속 학습

Continual Learning with Elastic Regularization and Synthetic Replay for Federated MLLM Fine-Tuning

분산 네트워크 전반에 걸친 멀티모달 대규모 언어 모델(MLLM)의 연합 미세조정은 진화하는 데이터 스트림에 대한 프라이버시 민감 적응을 가능하게 하지만, 동적 환경에서의 견고한 배포를 막는 근본적 장애물이 존재한다: 순차적 과제 업데이트가 시각, 언어, 교차 모달 표현에 걸쳐 이전에 습득한 지식을 지워버리는 치명적 망각(catastrophic forgetting)이다. 이러한 과제를 해결하는 것은 콘텐츠 검열과 같은 안전성 민감 영역에서 운용되는 자율 연결형 AI에 특히 중요하며, 여기서 이전 지식의 신뢰할 수 있는 유지는 시스템 무결성의 기반이 된다. 이를 극복하기 위해, 우리는 연합 지속 다중모달 학습(FedCMM)을 제안한다. 이는 세 가지 상호 보완적 수준에서 연합 최적화 루프에 지속 학습 보호 장치를 내장하는 프레임워크이다. 매개변수 수준에서, 모달리티 인식 탄성 가중치 통합(elastic weight consolidation)은 비전 인코더, 언어 백본, 교차 모달 프로젝터에 대해 각각 별도의 Fisher 정보 행렬을 계산하여, 모달리티 특화 망각에 대한 세밀하고 비대칭 인식 보호를 제공한다. 데이터 수준에서, 각 클라이언트는 경량 로컬 생성형 리플레이 모듈을 학습하여 원시 데이터 공유 없이 원시 데이터 없는 임베딩 수준 멀티모달 리플레이 튜플을 합성한다. 집계 수준에서, 과제 유사도 인식 그래디언트 집계는 그래디언트 코사인 유사도에 따라 클라이언트 업데이트를 자율적으로 필터링하고 재가중하여 충돌하는 방향을 억제하고 전역 학습 궤적을 안정화한다. 두 벤치마크에 대한 광범위한 실험은 FedCMM이 정확도와 역방향 전이(backward transfer)에서 최근 베이스라인을 일관되게 능가함을 보여주며, 전체적이고 모달리티 인식 최적화가 이질적인 연결형 AI 배포 전반에 걸쳐 견고한 진화적 적응을 가능하게 함을 확인한다.

arXiv:2511.18089v2cs.CV

함께, 그다음 따로: 다중모달 생존 분석에서 정렬과 고유성의 균형

Together, Then Apart: Balancing Alignment and Distinctiveness for Multimodal Survival Analysis

다중모달 생존 분석은 조직병리학 이미지와 유전체 프로필 등 이질적인 생물의학 데이터를 활용하여 암 예후 예측을 개선하는 것을 목표로 한다. 일반적인 전략은 모달리티 간 표현을 정렬하여 공유 신호를 포착하는 것이다. 그러나 강한 교차모달 정렬은 생존 예측에 중요한 모달리티 고유 증거를 제거하기도 한다. 본 논문에서는 간단한 관찰에서 다중모달 생존 학습을 재검토한다: 효과적인 모델은 먼저 모달리티 전반의 공유 패턴을 발견한 다음, 모달리티 고유 신호를 보존해야 한다. 이는 Together Then Apart라고 부르는 표현 학습 원칙을 동기부여한다. 이 아이디어를 바탕으로 교차모달 정렬과 표현 고유성의 균형을 맞추는 프레임워크 TTA를 제안한다. TTA는 먼저 프로토타입 기반 정렬을 수행하여 모달리티 간 공유 생존 관련 구조를 포착한다. 그다음 앵커 안내 대조 목표를 통해 모달리티 고유 고유성을 장려한다. 모달리티 불균형과 노이즈가 있는 대응 관계를 더 반영하기 위해, 불균형 최적 수송을 사용하여 교차모달 상호작용을 모델링한다. 제안 방법을 조직병리학과 유전체 데이터가 쌍으로 구성된 여러 TCGA 암 코호트에서 평가한다. TTA는 최근 다중모달 생존 모델들보다 생존 예측을 일관되게 개선한다. 또한 학습된 프로토타입 구조는 임상 결과와 관련된 해석 가능한 교차모달 패턴을 드러낸다.

arXiv:2607.09884v1cs.CV

ShapKO: 강건한 멀티모달 학습을 위한 Shapley 적응형 모달리티 녹아웃

ShapKO: Shapley-Adaptive Modality Knockout for Robust Multimodal Learning

멀티모달 의료 모델은 입력이 누락될 때 성능이 저하되는 경우가 많으며, 이는 실제 임상 워크플로우에서 흔히 발생하는 상황이다. 또한 모든 모달리티가 존재하는 경우에도 학습 중 모달리티 지배(modality dominance) 현상이 관찰되는데, 이는 최적화 과정이 예측력이 높은 모달리티에 과도하게 의존하고 보완적인 모달리티를 충분히 학습하지 못해 부분적 가용성 환경에서 낮은 강건성을 초래한다. 학습 시 모달리티 녹아웃(modality knockout)은 누락된 모달리티에 대한 강건성을 향상시키지만, 기존 방법들은 학습 중 변화하는 모달리티 유용성에 적응하지 못하는 정적 마스킹 비율을 사용한다. 우리는 검증 유용성에 기반하여 모달리티별 녹아웃 확률을 학습하는 동적 학습 전략인 ShapKO(Shapley-Adaptive Modality Knockout)를 제안한다. ShapKO는 모달리티 부분집합 전반에 걸쳐 주기적으로 성능을 평가하고, Shapley 값을 통해 모달리티 중요도를 추정하며, 지배적인 모달리티를 더 빈번하게 억제하도록 마스킹 확률을 업데이트한다. 이 적응적 과정은 구조적 수정 없이도 보완적 표현을 촉진한다. 우리는 다중작업 임상 분류, 생존 예측, 암 탐지를 포함하는 세 가지 데이터셋에서 ShapKO를 평가한다. ShapKO는 모달리티 부재 환경에서 일관되게 성능을 향상시키며, 학습된 마스킹 동작의 해석 가능한 궤적을 제공한다. 코드는 https://github.com/sumona00/ShapKO 에서 확인할 수 있다.

arXiv:2403.14926v3stat.ML

전자 건강 기록의 멀티모달 분석을 위한 대조 학습

Contrastive Learning on Multimodal Analysis of Electronic Health Records

전자 건강 기록(EHR) 시스템은 구조화된 임상 코드와 비구조화된 임상 노트를 포함하는 풍부한 멀티모달 임상 데이터를 포착한다. 그러나 EHR 중심의 많은 연구들은 전통적으로 이러한 모달리티를 개별적으로 검토하거나, 두 모달리티 간의 내재적 시너지를 간과한 채 단순한 방법으로 결합해 왔다. 실제로 이러한 모달리티들은 깊이 상호 연결되어 있으며, 각각 임상적으로 관련성 있고 상호 보완적인 정보를 담고 있어 효과적으로 통합될 경우 환자 건강에 대한 보다 포괄적인 이해를 제공할 수 있다. 비전-언어(vision-language) 응용에서 멀티모달 대조 학습이 성공을 거두었음에도 불구하고, 멀티모달 EHR에서의 잠재력은 특히 이론적 이해 측면에서 충분히 탐구되지 않았다. 멀티모달 EHR 데이터의 통계적 분석을 지원하기 위해, 우리는 멀티모달 특징(feature) 임베딩 생성 모델(generative model)을 제안하고 EHR 특징 표현을 학습하기 위한 멀티모달 대조 손실(loss)을 설계한다. 우리의 이론적 분석은 단일 모달리티 학습 대비 멀티모달 학습의 효과를 입증하고, 손실 함수의 해를 점별 상호 정보(pointwise mutual information) 행렬의 특잇값 분해(singular value decomposition)와 연결한다. 이 연결은 멀티모달 EHR 표현 학습에 특화된 프라이버시 보존 알고리즘으로 이어진다. 시뮬레이션 연구는 제안된 알고리즘이 다양한 구성에서 우수한 성능을 보임을 보여준다. 또한 실제 EHR 데이터를 사용하여 그 임상적 유용성을 추가 검증한다.

arXiv:2607.09521v1cs.AI

SAGEAgent: 다중모달 생존 예측에서 비용 인식 모달리티 획득을 위한 자기진화형 에이전트

SAGEAgent: A Self-Evolving Agent for Cost-Aware Modality Acquisition in Multimodal Survival Prediction

정확한 생존 예측을 위해 모든 암 환자에게 완전한 진단 검사가 반드시 필요한가? 다중모달 임상 종양학에서 진단 모달리티는 임상적으로 규정된 부담 증가 순서를 따른다 -- 초기 접수 시 수집되는 인구통계학적 정보부터 전문적인 조직 분석을 요하는 유전체 프로파일링까지. 현재의 다중모달 생존 예측 방법들은 모든 모달리티가 가용하다고 가정하거나 누락 데이터를 수동적으로 처리하지만, 이 순서화된 워크플로우에서 특정 환자에게 다음 모달리티 획득이 정당한지 능동적으로 추론하는 방법은 존재하지 않는다. 우리는 이를 순차적 의사결정 문제로 정식화하고, 예측 정확도와 임상적 침습성 간의 균형을 맞추며 각 환자에 대해 획득할 진단 모달리티를 결정하는 자기진화형 대규모 언어 모델(LLM) 기반 임상 에이전트인 SAGEAgent(Sequential Acquisition Guided by Experience)를 제안한다. SAGEAgent는 수치 예측을 텍스트로 변환하는 임상 도구, 유사한 과거 사례를 검색하는 에피소딕 메모리(episodic memory), 그리고 경험으로부터 재사용 가능한 의사결정 패턴을 축적하는 시맨틱 메모리(semantic memory)를 통해 각 환자의 변화하는 진단 상태를 추론한다. TCGA-LGG, TCGA-GBM, BraTS를 결합한 신경교종 코호트에서 4가지 진단 모달리티를 활용한 실험을 통해, SAGEAgent가 평균 획득 부담을 55% 줄이면서 경쟁력 있는 생존 예측 정확도를 달성함을 입증한다.