PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.12362v1cs.LG

결측 모달리티가 있는 멀티모달 학습을 위한 잠재 세계 복구

Latent World Recovery for Multimodal Learning with Missing Modalities

우리는 결측 모달리티(missing modalities)가 존재하는 상황에서의 멀티모달 학습을 연구합니다. 이는 의사결정이 필요한 시점에 이질적인 모달리티가 부분적으로만 사용 가능한 경우가 많은 생명과학 응용 분야에서 특히 동기를 얻었습니다. 우리는 잠재 세계 복구(Latent World Recovery, LWR)를 제안합니다. 이 프레임워크는 두 가지 핵심 아이디어에 기반합니다: (i) 서로 다른 모달리티의 모달리티 특화 임베딩(embedding)들이 공유된 잠재 공간에서 정렬되며, (ii) 학습(training) 및 추론(inference) 시점에 실제로 사용 가능한 모달리티의 임베딩만 융합하여 통합된 표현(representation)을 구성합니다. 결측 모달리티를 대체(imputation)하거나 고정된 모달리티 세트를 요구하는 대신, LWR은 각 모달리티를 기저 잠재 상태에 대한 부분적 인지(perception)로 간주하고 관찰된 모달리티로부터 직접 가용성 인지 표현 학습을 수행합니다. 이러한 이웃 기반 잠재 정렬과 가용성 인지 모달리티 융합의 결합은 결측 모달리티의 명시적 재구성으로 인한 오류 전파를 피하면서, 부분적 관찰 하에서 견고한 멀티모달 예측을 가능하게 합니다. 우리는 제안된 프레임워크를 실제 불완전한 멀티-오믹스(multi-omics) 벤치마크에서 평가하고, 암 표현형 분류(classification) 및 생존 예측과 같은 하위 작업에 효과적인 접근 방식을 제공함을 입증합니다.