PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2508.17497v3cs.LG

의미적 관계를 조건으로 하는 다중모달 표현 학습

Multimodal Representation Learning Conditioned on Semantic Relations

다중모달(multimodal) 표현 학습은 쌍을 이루는 이미지-텍스트 샘플을 정렬하여 공유된 임베딩(embedding) 공간을 학습하는 CLIP과 같은 대조 모델(contrastive model)을 중심으로 주로 발전해 왔습니다. 이러한 모델은 범용 표현 학습에는 효과적이지만, 일반적으로 샘플당 단일 임베딩을 생성하여 다양한 의미적 관계와 맥락 전반에서 이를 재사용합니다. 그러나 많은 실제 응용 분야에서 샘플 간의 관련성은 본질적으로 관계에 따라 달라지며, 서로 다른 의미적 관계는 다중모달 데이터의 서로 다른 측면을 강조합니다. 본 연구에서는 의미적 관계를 다중모달 표현 학습의 명시적 조건으로 다루는 프레임워크인 RCML(Relation-Conditioned Multimodal Learning)을 제안합니다. 관계에 무관한 임베딩을 생성하는 대신, RCML은 자연어 관계 설명을 조건으로 하는 표현을 학습하여 동일한 샘플이라도 서로 다른 관계 맥락에서 다르게 표현될 수 있도록 합니다. 이 프레임워크는 관계를 인식하는 학습(training) 쌍을 구성하고, 임베딩을 관계 의미론에 적응시키는 관계 조건 모듈을 도입하며, 통합 대조 목적 함수를 사용하여 모달 간 정렬과 관계 기반 샘플 간 구조를 함께 모델링합니다. 여러 데이터셋(dataset)에 대한 실험 결과, RCML은 제로샷(zero-shot), 파인튜닝(fine-tuning) 및 도메인 외(out-of-domain) 환경의 검색 및 분류(classification) 태스크에서 강력한 베이스라인들을 일관되게 능가함을 보여주며, 의미적 관계를 활용하여 다중모달 표현 학습을 유도하는 방식의 효과성을 입증합니다.