PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.14743v3cs.CL

음성-텍스트 언어 모델에서 생성 모달리티 간극 정량화

Quantifying the Generation Modality Gap in Speech-Text Language Models

순수 음성 언어 모델(speech language model)은 일관성 있는 콘텐츠를 생성하는 데 있어 텍스트 및 음성-텍스트 언어 모델에 비해 뒤처지는 경우가 많지만, 음성과 텍스트 시스템이 일반적으로 서로 다른 지표로 평가되고 서로 다른 데이터로 학습(training)되기 때문에 이러한 간극을 정량화하기는 어렵습니다. 본 연구에서는 연속적인 음향 특징(feature) 생성을 위한 플로우 매칭(flow matching)을 기반으로 하는 일련의 음성 언어 모델 계열에서 음성-텍스트 모달리티 간극(modality gap)을 연구합니다. 일치된 데이터 분포에서 학습되고 일치된 생성 환경에서 평가되는 음성 전용, 텍스트 전용, 음성-텍스트 언어 모델을 비교하는 통합 생성 기반 평가 스위트를 구축합니다. 생성된 음성을 전사하고 참조 언어 모델로 점수를 매겨 측정한 의미론적 일관성(semantic coherence), 음소 n-그램 분포 통계로 측정한 국소적 음소 구조, 화자 일관성 및 음향 품질, 감정 기반 분포 지표 등 여러 차원에 걸쳐 생성된 연속 발화를 평가합니다. 데이터셋 전반에 걸쳐 음성-텍스트 결합 모델링이 의미론적 일관성을 크게 향상시킨다는 점을 확인했습니다. 그러나 이러한 개선이 모든 지표에서 균일하지는 않습니다. 음소 수준 지표는 미미하게만 변화하고, 음성-텍스트 연속 생성물에서 화자 유사도와 예측 품질은 더 낮은 반면 감정 기반 분포 지표는 향상됩니다. 더 큰 규모의 음성 전용 모델과 비교할 때, 제안하는 음성-텍스트 모델은 전사 기반 의미론적 일관성에서 스케일링(scaling) 격차의 상당 부분을 좁히며, 이는 텍스트가 음성 언어 모델링에 효율적인 의미론적 학습 신호를 제공함을 시사합니다.

arXiv:2607.10698v1cs.LG

다중 모달 표현 학습에서의 모달리티 갭과 대조 손실에 관하여

On the modality gap and the contrastive loss in multi-modal representation learning

우리는 CLIP 방식의 듀얼 인코더 대조 학습에서 나타나는 모달리티 갭(modality gap)을 연구한다. 이 갭은 이미지와 텍스트 임베딩이 공유 공간에서 학습됨에도 불구하고 정렬되지 않은 채로 남아 있는 현상이다. 우리는 이 갭이 독립적인 인코더를 사용하는 InfoNCE 공식의 실패로 인해 유발된다고 주장한다. 동일한 초기화 조건에서 두 개의 독립적인 인코더를 활용한 단일 모달 실험을 수행한 결과, InfoNCE가 낮은 온도에서 갭을 능동적으로 생성한다는 사실을 발견하였다. 우리는 이 현상에 대한 이론적 분석을 제공하고, 모달리티 갭이 실제로 낮은 온도에서만 나타나는 InfoNCE의 모드 실패(mode-failure)임을 보인다. 우리는 xNCE라는 간단한 수정 방법을 제안하는데, 이는 모달리티 간(intermodal) 및 모달리티 내(intra-modality) 부정적 대조 쌍을 함께 사용한다. xNCE는 낮은 온도에서도 갭을 일관되게 줄이면서 MS-COCO에서의 검색 성능을 InfoNCE와 동등한 수준으로 유지한다. 특히, xNCE는 모든 벤치마크에서 InfoNCE 기준선 대비 제로샷 분류 성능을 향상시키는 반면, 고온 InfoNCE 및 정규화된 InfoNCE는 이를 달성하지 못한다. 이는 xNCE가 전이에 필요한 변별적 기하 구조(discriminative geometry)를 희생하지 않으면서 모달리티 갭을 줄임을 보여준다.

arXiv:2602.07026v3cs.CV

멀티모달 대규모 언어 모델을 위한 모달리티 갭 기반 부분공간 정렬 학습 패러다임

Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models

멀티모달 대조 학습(contrastive learning)이 시각적·언어적 표현을 정렬하는 데 성공했음에도 불구하고, 지속적인 기하학적 이상 현상인 모달리티 갭(Modality Gap)은 여전히 남아 있다. 동일한 의미를 표현하는 서로 다른 모달리티의 임베딩(embedding)은 체계적으로 오프셋된 영역을 차지한다. 이 갭을 해소하려는 기존 접근법은 대부분 과도하게 단순화된 등방성(isotropic) 가정에 제한되어, 대규모 시나리오에서의 적용을 저해한다. 본 논문에서는 모달리티 갭의 기하학적 형태를 정밀하게 특성화하고 이를 효율적인 모델 스케일링(scaling)에 활용함으로써 이러한 한계를 해결한다. 먼저, 고정 프레임 모달리티 갭 이론(Fixed-frame Modality Gap Theory)을 제안한다. 이는 고정된 기준 프레임 내에서 모달리티 갭을 안정적인 편향(bias)과 비등방성(anisotropic) 잔차로 분해한다. 이 정밀한 모델링에 기반하여, 학습 없이(training-free) 모달리티를 정렬하는 전략인 ReAlign을 도입한다. ReAlign은 대규모 비페어(unpaired) 데이터의 통계를 활용하여, Anchor, Trace, Centroid Alignment로 구성된 3단계 과정을 통해 텍스트 표현을 이미지 표현 분포에 정렬함으로써 기하학적 불일치를 명시적으로 교정한다. ReAlign을 기반으로, 멀티모달 대규모 언어 모델(MLLM)을 위한 확장 가능한 학습 패러다임인 ReVision을 제안한다. ReVision은 ReAlign을 사전학습(pre-training) 단계에 통합하여, 시각 지시 미세조정(instruction tuning) 이전에 비페어 텍스트로부터 시각 표현의 분포를 학습할 수 있게 하며, 대규모 고품질 이미지-텍스트 페어가 필요하지 않다. 본 프레임워크는 통계적으로 정렬된 비페어 데이터가 비용이 큰 이미지-텍스트 페어를 효과적으로 대체할 수 있음을 보여주며, MLLM의 효율적인 스케일링을 위한 견고한 경로를 제공한다.