PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04081v1cs.LG

인과적 언어 모델과 마스킹 언어 모델을 아우르는 문맥 내 학습의 통합 프레임워크

A Unified Framework for In-Context Learning with Causal and Masked Language Models

자기회귀 목적 함수(autoregressive objective)에 주로 집중되어 온 문맥 내 학습(ICL) 이론을 마스킹 언어 모델(masked language model)까지 확장하기 위해, 본 연구는 문맥 예시를 경험적 측도로 표현하는 통합 통계적 학습 프레임워크를 제안하고 Wasserstein 조건 하에서 두 사전학습 목적 함수에 대한 동일 차수의 초과 위험(excess risk) 상한을 도출한다. 함수 학습 실험에서 Masked Pair Encoder(MPE)가 GPT-2 계열 인과적 트랜스포머에 필적하는 성능을 달성함으로써, ICL 능력이 인과적 언어 모델에만 국한되지 않음을 이론적·실험적으로 뒷받침한다.

arXiv:2606.18811v1cs.IR

신경망 기반 희소 검색을 위한 MLM-헤드 재조정

Rescaling MLM-Head for Neural Sparse Retrieval

SPLADE 등 학습된 희소 검색(LSR)에서 MLM-헤드 L2 norm이 큰 사전학습 인코더는 스케일 불일치로 희소 활성화와 매칭 점수가 왜곡되어 학습이 불안정해질 수 있음을 보입니다. SPLADE 학습 전 MLM-헤드 투영을 상수로 재조정하는 초기화 보정은 아키텍처나 목표를 바꾸지 않고도 학습을 안정화하며, ModernBERT·Ettin 등에서 도메인 내·외 벤치마크 성능을 크게 높여 BERT-SPLADE 기준선과 대등하거나 이를 능가합니다.