그룹 희소 행렬 분해를 통한 단어 임베딩의 전이학습
Group-Sparse Matrix Factorization for Transfer Learning of Word Embeddings
비정형 텍스트는 소매업의 제품 리뷰부터 의료 분야의 간호 기록에 이르기까지 다양한 도메인에서 의사결정권자에게 풍부한 데이터 소스를 제공합니다. 이 정보를 활용하기 위해 단어는 일반적으로 행렬 분해와 같은 비지도 학습 알고리즘을 통해 단어 임베딩(word embeddings, 단어 간의 의미적 관계를 인코딩하는 벡터)으로 변환됩니다. 그러나 학습 데이터가 제한된 새로운 도메인에서 단어 임베딩을 학습하는 것은 어려울 수 있는데, 이는 새로운 도메인에서 단어의 의미나 사용법이 달라질 수 있기 때문입니다. 예를 들어, 'positive'라는 단어는 일반적으로 긍정적인 감정을 나타내지만, 환자가 특정 질병에 대해 양성 반응을 보였음을 의미할 수 있으므로 의료 기록에서는 종종 부정적인 감정을 나타냅니다. 실제로 우리는 소수의 도메인 특정 단어만이 새로운 의미를 가질 것으로 기대합니다. 우리는 그룹 희소 페널티(group-sparse penalty)를 통해 이러한 구조를 활용하여, 대규모 텍스트 말뭉치(예: 위키피디아)와 제한된 도메인 특정 텍스트 데이터를 결합함으로써 도메인 특정 단어 임베딩을 효율적으로 전이 학습할 수 있는 직관적인 2단계 추정기를 제안합니다. 우리는 전이 학습 추정기의 일반화 오차를 한정하고, 도메인 간에 소수의 임베딩만 변경되는 경우 훨씬 적은 도메인 특정 데이터로도 높은 정확도를 달성할 수 있음을 증명합니다. 또한, 표준 정규화 조건 하에서 우리의 비볼록 목적 함수가 식별하는 모든 국소 최솟값이 전역 최솟값과 통계적으로 구별할 수 없음을 증명하여, 해당 추정기를 효율적으로 계산할 수 있음을 시사합니다. 우리의 결과는 그룹 희소 행렬 분해에 대한 첫 번째 한계(bounds)를 제공하며, 이는 그 자체로도 독립적인 관심사가 될 수 있습니다. 우리는 자연어 처리(NLP) 분야의 최첨단 미세조정 휴리스틱과 비교하여 우리의 접근 방식을 실증적으로 평가합니다.