토키 포나로 살펴보는 Word2Vec의 한계
Examining the Limits of Word2Vec with Toki Pona
Word2Vec가 의미론적 임베딩을 생성하는 효과는 널리 검증되었지만, 거의 대규모 어휘 목록을 갖는 언어에서만 시험되었다. 본 연구는 약 130개 단어로 구성된 인공 언어인 토키 포나(Toki Pona)의 데이터를 사용하여, Word2Vec가 극도로 축소된 어휘 내에서 의미 관계를 성공적으로 포착할 수 있는지 검토한다. 학습을 위해 토키 포나 커뮤니티에서 140만 문장(795만 토큰)을 수집했다. 코퍼스 문장 중 약 23%는 고유명사, 차용어, 신조어와 같은 비-토키 포나 토큰을 포함한다. 이러한 언어적 노이즈가 성능을 향상시키는지 저해하는지—단어 임베딩 문헌에서 거의 다루지 않은 주제—를 조사하기 위해, 이러한 부수적 토큰을 유지한 모델 하나와 이를 완전히 제거한 또 다른 모델이라는 두 가지 서로 다른 모델을 학습했다. 평가는 의미 범주 중심점에 대한 단어 근접도를 측정하는 정량적 방법, 계층적 군집화(agglomerative clustering)를 통한 자동 실루엣 점수(silhouette score), 그리고 영어와 비교한 표상 유사성 행렬(representational similarity matrix)을 활용한 정성적 분석을 통해 수행되었다. 결과는 희소한 비핵심 토큰이 학습된 임베딩의 상대적 구조에는 영향을 주지 않지만, 실제로 유사한 단어들을 벡터 공간에서 더 가깝게 끌어당긴다는 것을 보여준다. 중요하게도, Word2Vec의 효과는 이 극단적인 하한에서도 어휘 규모보다 분포 패턴에 더 크게 의존한다.