Best Preprocessing Techniques for Sentiment Analysis
Twitter 데이터셋 감성 분석에서 전처리(preprocessing) 기법의 적용 순서를 체계적으로 비교·분석한 결과, 토큰화(tokenisation)가 가장 영향이 크고 철자 교정(spelling correction)은 가장 영향이 작으며 stemming과 불용어 제거는 상호 교환 가능하다. 최적 순서는 토큰화, 텍스트 클리닝, stemming, 불용어 제거이며, 부정어는 제거하지 않는 편이 더 낫다.