arXiv:2102.11651

A Novel Deep Learning Method for Textual Sentiment Analysis

Hossein Sadr, Mozhdeh Nazari Solimandarabi, Mir Mohsen Pedram, Mohammad Teshnehlab

제출 2021-02-23

원문 초록

Sentiment analysis is known as one of the most crucial tasks in the field of natural language processing and Convolutional Neural Network (CNN) is one of those prominent models that is commonly used for this aim. Although convolutional neural networks have obtained remarkable results in recent years, they are still confronted with some limitations. Firstly, they consider that all words in a sentence have equal contributions in the sentence meaning representation and are not able to extract informative words. Secondly, they require a large number of training data to obtain considerable results while they have many parameters that must be accurately adjusted. To this end, a convolutional neural network integrated with a hierarchical attention layer is proposed which is able to extract informative words and assign them higher weight. Moreover, the effect of transfer learning that transfers knowledge learned in the source domain to the target domain with the aim of improving the performance is also explored. Based on the empirical results, the proposed model not only has higher classification accuracy and can extract informative words but also applying incremental transfer learning can significantly enhance the classification performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15757v1cs.CL공통 태그 Sentiment Analysis, Transfer Learning

저자원 언어 감성 분석에서의 제로샷 도메인 전이 향상: 마라티어 사례 연구

Enhancing Zero-Shot Domain Transfer in Low-Resource Sentiment Analysis: A Case Study in Marathi

감성 분석(sentiment analysis)은 텍스트 내 의견의 극성을 판별하는 자연어 처리(NLP)의 핵심 과제입니다. 마라티어와 같이 데이터가 제한되어 표준 통계적 방법론의 직접적인 적용이 어려운 저자원(low-resource) 언어의 경우, 모델은 주로 단일 도메인 데이터셋으로 학습됩니다. 이는 도메인 내(in-domain) 성능은 뛰어나지만, 보지 못한(unseen) 도메인에 대한 일반화 성능 저하로 이어집니다. 최근 연구들은 다중 도메인 모델링을 통해 다양한 실제 환경의 콘텐츠를 처리할 수 있는 도메인 견고형 시스템의 필요성을 강조하고 있습니다. 본 연구는 다중 도메인 학습이 보지 못한 마라티어 도메인에 대한 감성 분류를 어떻게 개선하는지 조사합니다. 모델은 단일 도메인, 2개 도메인 및 3개 도메인 데이터셋 조합을 사용하여 학습되었습니다. 실험 결과, 2개 도메인 학습은 단일 도메인 학습에 비해 보지 못한 도메인에 대한 정확도를 약 8% 향상시키는 것으로 나타났습니다. 세 번째 도메인을 추가하면 추가적인 개선이 이루어지지만, 그 증가 폭은 더 작아 일부 도메인에서는 평균 약 2% 수준이었습니다. 이러한 결과는 다중 도메인 데이터로 학습하는 것이 저자원 언어를 위한 더욱 견고한 감성 분석 모델을 구축하는 데 도움이 되지만, 도메인이 추가될수록 그 이득은 점차 줄어든다는 점을 시사합니다.

arXiv:2607.24542v1cs.CL공통 태그 Sentence, Transfer Learning

전사에서 의미 코퍼스 분석까지: 고대 언어를 위한 문장 표현의 비지도 학습

From transcription to semantic corpus analysis: unsupervised learning of sentence representations for ancient languages

자동 문자 인식(ATR, Automatic Text Recognition)은 이제 디지털 인문학에 고대 언어의 비구조적이고 이질적이며 종종 노이즈가 많은 대량의 텍스트를 제공한다. 하위 의미 분석—텍스트 재사용 식별, 정렬, 의미 검색—은 문장 임베딩에 의존하지만, 기존 방법은 고대 언어로의 전이가 잘 되지 않는다: 범용 다국어 인코더는 성능이 낮고, 특화 언어 모델은 이방성(anisotropic) 표현 공간을 만들며, 라벨이 붙은 유사도 데이터를 구할 수 없다. 우리는 원문 문장만을 사용하여 특화 토큰 수준 언어 모델을 코퍼스 특화 문장 인코더로 적응시키는 두 가지 완전 비지도 전략—TSDAE와 대조적 문장 임베딩(CSE, contrastive sentence embedding)—을 연구한다. 교부 문헌(patristic literature)에서 성경 재사용이라는 필독학적으로 핵심적인 사례(아우구스티누스, 히에로니무스, 아타나시우스의 라틴어 및 고대 그리스어 전문가 검증 병렬 구문 2,935개)에서, 우리는 재사용 식별을 두 가지 별도 평가 과제—이진 탐지와 대응 검색—로 분해하고, 적응된 인코더를 다국어, 특화, 증류, 지도 미세조정 기준선과 비교 벤치마크하며, HTR(손글씨 문자 인식) 아티팩트와 필사 약어를 시뮬레이션한 인위적 노이즈 데이터에서도 평가한다. 적응된 인코더는 두 과제 모두에서 모든 기준선을 능가하며, 상호 보완적인 특성을 보인다: TSDAE는 대규모 도메인 내 코퍼스가 주어졌을 때 탐지에서 우수하고, CSE는 검색에서 우수하며, 원시 도메인 내 문장 4–8천 개만으로 최적에 도달한다—노트북 GPU에서 수십 초의 학습—그리고 저작물과 저자에 걸쳐 전이되며, ATR 후 노이즈 텍스트에 직접 재학습할 때도 마찬가지다. UMAP 아틀라스는 각 전략의 기하학적 효과를 측정된 성능 향상과 연관 짓고, 전체 파이프라인—분할, 미세조정, 교차 코퍼스 의미 검색—은 온라인 도구 Paraphrasis를 통해 비전문가에게 제공된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.