arXiv:1904.08770

An Empirical Evaluation of Text Representation Schemes on Multilingual Social Web to Filter the Textual Aggression

Sandip Modha, Prasenjit Majumder

제출 2019-04-16

원문 초록

This paper attempt to study the effectiveness of text representation schemes on two tasks namely: User Aggression and Fact Detection from the social media contents. In User Aggression detection, The aim is to identify the level of aggression from the contents generated in the Social media and written in the English, Devanagari Hindi and Romanized Hindi. Aggression levels are categorized into three predefined classes namely: `Non-aggressive`, `Overtly Aggressive`, and `Covertly Aggressive`. During the disaster-related incident, Social media like, Twitter is flooded with millions of posts. In such emergency situations, identification of factual posts is important for organizations involved in the relief operation. We anticipated this problem as a combination of classification and Ranking problem. This paper presents a comparison of various text representation scheme based on BoW techniques, distributed word/sentence representation, transfer learning on classifiers. Weighted $F_1$ score is used as a primary evaluation metric. Results show that text representation using BoW performs better than word embedding on machine learning classifiers. While pre-trained Word embedding techniques perform better on classifiers based on deep neural net. Recent transfer learning model like ELMO, ULMFiT are fine-tuned for the Aggression classification task. However, results are not at par with pre-trained word embedding model. Overall, word embedding using fastText produce best weighted $F_1$-score than Word2Vec and Glove. Results are further improved using pre-trained vector model. Statistical significance tests are employed to ensure the significance of the classification results. In the case of lexically different test Dataset, other than training Dataset, deep neural models are more robust and perform substantially better than machine learning classifiers.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22081v2cs.CL공통 태그 General Classification, Transfer Learning

부문 간 안전 분석을 위한 직업 재해 서사 구조화: 사고 과정 역할 분류의 전이 가능성

Structuring occupational accident narratives for cross-sector safety analysis: Transferability of accident-process role classification

서론: 직업 재해 서사는 작업 상황, 불리한 조건, 사고 사건 및 결과를 기술하지만, 용어와 보고 관행의 차이가 부문 및 조직 간 체계적 분석을 저해한다. 본 연구는 한 직업 부문에서 개발된 모델이 보지 못한 부문 및 보고 환경에서 동일한 사고 과정 정보를 식별할 수 있는지 검토하였다. 방법: 프랑스어 재해 서사를 사실 단위로 분절하고, 작업 상황, 명시적으로 보고된 불리한 조건, 사고 사건 또는 이탈, 또는 보고된 결과로 전문가 주석을 부여하였다. 모델은 6,040건의 건설 부문 서사에서 추출한 42,244개 사실 단위로 개발하였으며, 재학습 없이 야금, 화학-플라스틱, 그리고 독립적으로 수집한 기업 코퍼스에서 평가하였다. TF-IDF 기반 어휘 모델, 고정된 사전학습(pre-training) 텍스트 표현, 과제 적응(task-adapted) 사전학습 모델을 비교하였다. 결과: TF-IDF의 평균 균형 정확도(balanced accuracy)는 75.0%, 고정 사전학습 표현은 76.9%, 과제 적응 후 약 85.7%였다. 반복 실행에서 선도적인 적응 접근법은 전반적으로 유사한 성능을 보였으며, 어떤 방법도 다른 방법을 지속적으로 능가하지는 않았다. 기업 코퍼스에서는 성능이 더 낮고 변동성이 컸으며, 여기서 전이는 서로 다른 보고 환경과 데이터 원천을 수반하기도 하였다. 결론: 건설 서사에서 학습한 사고 과정 역할은 다른 부문 및 독립적인 조직 환경에서도 식별 가능했다. 실용적 응용: 해당 프레임워크는 보조 코딩, 전문가 검토, 부문 간 분석, 대규모 재해 보고 수집물에 대한 예방 지향 분석을 지원할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.