On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model, Data, and Training
원문 초록
Aspect-based sentiment analysis (ABSA) aims at automatically inferring the specific sentiment polarities toward certain aspects of products or services behind the social media texts or reviews, which has been a fundamental application to the real-world society. Since the early 2010s, ABSA has achieved extraordinarily high accuracy with various deep neural models. However, existing ABSA models with strong in-house performances may fail to generalize to some challenging cases where the contexts are variable, i.e., low robustness to real-world environments. In this study, we propose to enhance the ABSA robustness by systematically rethinking the bottlenecks from all possible angles, including model, data, and training. First, we strengthen the current best-robust syntax-aware models by further incorporating the rich external syntactic dependencies and the labels with aspect simultaneously with a universal-syntax graph convolutional network. In the corpus perspective, we propose to automatically induce high-quality synthetic training data with various types, allowing models to learn sufficient inductive bias for better robustness. Last, we based on the rich pseudo data perform adversarial training to enhance the resistance to the context perturbation and meanwhile employ contrastive learning to reinforce the representations of instances with contrastive sentiments. Extensive robustness evaluations are conducted. The results demonstrate that our enhanced syntax-aware model achieves better robustness performances than all the state-of-the-art baselines. By additionally incorporating our synthetic corpus, the robust testing results are pushed with around 10% accuracy, which are then further improved by installing the advanced training strategies. In-depth analyses are presented for revealing the factors influencing the ABSA robustness.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
A Simple yet Effective Framework for Few-Shot Aspect-Based Sentiment Analysis
Aspect-Category-Opinion-Sentiment Extraction Using Generative Transformer Model
AWARE: Aspect-Based Sentiment Analysis Dataset of Apps Reviews for Requirements Elicitation
Aspect Based Sentiment Analysis with Self-Attention and Gated Convolutional Networks
Towards a One-stop Solution to Both Aspect Extraction and Sentiment Analysis Tasks with Neural Multi-task Learning
표현 사전이 효과를 내게 하는 요소는 무엇인가? Grokking에서의 특징 군, 라벨 없는 불변성, 임계 구간
What Makes a Representational Prior Work? Feature Families, Label-Free Invariances, and Critical Windows in Grokking
동반 연구는 grokking 지연이 인과적으로 과제 구조화된 표현이 형성되는 데 걸리는 시간이며, 대조적 사전을 통해 주입할 수 있음을 보였다. 여기서 우리는 188회의 새로운 실행을 통해 네 가지 축에 걸쳐 그러한 사전이 작동하게 만드는 요소를 규명한다. 내용: 잘못된 특징 군(크기 밴드)으로 구축된 일관되고 학습 가능한 사전은 무작위 분할과 마찬가지로 일반화를 차단한다(1/15 vs 0/20 grok; 둘 사이 $p=0.43$), 이는 사전이 회로의 특징 수준에서 작용한다는 동반 연구의 예측을 확인한다. 지도: 완전히 라벨 없는 불변성 사전 — 양성은 교환된 쌍 $(a,b)\sim(b,a)$뿐 — 은 중앙값 $2.7\times$ 속도 향상으로 15/15 실행에서 일반화하며, 라벨 지도 사전 자체보다 더 안정적이다($p=0.038$). 가중치 노름 클램프와 결합하면 우리가 시험한 가장 강력한 방법을 낳는다(중앙값 $17\times$, 5/5) — '가장 강력한'은 안정적으로 빠름을 의미한다: 클램프만 있는 단순 교차 엔트로피는 정확한 임계 노름에서만 이 속도에 도달하는 반면, 사전은 전체 클램프 범위에서 빠름을 유지한다. 시점: 사전은 초기에만 필요하다 — 처음 2000 epoch(예산의 4%) 동안에만 적용하면 $2.7\times$로 10/10 일반화하여, 연속 적용(8/10, $1.25\times$)과 동일 기간의 후기 구간($2.1\times$)보다 우수하다. 설정: 이 분리 현상은 모듈러 곱셈에서 및 다양한 깊이와 정규화 변형에 걸쳐 재현되며, 클램프 스윕은 동반 연구의 핵심 주장을 정량화한다: 구조 주입은 가중치 노름 지연 법칙 지수를 약 17배 평탄화한다(단순 교차 엔트로피는 +10 노름 단위당 $31\times$ 느려지며, 더 높은 셀은 검열되어 하한인 반면, 사전 사용 시 $1.22\times$). 솔직한 한계: 암기 전에 일반화하는 과제에는 통제할 지연이 없다. 특징 군 정렬은 사전이 일반화를 허용하는지를 결정하며, 불변성 내용만으로도 라벨 없이 가속에 충분하다; 짧은 초기 구간이 거의 모든 이점을 포착한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.