Atalaya at TASS 2019: Data Augmentation and Robust Embeddings for Sentiment Analysis
원문 초록
In this article we describe our participation in TASS 2019, a shared task aimed at the detection of sentiment polarity of Spanish tweets. We combined different representations such as bag-of-words, bag-of-characters, and tweet embeddings. In particular, we trained robust subword-aware word embeddings and computed tweet representations using a weighted-averaging strategy. We also used two data augmentation techniques to deal with data scarcity: two-way translation augmentation, and instance crossover augmentation, a novel technique that generates new instances by combining halves of tweets. In experiments, we trained linear classifiers and ensemble models, obtaining highly competitive results despite the simplicity of our approaches.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
도메인 적응형 사전학습 및 데이터 증강 접근법을 활용한 강건한 마라티어 감성 분석
Robust Marathi Sentiment Analysis using Domain-Adaptive Pre-training and Data Augmentation Approaches
자원이 부족한 언어의 경우, 주석이 달린 데이터의 부족과 텍스트 출처 전반에 걸친 강한 도메인 가변성으로 인해 감성 분석(Sentiment Analysis)이 여전히 까다로운 문제로 남아 있습니다. 마라티어(Marathi)는 널리 사용되는 언어임에도 불구하고 포괄적인 다중 도메인 감성 분석 연구가 부족합니다. 최근 L3Cube의 연구를 통해 마라티어 다중 도메인 데이터셋이 도입되면서 도메인을 고려한 감성 분류 연구가 더욱 원활해졌습니다. 본 연구에서는 사전학습된 MahaBERT 모델을 사용하여 서로 다른 도메인에 걸친 마라티어 감성 분류 성능을 개선합니다. 각 개별 도메인 데이터셋으로 모델을 학습(training)하고 마스크 언어 모델링(masked language modeling)을 활용한 도메인 적응형 사전학습(domain-adaptive pretraining)을 적용하여 모델이 도메인 특화 언어를 더 잘 이해하도록 지원합니다. 또한, 학습 데이터의 다양성을 높이기 위한 데이터 증강(data augmentation) 기법으로 역번역(back-translation)을 활용합니다. 실험 결과, 이러한 방법들이 모든 도메인에서 일관된 정확도 향상으로 이어짐을 보여줍니다. 성능 향상 폭은 데이터셋에 따라 최소 약 0.12%에서 최대 약 1.74%에 이릅니다. 이러한 결과는 도메인 적응형 사전학습과 데이터 증강이 감성 분석 모델 개선에 효과적인 전략임을 입증합니다. 이는 서로 다른 도메인 전반에서 더욱 강건한 성능을 달성하는 데 기여하며, 마라티어와 같은 저자원 언어에 이 접근 방식을 더욱 적합하게 만듭니다.
측면 기반 감성 분석을 위한 제약 인식 반사실적 편집
Constraint-Aware Counterfactual Editing for Aspect-Based Sentiment Analysis
측면 기반 감성 분석(ABSA)은 모델이 문장의 전역 극성에 의존하기보다 특정 측면에 대한 감성을 식별해야 한다. 이로 인해 반사실적 평가는 특히 어려운 과제가 된다. 유효한 반사실적 사례는 하나의 대상 측면 감성을 뒤집으면서, 비대상 측면의 감성, 의미, 유창성, 사실적 일관성은 모두 보존해야 한다. 기존의 반사실적 생성 방법은 종종 문장 수준의 레이블 뒤집기에 집중하며, 유창하지만 측면 관점에서 유효하지 않거나 의미가 표류하거나 모순되는 편집을 생성할 수 있다. 이 한계를 해결하기 위해, 우리는 측면 수준의 반사실적 사례를 생성하고 검증하기 위한 제약 인식 검증 편집(Constraint-Aware Validated Editing) 프레임워크인 CAVE-ABSA를 제안한다. CAVE-ABSA는 대상 측면과 연관된 의견 구간을 국소화하고, 통제된 반사실적 재작성을 수행하며, 수선 모듈을 통해 후보를 정제하고, 측면 수준 검증, 의미 유사도, AMR 기반 구조 보존, 편집 최소성, 유창성, 모순 탐지를 사용하여 이를 필터링한다. 이 프레임워크는 견고성 평가와 데이터 증강을 위해 검증된 반사실적 ABSA 데이터셋을 구축하도록 설계되었다. 생성과 검증을 명시적으로 분리함으로써, CAVE-ABSA는 의미 있는 측면 국소 반사실적 사례를 생성하고 ABSA 모델이 실제로 측면 기반 감성 추론에 의존하는지 검증하는 체계적인 접근법을 제공한다.
극화 탐지: 저자원 및 고자원 환경을 위한 AfroXLMR-Social과 DeBERTa의 하이브리드 접근법
Polarization Detection: A Hybrid Approach with AfroXLMR-Social and DeBERTa for Low- and High-Resource Settings
온라인 극화(polarization)의 급속한 확산은 사회적 결속을 위협하며, 다양한 언어적 맥락에서 효과적으로 작동하는 강건한 자동화 탐지 시스템의 필요성을 높이고 있다. 본 논문은 영어와 하우사어(Hausa)에서의 극화된 담론 탐지 및 특성화에 초점을 맞춘 POLAR Shared Task 2026에 대한 시스템 설명을 제시한다. 우리는 하이브리드 모델링 전략을 제안한다: 영어 이진 탐지에는 DeBERTa의 단일 언어 강점을 활용하고, 하우사어 및 모든 세분화된 하위 과제(유형 및 발현 양상)에는 AfroXLMR-Social을 사용한다. 이 도메인 적응 다국어 모델은 소셜 미디어 텍스트에서 극화의 뉘앙스를 포착하는 데 핵심적인 역할을 했다. 계산 제약과 데이터 부족 문제를 추가로 해결하기 위해 저랭크 적응(LoRA)과 nlpaug를 통한 텍스트 데이터 증강을 구현했다. 우리는 세 가지 하위 과제 전반에 걸쳐 경쟁력 있는 결과를 보고하며, 특정 하위 과제 요구사항에 맞춰 조정된 모델 선택이 최적의 성능 균형을 달성함을 입증한다.
RPAM: 다운스트림 출력에서 높은 예측 타당도를 가진 언어 모델 연관성 평가를 위한 원칙적 지표
RPAM: A Principled Metric for Evaluating Associations in Language Models with High Predictive Validity in Downstream Outputs
언어 모델(LM)은 고정관념과 같은 문제적 편향을 나타낸다. 이러한 편향을 효과적으로 분석하고 완화하려면 기저 연관성에 대한 정확하고 범용적인 평가 방법이 필요하다. 일부 기존 접근 방식은 생성된 텍스트의 연관성을 분석하는 다운스트림 지표에 초점을 맞춘다. 생성된 텍스트 내용은 LM마다 크게 달라질 수 있기 때문에, 이러한 지표들은 종종 특화된 평가 데이터셋을 필요로 하며, 이는 다운스트림 지표의 일반화를 제한한다. 이와 대조적으로, 업스트림 지표는 임베딩(embedding)이나 연속 확률이라는 근본적인 수준에서 LM을 검토함으로써 LM 전반에 걸쳐 원칙적인 연관성 분석을 가능하게 한다. 그러나 현재까지 생성형 LM을 위한 어떠한 업스트림 지표도 생성된 텍스트에서 측정된 연관성을 포함한 실제 연관성과의 강한 관계를 밝혀내지 못했다. 이러한 간극을 해소하기 위해, 우리는 생성형 LM을 위한 연관성 평가 지표인 상대 확률 연관성 지표(RPAM, Relative Probability Association Metric)를 제안한다. 언어 생성 품질과 목적이 서로 다른 세 가지 LM(Mistral-7B-Instruct, Mistral-7B, GPT-2)과 널리 연구된 평가 데이터셋(WEAT-WS, Bellezza, WS-353, SST2)에 대해, 우리는 업스트림 RPAM 측정값과 인간에게서 관찰된 암묵적·명시적 연관성 및 LM별 태스크로 다운스트림에서 측정된 편향 사이에서 강한 관계를 발견하였으며, 해당하는 경우 기존 최고 기록값을 능가하였다.
ADHD 또는 ASD를 자가 보고한 트위터 사용자의 DSM-5 우울 증상 언어에 대한 인구 수준 프로파일링: 자연어 처리와 통계 분석을 활용한 탐색적 연구
Population-Level Profiling of DSM-5 Depressive Symptom Language Among Twitter Users With Self-Reported ADHD or ASD: Exploratory Study Using Natural Language Processing and Statistical Analysis
우울증은 주의력결핍 과잉행동장애(ADHD) 및 자폐스펙트럼장애(ASD)와 자주 동반되지만, 이러한 상태를 가진 사람들이 우울 증상을 어떻게 표현하는지는 충분히 연구되지 않았다. 본 연구는 ADHD 또는 ASD를 자가 보고한 트위터 사용자들이 DSM-5의 아홉 가지 우울 증상과 관련된 언어에서 차이를 보이는지 조사하였다. 792명의 사용자가 작성한 트윗 1,282,437건(2020-2021년)을 분석하였다. 트윗은 제로샷 분류기와 로컬에서 실행한 대규모 언어 모델(Qwen3-8B)을 결합하여 우울 관련성을 선별하였고, ReDSM5 코퍼스로 미세 조정한 MentalRoBERTa를 통해 아홉 가지 증상으로 분류하였다. 파이프라인은 500건씩의 층화 표본 두 개로 조정하였으며, 이 중 150건의 트윗에 대해 사람이 판정한 레이블과 비교하여 내부 검증하였다. 사용자 수준 프로파일(582명)은 L1 규제 로지스틱 회귀, 중첩 교차 검증, 부트스트랩 안정성 분석, 증상별 효과 크기, 동시 발생 분석으로 비교하였다. 자연어 추론 필터를 사용한 기준 파이프라인의 정밀도는 0.09-0.13에 그친 반면, 최종 파이프라인은 정밀도 0.48-0.59, F1 0.55-0.68에 도달하였다. 집단 간 판별력은 보통 수준이었다(중첩 ROC-AUC 0.60-0.62). 자살 사고 관련 언어는 ASD 사용자에게서, 인지 문제 관련 언어는 ADHD 사용자에게서 더 빈번하였으며, 두 차이 모두 크기는 작았으나 민감도 분석 전반에서 견고하였다. 이러한 탐색적 결과는 우울 증상이 온라인에서 어떻게 표현되는지를 기술한 것이며, 임상적 유병률을 나타내는 것은 아니다.
단순할수록 좋을 때: 중세 라틴어 필사본을 위한 번역 파이프라인 평가
When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts
기계 번역의 눈부신 발전에도 불구하고, 비전 언어 모델(VLM)은 저자원 음역, 고어 어휘, 잡음이 섞인 입력 신호와 같은 핵심 자연어 처리(NLP) 역량을 시험하는 영역인 역사 필사본에서 어려움을 겪는다. 본 연구는 필경사의 약기, 합자, 양피지 훼손으로 인해 깨끗한 텍스트 벤치마크에서는 드러나지 않는 실패 양상이 나타나는 중세 라틴어 필사본을 대상으로, 이미지에서 번역에 이르는 전체 파이프라인을 평가하는 체계적 프레임워크를 제시한다. CATMuS Latin 데이터셋에서의 벤치마킹은 전문화 격차를 보여 준다. 도메인 특화 광학 문자 인식(OCR) 모델은 파라미터 수가 수십~수천 배 적음에도 범용 VLM에 비해 문자 오류율을 최대 4.3$\times$ 낮춘다. 또한 정렬된 필사본 이미지 행, 전사문, 전문가 번역 1,383건으로 구성된 새로운 데이터셋 Interpres-Parallel-Corpus(IPC)를 소개하며, 이는 우리가 아는 한 중세 라틴어 분야 최초이다. 실험은 복잡성 역설을 보여 준다. 특화된 OCR 모델이 VLM에 직접 입력되는 가장 단순한 파이프라인이 모든 다중 구성요소 변형보다 우수하다. 검색 증강 생성(RAG)이나 OCR 후 교정을 추가하면 프롬프트 포화와 오류 전파가 발생하여 전체 번역 품질이 저하된다. 이러한 결과는 새로운 벤치마크와 함께 저자원 역사 환경에서 번역 시스템을 배치하기 위한 실용적 지침을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.