arXiv:1902.06818

Data augmentation for low resource sentiment analysis using generative adversarial networks

Rahul Gupta

제출 2019-02-18

원문 초록

Sentiment analysis is a task that may suffer from a lack of data in certain cases, as the datasets are often generated and annotated by humans. In cases where data is inadequate for training discriminative models, generate models may aid training via data augmentation. Generative Adversarial Networks (GANs) are one such model that has advanced the state of the art in several tasks, including as image and text generation. In this paper, I train GAN models on low resource datasets, then use them for the purpose of data augmentation towards improving sentiment classifier generalization. Given the constraints of limited data, I explore various techniques to train the GAN models. I also present an analysis of the quality of generated GAN data as more training data for the GAN is made available. In this analysis, the generated data is evaluated as a test set (against a model trained on real data points) as well as a training set to train classification models. Finally, I also conduct a visual analysis by projecting the generated and the real data into a two-dimensional space using the t-Distributed Stochastic Neighbor Embedding (t-SNE) method.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15761v1cs.CL공통 태그 Data Augmentation, Sentiment Analysis

도메인 적응형 사전학습 및 데이터 증강 접근법을 활용한 강건한 마라티어 감성 분석

Robust Marathi Sentiment Analysis using Domain-Adaptive Pre-training and Data Augmentation Approaches

자원이 부족한 언어의 경우, 주석이 달린 데이터의 부족과 텍스트 출처 전반에 걸친 강한 도메인 가변성으로 인해 감성 분석(Sentiment Analysis)이 여전히 까다로운 문제로 남아 있습니다. 마라티어(Marathi)는 널리 사용되는 언어임에도 불구하고 포괄적인 다중 도메인 감성 분석 연구가 부족합니다. 최근 L3Cube의 연구를 통해 마라티어 다중 도메인 데이터셋이 도입되면서 도메인을 고려한 감성 분류 연구가 더욱 원활해졌습니다. 본 연구에서는 사전학습된 MahaBERT 모델을 사용하여 서로 다른 도메인에 걸친 마라티어 감성 분류 성능을 개선합니다. 각 개별 도메인 데이터셋으로 모델을 학습(training)하고 마스크 언어 모델링(masked language modeling)을 활용한 도메인 적응형 사전학습(domain-adaptive pretraining)을 적용하여 모델이 도메인 특화 언어를 더 잘 이해하도록 지원합니다. 또한, 학습 데이터의 다양성을 높이기 위한 데이터 증강(data augmentation) 기법으로 역번역(back-translation)을 활용합니다. 실험 결과, 이러한 방법들이 모든 도메인에서 일관된 정확도 향상으로 이어짐을 보여줍니다. 성능 향상 폭은 데이터셋에 따라 최소 약 0.12%에서 최대 약 1.74%에 이릅니다. 이러한 결과는 도메인 적응형 사전학습과 데이터 증강이 감성 분석 모델 개선에 효과적인 전략임을 입증합니다. 이는 서로 다른 도메인 전반에서 더욱 강건한 성능을 달성하는 데 기여하며, 마라티어와 같은 저자원 언어에 이 접근 방식을 더욱 적합하게 만듭니다.

arXiv:2609.25186v1cs.CY공통 태그 Sentiment Analysis, Text Generation

패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이

From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health

전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.

arXiv:2607.22376v2cs.CL공통 태그 Data Augmentation, Text Generation

문법서를 활용한 저자원 기계 번역용 합성 데이터 생성의 요인 실험 연구

A Factorial Study of Synthetic Data Generation for Low-Resource Machine Translation using Grammar Books

대부분의 위기 언어는 기술 문법서가 존재함에도 불구하고 기계 번역에 필요한 병렬 데이터가 부족하다. 본 연구는 대규모 언어 모델(LLM)을 사용하여 문법서에서 문법 규칙, 예문, 어휘집을 추출하고 미세조정용 합성 병렬 코퍼스를 생성하는 파이프라인을 제안한다. 이는 기존 연구처럼 추론 시점에 문법 내용을 프롬프트에 제공하는 방식과는 다르다. 유형론적으로 다양한 세 저자원 언어—Kalamang(파푸아어), Tuatschin(로망스어), Mandan(수어)—에서 검증한 결과, 합성 데이터 미세조정은 Kalamang에서 75%, Tuatschin에서 59%의 설정에서 시드 데이터 기준선 대비 개선을 보였으며, 최적의 경우 ChrF++는 각각 +8.8, +5.3, +3.3만큼 향상되었다. 목표 품사, 검색 세분성, 샘플 규모를 달리한 96개 설정에 대한 체계적인 요인 실험을 통해, 어떤 요인 조합이 성능 향상을 이끌고 어디에서 효과가 한계에 이르는지 밝혔다. 이 결과는 정적 언어학 문헌을 기계 번역 미세조정에 재활용할 수 있음을 보여 주며, 극도로 자원이 부족한 언어를 위한 번역 도구 구축이라는 실용적 경로를 제시한다.

arXiv:2607.24082v1cs.AI공통 태그 Sentiment Analysis, Text Generation

고수준 의미 지능을 향하여

Towards High-Level Semantic Intelligence

최근 AI의 발전은 인지 및 추론 능력을 크게 확장했다. 의미적 복잡성(semantic complexity) 관점에서 AI의 발전은 단순한 의미 처리에서 복잡한 의미 처리로 이어지는 뚜렷한 궤적을 보여준다. 초기 AI 시스템은 주로 직접적이고 문자 그대로의 의미 인식 또는 표현과 관련된 과제를 다루었지만, 현대 시스템은 점점 더 정교한 인지 추론을 수행할 것으로 기대되며, 이를 통해 고수준 의미(High-Level Semantics, HLS)의 이해와 생성을 가능하게 한다. 유사한 궤적은 인간의 인지 발달에서도 관찰할 수 있다. 우리는 이러한 전환을 기본 수준 의미 지능(Basic-Level Semantic Intelligence, BLSI)에서 고수준 의미 지능(High-Level Semantic Intelligence, HLSI)으로의 전환으로 정의한다. 그러나 이 문제는 기존 연구에서 아직 체계적이고 포괄적으로 검토되지 않았다. 이 공백에 동기를 부여받아, 본 서베이는 의미적 복잡성 관점에서 AI 의미 지능의 발전을 검토한다. 우리는 텍스트, 음성, 비전, 멀티모달 시나리오 전반에 걸쳐 유머, 풍자, 은유, 공감, 설득, 내러티브 및 기타 일반적인 HLS 현상을 포함한 HLS 과제에 대한 기존 연구를 체계적으로 조사한다. 구체적으로, 이해와 생성 모두에 대해 데이터 구축 방법, 모델링 및 최적화(optimization) 전략, 평가(evaluation) 방법론을 요약한다. HLS는 AI를 진정으로 인간과 유사한 지능으로 발전시키는 데 필수적이다. 의미 지능 관점에서 기존 방법과 통찰을 종합함으로써, 본 서베이는 HLSI를 향한 AI의 지속적인 발전을 지원하는 것을 목표로 한다.

arXiv:2607.22101v1cs.CV공통 태그 Data Augmentation, Text Generation

InnoText: 시각 텍스트 생성 및 편집을 위한 통합 모델

InnoText: A Unified Model for Visual Text Generation and Editing

확산 모델(diffusion model)은 최근 고품질(high-fidelity) 이미지 합성에서 뛰어난 성과를 거두었지만, 시각 텍스트 생성 및 편집에 대한 적용은 상대적으로 덜 탐구된 상태이다. 일반적인 이미지 생성과 달리, 시각 텍스트 작업은 정밀한 구조적 규칙성과 가독성을 요구하며, 이는 작은 크기의 텍스트와 중국어와 같은 비라틴 문자(non-Latin script)에 추가적인 어려움을 초래할 수 있다. 기존 UNet 기반 모델은 종종 선명하고 일관된 텍스트를 생성하는 데 어려움을 겪는 반면, DiT 기반 모델은 더 표현력이 뛰어나지만 일반적으로 단일 작업에만 한정되어 중복된 학습 파이프라인, 일관되지 않은 시각적 스타일, 교차 작업 일반화(cross-task generalization) 저하를 초래할 수 있다. 이러한 과제를 해결하기 위해, 우리는 단일 모델 내에서 텍스트 생성과 편집을 모두 수행할 수 있는 통합 DiT 기반 프레임워크인 InnoText를 제안한다. 우리는 글꼴 크기(font scale) 전반에 걸쳐 표현을 강화하기 위한 Font Size-Aware Modulation(FSAM) 모듈, 미세한 충실도(fine-grained fidelity)를 개선하기 위한 Small-Character Aware Augmentation 전략, 그리고 적응적 최적화를 위한 Task-Specific Region Weighted Loss를 도입한다. 학습과 평가를 지원하기 위해, 우리는 또한 다양한 글꼴, 크기, 배경을 포함하는 고품질 이중언어(영어-중국어) 시각 텍스트 데이터셋을 구축한다. 실험 결과는 우리 방법이 우수한 생성 정확도와 편집 품질을 달성하며, 시각적으로 매력적이고 사실적인 텍스트 이미지를 생성함을 보여준다.

arXiv:2607.20443v1cs.CL공통 태그 Data Augmentation, Text Generation

GLAN-QnA-KR: 시드 없는 분류체계 기반 한국어 인스트럭션 코퍼스

GLAN-QnA-KR: A Seedless Taxonomy-Driven Korean Instruction Corpus

우리는 GLAN-QnA-KR을 공개합니다. 이는 303,581행 규모의 공개적으로 재배포 가능한 한국어 인스트럭션-QA 코퍼스로, Microsoft의 Phi-3.5-MoE-instruct를 생성 모델로 사용하는 시드 없는 분류체계 기반 GLAN 합성 파이프라인을 통해 생성되었습니다(생성: 2024-12; 공개: 2024-12; 라이선스: OpenRAIL). 이 코퍼스는 1,084개의 영어 라벨 분야로 구성된 평면 분류체계, 한국어 질문/답변 텍스트, 100–900 난이도 척도, 그리고 레코드당 질문 313자·답변 1,098자의 중앙값을 포함합니다. 이 규모의 합성 인스트럭션 데이터에서 비정상적인 두 가지 특성이 있습니다: (i) 303,581행 중 정확히 중복된 질문은 단 1개뿐이며, Jaccard >= 0.9인 문자 trigram 근접 중복 클러스터는 5,000개 표본 탐색에서 0개이고, (ii) KMMLU, KoBEST(5개 하위 과제), HAE-RAE-Bench에 대한 2층 오염 감사는 20,000개의 GLAN 질문 표본과 7개 평가 세트 전체에서, 테스트 대 코퍼스 질문 수준의 문자 trigram Jaccard 최대값이 0.163이며 Jaccard >= 0.7인 테스트 항목은 0개이고, multilingual-E5 코사인 유사도 최대값은 0.901이며 코사인 >= 0.90인 테스트 항목은 1개, >= 0.95인 항목은 0개임을 보여줍니다. 공개 시점 기준, 우리가 알기로 Hugging Face Hub에서 검증 가능한 단일 파이프라인 합성 한국어 인스트럭션 코퍼스 중 최대 규모이며, 시드 없는 분류체계 기반 프로토콜 하에 구축된 유일한 10만 행 이상 한국어 코퍼스입니다. 본 노트는 후속 인용에 적합한 형태로 생성 프로토콜, 코퍼스 통계, 오염 감사, 라이선스 경계를 기술합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.