합성 데이터 증강이 담화-화용론적 기능 분류에 미치는 영향
The Impact of Synthetic Data Augmentation on Discourse-Pragmatic Function Classification
한국어 초록
합성 데이터 증강(synthetic data augmentation)은 자연어 처리(NLP)에서 클래스 불균형을 해결하기 위한 일반적인 전략이 되었으나, 대부분의 접근법은 생성된 예제의 수량과 다양성에만 초점을 맞출 뿐 실제 학습 데이터와의 기하학적 관계에는 주목하지 않습니다. 본 연구에서는 데이터 희소성이 수집 과정의 인공물이 아닌 구조적 특징으로 나타나는 과제인 담화 화용론적 기능 분류의 맥락에서 이 문제를 조사합니다. British National Corpus에서 추출한 영어 단어 'look'에 대해 주의 신호(Attention Signal), 지시(Directive), 담화 표지(Discourse Marker), 감탄사(Interjection)의 네 가지 기능에 걸쳐 수작업으로 주석이 달린 410개의 사례를 활용합니다. Llama 3.1을 사용하여 합성 학습 예제를 생성하고, RoBERTa 임베딩 공간에서 실제 학습 데이터와의 코사인 거리를 기준으로 이를 분할합니다. 증강 수량은 조건 전반에 걸쳐 일정하게 유지하면서, 경험적 결정 경계에 대한 합성 예제의 배치 방식이 서로 다른 여섯 가지 학습 조건을 비교합니다. 모든 증강 조건은 실제 데이터만 사용한 기준선(baseline) 대비 매크로 F1과 정확도를 향상시키지만, 중심부에 가까운 예제(NEAR)가 매크로 F1에서 가장 큰 폭의 상승(0.113)을 이끌어내는 반면, 거리가 균형을 이룬 혼합 방식이 가장 높은 정확도(0.748)를 달성합니다. 어떤 조건에서도 AUC는 향상되지 않았는데, 이는 데이터 증강이 모델의 기저 확률 추정치를 개선하기보다는 결정 경계를 이동시킴을 나타냅니다. 이러한 결과는 표현 공간에서 합성 예제가 어디에 위치하는지가 생성되는 수량만큼이나 중요함을 시사하며, 더 넓은 저자원 화용론적 분류 연구에 시사점을 제공합니다.
원문 초록
Synthetic data augmentation has become a common strategy for addressing class imbalance in NLP, but most approaches focus on the quantity and diversity of generated examples rather than their geometric relationship to real training data. We investigate this question in the context of discourse pragmatic function classification, a task where data sparsity is a structural feature rather than a collection artefact. Using 410 manually annotated instances of the English word look drawn from the British National Corpus, spanning four functions: Attention Signal, Directive, Discourse Marker, and Interjection. We generate synthetic training examples with Llama 3.1 and partition them by their cosine distance from real training data in RoBERTa embedding space. We compare six training conditions that differ in the placement of synthetic examples relative to the empirical decision boundary, while holding augmentation quantity constant across conditions. All augmented conditions improve macro F and accuracy over the real only baseline, but core proximal examples (NEAR) yield the largest gains in macro F (0.113), while a distance balanced mix achieves the highest accuracy (0.748). No condition improves AUC, indicating that augmentation shifts the decision boundary rather than improving the model's underlying probability estimates. These findings suggest that where synthetic examples land in representation space matters as much as how many are generated, with implications for low resource pragmatic classification more broadly.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.03652v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.