arXiv:2606.20400v1 cs.LG

무주석 합성 데이터 생성에서 스타일 다양성의 중요성

The Significance of Style Diversity in Annotation-Free Synthetic Data Generation

Zahra Abbasiantaeb, Zeno Belligoli, Omar Essam, Mohammad Aliannejadi

제출 2026-06-18

한국어 초록

의도 분류(intent classification)를 위한 고유틸리티 합성 데이터를 생성하는 데는 일반적으로 사람이 주석을 단 시드 데이터가 필요하지만, 이는 빠르게 변화하는 산업 현장에서는 종종 구하기 어렵습니다. 본 논문에서는 사람이 주석을 단 데이터를 전혀 사용하지 않고 오직 의도 정의(intent definitions)에만 의존하여 작동하는 합성 대화 생성 프레임워크를 제안합니다. 제안된 대화 생성 프레임워크는 데이터 다양성을 향상시키기 위해 두 가지 유형의 주제 및 스타일 속성을 활용합니다. 또한, LLM이 생성한 합성 발화를 더 다양하고 인간과 유사한 언어 스타일로 변환하기 위해 Univ와 Exam이라는 두 가지 새로운 사후 스타일화 모델을 제안합니다. 데이터 품질을 향상시키기 위해 LLM-as-a-judge 필터링 과정을 활용합니다. 산업 및 공용 데이터셋에 대한 실험 결과, 제안된 접근 방식이 사람이 주석을 단 학습 데이터를 사용하여 얻은 성능의 최대 93.3%를 달성함을 보여줍니다. 무엇보다 중요한 점은, 연구 결과가 스타일 다양성이 모델이 허위 스타일 상관관계를 학습하는 것을 방지하므로 합성 데이터의 유용성 측면에서 주제 다양성보다 더욱 중요하다는 것을 밝혀냈다는 것입니다. 더욱이, 이 연구는 생성 과정 중에 스타일 속성을 통합하는 것이 사후 스타일 적응보다 더 효과적임을 보여줍니다.

원문 초록

Generating high-utility synthetic data for intent classification typically requires human-annotated seed data, which is often unavailable in fast-paced industrial settings. In this paper, we propose a framework for synthetic dialogue generation that works entirely without human-annotated data, relying solely on intent definitions. Our proposed dialogue generation framework utilizes two different types of topic and style attributes to improve data diversity. Also, we propose two novel post-hoc stylization models called Univ and Exam to transform synthetic LLM-generated utterances into more varied, human-like linguistic styles. To enhance data quality, we utilize an LLM-as-a-judge filtering process. Experimental results on both industrial and public datasets demonstrate that the proposed approach achieves up to 93.3% of the performance obtained using human-annotated training data. Crucially, the findings reveal that style diversity is more critical than topic diversity for synthetic data utility, as it prevents models from learning spurious stylistic correlations. Furthermore, the study shows that incorporating style attributes during the generation process is more effective than post-hoc style adaptation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20400v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15908v1cs.AI공통 태그 Data Augmentation, Text Classification

LURE: 단계별로 라벨링된 온라인 그루밍 대화 합성 코퍼스

LURE: a Phase-Labelled Synthetic Corpus of Online-Grooming Exchanges

단계 주석이 달린 대화형 데이터는 미성년자 대상 온라인 그루밍(online grooming)의 진행 과정을 연구하고 조기 경보 도구를 개발하는 데 필수적입니다. 그러나 공개적으로 접근 가능한 유일한 출처인 Perverted-Justice 아카이브(ChatCoder를 사용해 코딩된 부분집합 포함)는 규모가 작고, 오래되었으며, 추가 업데이트가 중단된 상태입니다. 본 연구에서는 기관 내 하드웨어에서 실행되는 검색-증강 파이프라인을 사용해 생성한 그루머-피해자 대화 합성 코퍼스를 제시합니다. 이 파이프라인은 공개적으로 사용 가능한 80억 개 매개변수(parameter) 규모의 거부 완화(refusal-ablated) 언어 모델(language model)을 활용합니다. 해당 코퍼스는 합성 데이터셋을 위한 책임 있는 생성 프로토콜의 5단계를 따라 구축되었습니다: ChatCoder 유인 소통 체계 기반의 온톨로지 주도 설계(4개 그루밍 단계에 매핑된 8개 소통 태그), 다중 모델 프롬프트(prompt) 테스트, 인간 참여형(human-in-the-loop) 감독, 의미 및 특징(feature) 수준의 검증(validation), 모달리티 인식 문서화. 공개된 코퍼스는 7개 태그와 4개 단계에 걸친 2,121개의 고유한 대화로 구성되며, 각각 플루치크(Plutchik) 감정 필드가 함께 제공됩니다. 검증을 통해 코퍼스의 무결성과 어휘 프로파일뿐만 아니라 실제 시드 대화의 재현 여부, 도메인 내 레이블 복원력(태그 정확도: 0.85, 단계 정확도: 0.93), 그리고 8개 태그 수준에서 자동 코딩된 대화(31,640행) 및 3개 구성 개념 수준에서 인간 코더가 코딩한 대화(10,876개 게시글)인 실제 ChatCoder 가해자 대화로의 전이 능력을 정량화했습니다. 어휘 및 문장 임베딩(embedding) 특징에 대해 정확도를 측정했으며, 실제-합성 판별기(discriminator)는 두 도메인을 91%의 정확도로 구분할 수 있었습니다. 본 코퍼스의 활용 범위에는 통제된 단계 조건부 실험, 파이프라인 개발, 실제 데이터 및 인식 제고 자료와 병행한 데이터 증강이 포함됩니다. 코퍼스와 데이터시트, 감사 코드는 심사를 거친 접근 권한 하에 공개됩니다.

arXiv:2608.24268v2cs.CL공통 태그 Data Augmentation, Text Classification

ROBE: 역사 문헌에서 극단적 롱테일 이벤트를 추출하기 위한 역순 편향 전문가(Reversed-Order-Biased-Experts)

ROBE: Reversed-Order-Biased-Experts for Extracting Extreme Long-tail Events from Historical Texts

본 논문에서는 17세기와 18세기에 걸친 네덜란드 역사 코퍼스에서 50가지 이상의 이벤트 유형을 추출하는 방법을 제안합니다. 제안하는 방법은 머신러닝에서 매우 도전적인 시나리오인 '롱테일의 롱테일' 추출 문제를 해결하는 것을 목표로 합니다. 19세기 이전의 역사적 데이터는 그 자체로 대규모 언어 모델(LLM)의 사전학습에서 다루어지지 않은 틈새 도메인이며, 본 연구는 이 도메인에서 활용 가능한 학습 데이터 내에서도 극히 드물게 주석 처리된 이벤트를 추출하고자 합니다. 이를 위해 학습 데이터에 존재하는 이벤트의 하위 그룹별로 전문가 분류기를 생성하는 방식을 제안합니다. 이러한 그룹화는 학습 데이터 내의 유사한 빈도나 의미론적 관련성을 기반으로 수행됩니다. 빈도 편향에 의해 압도되는 것을 방지하기 위해, 드물게 나타나는 이벤트에 대해 학습된 전문가에 예측 시 더 높은 우선순위를 부여합니다. 롱테일을 보호하도록 특별히 맞춤 설계된 이러한 새로운 분류기 결합 방식을 ROBE(Reversed-Order-Biased-Experts)라고 부릅니다. 또한 도메인 특화 합성 데이터를 생성하는 제어된 방법도 제안합니다. ROBE의 두 가지 구현은 단순 파인튜닝된 인코더 모델 대비 각각 정밀도에서 0.16, 재현율에서 0.05 향상되어 더 우수한 성능을 보였습니다. 가장 우수한 모델은 해당 틈새 데이터셋의 롱테일 클래스 그룹에 대해 F1 점수를 0.11 향상시켰습니다.

arXiv:2608.27855v2cs.CL공통 태그 Text Classification, Text Generation

AI 작성자는 일관된 문체 측정학적 흔적을 남기지만, AI 편집자는 그렇지 않다

AI Writers Have a Consistent Stylometric Footprint, but AI Editors Do Not

대규모 언어 모델(LLM)이 생성한 텍스트는 사람이 작성한 텍스트와 문체 측정학(stylometry)적으로 구별된다는 점이 밝혀져 왔다(Andre et al., 2023; Shah et al., 2023; Opara, 2024; Soto et al., 2024; Li and Zhang, 2025; Selvioglu et al., 2025). 그러나 LLM은 텍스트를 생성할 뿐만 아니라 사람이 작성한 글을 편집하는 데에도 점점 더 많이 활용되고 있으며, 두 행위가 동일한 흔적을 남기는지는 불분명하다. 본 연구에서는 AI 생성이 일관된 "문체 측정학적 흔적(stylometric footprint)"을 남긴다는 것을 보인다. 즉, 주로 엔트로피(entropy)와 어휘 다양성(lexical diversity)으로 구성된 소수의 특징 부분집합이 8개의 LLM과 5개 도메인 전반에서 AI 생성 텍스트를 사람이 작성한 글과 일관되게 구분하는 반면, 나머지 특징들은 도메인과 생성 모델에 크게 의존한다. 그러나 AI 편집은 이러한 동일한 흔적을 재현하지 않는다. 사람이 작성한 원본과 비교했을 때, AI가 편집한 텍스트는 AI 생성의 특징인 동반 증가 대신 어휘 다양성의 미미한 증가와 엔트로피 감소만을 보인다. 생성에는 거의 기여하지 않던 어휘 밀도(lexical density)가 편집과 관련된 지배적인 신호로 작용하게 된다. 따라서 문체 측정학적 특징은 AI 편집 텍스트를 AI 생성 텍스트와 구분하지만, 사람이 작성한 텍스트와 구분하는 데는 훨씬 덜 효과적이다. 본 연구 결과는 "AI 텍스트"가 단일한 현상이 아니며, 생성과 편집은 질적으로 서로 다른 문체 측정학적 흔적을 남기므로 별도로 연구되어야 함을 시사한다.

arXiv:2607.22376v2cs.CL공통 태그 Data Augmentation, Text Generation

문법서를 활용한 저자원 기계 번역용 합성 데이터 생성의 요인 실험 연구

A Factorial Study of Synthetic Data Generation for Low-Resource Machine Translation using Grammar Books

대부분의 위기 언어는 기술 문법서가 존재함에도 불구하고 기계 번역에 필요한 병렬 데이터가 부족하다. 본 연구는 대규모 언어 모델(LLM)을 사용하여 문법서에서 문법 규칙, 예문, 어휘집을 추출하고 미세조정용 합성 병렬 코퍼스를 생성하는 파이프라인을 제안한다. 이는 기존 연구처럼 추론 시점에 문법 내용을 프롬프트에 제공하는 방식과는 다르다. 유형론적으로 다양한 세 저자원 언어—Kalamang(파푸아어), Tuatschin(로망스어), Mandan(수어)—에서 검증한 결과, 합성 데이터 미세조정은 Kalamang에서 75%, Tuatschin에서 59%의 설정에서 시드 데이터 기준선 대비 개선을 보였으며, 최적의 경우 ChrF++는 각각 +8.8, +5.3, +3.3만큼 향상되었다. 목표 품사, 검색 세분성, 샘플 규모를 달리한 96개 설정에 대한 체계적인 요인 실험을 통해, 어떤 요인 조합이 성능 향상을 이끌고 어디에서 효과가 한계에 이르는지 밝혔다. 이 결과는 정적 언어학 문헌을 기계 번역 미세조정에 재활용할 수 있음을 보여 주며, 극도로 자원이 부족한 언어를 위한 번역 도구 구축이라는 실용적 경로를 제시한다.

arXiv:2607.22101v1cs.CV공통 태그 Data Augmentation, Text Generation

InnoText: 시각 텍스트 생성 및 편집을 위한 통합 모델

InnoText: A Unified Model for Visual Text Generation and Editing

확산 모델(diffusion model)은 최근 고품질(high-fidelity) 이미지 합성에서 뛰어난 성과를 거두었지만, 시각 텍스트 생성 및 편집에 대한 적용은 상대적으로 덜 탐구된 상태이다. 일반적인 이미지 생성과 달리, 시각 텍스트 작업은 정밀한 구조적 규칙성과 가독성을 요구하며, 이는 작은 크기의 텍스트와 중국어와 같은 비라틴 문자(non-Latin script)에 추가적인 어려움을 초래할 수 있다. 기존 UNet 기반 모델은 종종 선명하고 일관된 텍스트를 생성하는 데 어려움을 겪는 반면, DiT 기반 모델은 더 표현력이 뛰어나지만 일반적으로 단일 작업에만 한정되어 중복된 학습 파이프라인, 일관되지 않은 시각적 스타일, 교차 작업 일반화(cross-task generalization) 저하를 초래할 수 있다. 이러한 과제를 해결하기 위해, 우리는 단일 모델 내에서 텍스트 생성과 편집을 모두 수행할 수 있는 통합 DiT 기반 프레임워크인 InnoText를 제안한다. 우리는 글꼴 크기(font scale) 전반에 걸쳐 표현을 강화하기 위한 Font Size-Aware Modulation(FSAM) 모듈, 미세한 충실도(fine-grained fidelity)를 개선하기 위한 Small-Character Aware Augmentation 전략, 그리고 적응적 최적화를 위한 Task-Specific Region Weighted Loss를 도입한다. 학습과 평가를 지원하기 위해, 우리는 또한 다양한 글꼴, 크기, 배경을 포함하는 고품질 이중언어(영어-중국어) 시각 텍스트 데이터셋을 구축한다. 실험 결과는 우리 방법이 우수한 생성 정확도와 편집 품질을 달성하며, 시각적으로 매력적이고 사실적인 텍스트 이미지를 생성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.