arXiv:2010.08670

CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for Natural Language Understanding

Yanru Qu, Dinghan Shen, Yelong Shen, Sandra Sajeev, Jiawei Han, Weizhu Chen

제출 2020-10-16

원문 초록

Data augmentation has been demonstrated as an effective strategy for improving model generalization and data efficiency. However, due to the discrete nature of natural language, designing label-preserving transformations for text data tends to be more challenging. In this paper, we propose a novel data augmentation framework dubbed CoDA, which synthesizes diverse and informative augmented examples by integrating multiple transformations organically. Moreover, a contrastive regularization objective is introduced to capture the global relationship among all the data samples. A momentum encoder along with a memory bank is further leveraged to better estimate the contrastive loss. To verify the effectiveness of the proposed framework, we apply CoDA to Transformer-based models on a wide range of natural language understanding tasks. On the GLUE benchmark, CoDA gives rise to an average improvement of 2.2% while applied to the RoBERTa-large model. More importantly, it consistently exhibits stronger results relative to several competitive data augmentation and adversarial training base-lines (including the low-resource settings). Extensive experiments show that the proposed contrastive objective can be flexibly combined with various data augmentation approaches to further boost their performance, highlighting the wide applicability of the CoDA framework.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25298v1cs.CL공통 태그 Diversity, Natural Language Understanding

FineWeb-CLaR: 벤치마크 정렬 코퍼스 감사를 위한 문화·언어·지역 어노테이션

FineWeb-CLaR: Culture, Language, and Region Annotations for Benchmark-Aligned Corpus Auditing

언어 모델의 문화적 평가 커버리지와 견고성(robustness)은 사전학습 코퍼스와 문화 벤치마크가 비교 가능한 메타데이터로 거의 색인되지 않아 진단하기 어렵다. 벤치마크는 점점 언어, 지역, 로케일별 관행 수준의 문화적으로 맥락화된 현상을 대상으로 하는 반면, 웹 규모 코퍼스는 보통 언어로만 구성된다. 공유 문화-언어-지역 층은 이러한 자원을 비교 가능하게 하여, 대상 문화적 현상이 사전학습 데이터에 반영되는지, 벤치마크로 평가되는지, 또는 둘 다인지에 대한 감사(auditing)를 가능하게 한다. 이를 위해 FineWeb과 FineWeb-2에서 파생된 대규모 주석 데이터셋인 FineWeb-CLaR을 제안한다. FineWeb-CLaR은 코퍼스 감사 및 벤치마크 정렬을 위해 웹 문서를 공유 문화-언어-지역 축에 배치한다. FineWeb-CLaR은 URL에서 유도한 지역 레이블과 문화 주제 출처(provenance)로 FineWeb 및 FineWeb-2의 전체 30.9B개 문서 컬렉션에 어노테이션한다. 우리의 지역 해석기(region resolver)는 문서의 25.61%(7.92B)에 비어 있지 않은 지역을 할당한다. 문화 주제 분석을 위해 로케일별 주제를 유도하고 Liu et al. (2025)의 Cultural Taxonomy 14개 리프에 투영하여 코퍼스 측 비교를 위한 Locale Topic Distributions(LTD)를 생성한다. 또한 277개의 문화 NLP 벤치마크에 동일한 분류 체계, 언어 커버리지, 지역 커버리지로 어노테이션한다. 이 자원들을 함께하면 코퍼스 측 사전학습 근거와 벤치마크 측 평가 커버리지 간의 직접 비교가 가능하다.

arXiv:2609.24115v1cs.AI공통 태그 Data Augmentation, Diversity

EDGEGEN: 합성 엣지 케이스 생성으로 행복 경로(happy path)를 넘어서는 도구 호출 에이전트 개선

EDGEGEN: Improving Tool-Calling Agents Beyond Happy Paths with Synthetic Edge Case Generation

도구 호출 LLM 에이전트는 기업 애플리케이션에 점점 더 많이 배포되고 있다. 그러나 효과적인 평가와 최적화를 위해서는 고품질의 다양한 태스크 데이터셋이 필요한데, 프라이버시 및 기타 제약으로 인해 이를 얻기 어려운 경우가 많다. 기존 합성 태스크 생성 방법은 종종 에이전트의 내부 상태나 데이터베이스를 무시하는 일반적인 태스크를 생성하여 실제 사용의 다양성을 반영하지 못한다. 우리는 에이전트 명세에서 준수(compliance) 규칙을 추출하고, 이를 위반하도록 설계된 데이터베이스 기반(database-grounded) 엣지 케이스 태스크를 생성하는 합성 태스크 생성 프레임워크인 EdgeGen을 제안한다. 기존 합성 데이터 생성 기법과 결합하면 EdgeGen은 파인튜닝과 하네스(harness) 최적화를 통해 에이전트 개선을 가능하게 한다. 그렇게 얻어진 파이프라인은 사람의 어노테이션 없이 완전 자동화된 폐루프(closed-loop) 시스템을 이룬다. EdgeGen으로 생성된 데이터에 대한 파인튜닝은 tau2bench 항공사 도메인에서 일관되게 평균 진행률(progress) 2%에서 42%까지 개선을 보이는 반면, 다른 기준선 방법은 일부 모델에서 성능 저하를 보인다. 한편 하네스 최적화의 경우 Gemma-4-e4b 모델에 대해 우리 방법은 사람이 큐레이션한 하네스와 기본 하네스 대비 각각 평균 진행률 10% 및 30%의 개선을 보인다.

arXiv:2607.23058v1cs.CL공통 태그 Diversity, Natural Language Understanding

ADAGE: 유추적 추론 평가를 위한 언어 무관 파이프라인

ADAGE: A Language-Agnostic Pipeline for Analogical Reasoning Evaluation

다국어 추론 평가는 압도적으로 영어 벤치마크를 번역하는 방식에 의존하며, 이 관행은 언어적 인공물을 도입하고 문화적으로 근거 있는(culturally-grounded) 추론을 검증하지 못한다. 본 연구는 ADAGE(Analogical Difficulty-by-design Assessment for Grounded Evaluation)를 제안하는데, 이는 원어민 큐레이션과 LLM 보조 생성을 결합하여 추상적 유추적 추론을 위한 어려운 번역 없는 벤치마크를 구축하는 언어 무관 파이프라인이다. ADAGE를 아랍어, 암하라어, 일본어 벤치마크 구축으로 검증했으며, 14개 오픈 가중치(open-weight) 모델을 평가한 결과 일관된 문화적 추론 격차가 나타났다. 영어 속담 추론에서 우수한 성능을 보인 모델들도 세 가지 원어 벤치마크에서는 모두 크게 어려움을 겪었으며, 영어 대비 정확도가 12–52 percentage points 하락했다. 파이프라인, 세 벤치마크, 전체 평가 스위트를 공개한다.

arXiv:2607.14110v1cs.CL공통 태그 Diversity, Natural Language Understanding

MAPS: 다중 에이전트 인지 대화에서 공존하는 주관적 관점과 공유 의미 모델링

MAPS: Modeling Co-Existing Subjective Perspectives and Shared Meaning in Multi-Agent Cognitive Dialogue

인간 대화는 정보 교환 이상을 포함하며, 신념, 감정, 주관적 인지 스타일을 표현하기도 한다. 그러나 현재 AI 대화 시스템은 종종 의미적 균일성을 강제하여 다양성과 해석 가능성을 희생한다. 우리는 MAPS(Multi-Agent Perspective Spaces)를 제안한다. 이는 도메인 가중 프로필, 동적 GRU 기반 메모리, 해석 가능한 토큰 수준 어텐션을 통해 인지적으로 서로 다른 에이전트 간 대화를 모델링하는 새로운 프레임워크이다. MAPS는 에이전트가 개별화된 추론을 유지하면서 점진적으로 공유 의미에 수렴하도록 한다. EmpatheticDialogues, TopicalChat, MultiWOZ에 대한 평가에서 MAPS가 주관성을 붕괴시키지 않으면서 의미적 정렬(semantic alignment)을 지원함을 보여준다. 우리 결과는 표현력과 일관성을 균형 있게 하는 인지적으로 그라운딩(grounded)되고 해석 가능한 대화 시스템을 향한 경로를 제시한다.

arXiv:2607.12987v2cs.CV공통 태그 Data Augmentation, Diversity

공정하고 효율적인 악성 분류를 위한 다양한 피부과 영상의 제어 가능한 생성

Controllable Generation of Diverse Dermatological Imagery for Fair and Efficient Malignancy Classification

정확한 피부과 진단은 자연스럽게 다양한 인구 집단에 걸친 공평한 성능을 필요로 하지만, 특히 대표성이 낮은 피부 톤과 희귀 질환에 대한 전문가 주석 이미지의 체계적 부족은 측정 가능하게 공정한 방법으로의 진전을 저해한다. 우리는 cgDDI(Controllable Generation of Diverse Dermatological Imagery)를 소개한다. 이는 (1) 다른 입력 속성을 방해하지 않고 사실적인 건강한 피부 샘플을 합성하고, (2) 단일 샘플 희귀 병변을 새로운 피부 톤과 위치에 비모수적으로 매핑하며, (3) 단 10개의 학습 샘플만으로도 효율적인 모수적 생성을 가능하게 하는 하이브리드 프레임워크이다. 이 프레임워크는 사람과 자동 분할 마스킹(segmentation masking)을 모두 지원하여, 사전에 만들어진 병변 마스크가 없는 데이터셋으로도 확장 가능하게 한다. 우리는 656장 이미지 데이터셋을 400배 이상 확장하고, 생검으로 확인된 Diverse Dermatology Images(DDI)와 전문가가 검증한 Fitzpatrick17k(F17k) 두 데이터셋에서 검증한다. DDI 벤치마크에서 합성 데이터만으로 학습한 경우 86.4%의 악성 분류 정확도를, 실제 데이터 미세조정과 함께 90.9%의 최신(state-of-the-art) 성능을 달성했으며, 공정성 지표에서도 선두 수준의 결과를 보였다. 교차 데이터셋 실험에서는 질병 중복이 거의 없음에도 불구하고, 보지 못한 F17k 데이터에서 +13.9%의 정확도 향상을 보였다. 공정성 연구를 더욱 지원하기 위해 26만 6천 개 이상의 합성 이미지, 코드, 생성 모델을 https://github.com/hectorcarrion/ControllableGenDDI 에서 공개한다.

arXiv:2607.12874v1cs.CV공통 태그 Data Augmentation, Diversity

에이전트형 AI와 호환되는 심층 학습을 위한 메트릭 기반 합성 이미지 데이터 렌더링

Metric-Guided Synthetic Image Data Rendering for Deep Learning compatible with Agentic AI

과학 응용을 위한 심층 학습 컴퓨터 비전은 대규모 데이터셋을 수집하고 주석을 달아야 하는데, 이 과정은 힘들고 비용이 많이 들며 오류가 발생하기 쉽다. 3D 모델링과 렌더링을 통한 합성 데이터 생성은 주석을 프로그래밍 방식으로 생성함으로써 이 과정을 단순화하고 주석 정확도를 높일 수 있다. 그러나 실제 이미지와 합성 이미지 사이의 도메인 격차(domain gap)를 시각적으로 최소화하는 것은 주관적이며 체계적인 정량적 가이드가 부족하다. 우리는 렌더링된 장면의 개선을 안내하는 메트릭을 포함한 Python 패키지 GraNatPy를 제시한다. 렌더링된 데이터셋의 사실성, 다양성, 규모가 정량적으로 증가하는 것이 장면에 대한 시각적 인식 개선 및 객체 검출 모델의 제로샷 성능 향상과 상관관계가 있음을 보인다. 또한 바이러스학적 플라크 분석 사진을 이용해 그래디언트 유사성이 소형 객체 검출 성능에 영향을 미친다는 것을 보였으며, 이는 실제 데이터와 합성 데이터를 혼합하면 개선할 수 있다. 마지막으로 절차적 매개변수 최적화를 자동화하기 위해 절차적 데이터 렌더링을 에이전트형 기술(SynthClaw)로 전환한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.