arXiv:2404.17642

Empowering Large Language Models for Textual Data Augmentation

Yichuan Li, Kaize Ding, Jianling Wang, Kyumin Lee

제출 2024-04-26

원문 초록

With the capabilities of understanding and executing natural language instructions, Large language models (LLMs) can potentially act as a powerful tool for textual data augmentation. However, the quality of augmented data depends heavily on the augmentation instructions provided, and the effectiveness can fluctuate across different downstream tasks. While manually crafting and selecting instructions can offer some improvement, this approach faces scalability and consistency issues in practice due to the diversity of downstream tasks. In this work, we address these limitations by proposing a new solution, which can automatically generate a large pool of augmentation instructions and select the most suitable task-informed instructions, thereby empowering LLMs to create high-quality augmented data for different downstream tasks. Empirically, the proposed approach consistently generates augmented data with better quality compared to non-LLM and LLM-based data augmentation methods, leading to the best performance on 26 few-shot learning tasks sourced from a wide range of application domains.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.12987v2cs.CV공통 태그 Data Augmentation, Diversity, Few-Shot Learning

공정하고 효율적인 악성 분류를 위한 다양한 피부과 영상의 제어 가능한 생성

Controllable Generation of Diverse Dermatological Imagery for Fair and Efficient Malignancy Classification

정확한 피부과 진단은 자연스럽게 다양한 인구 집단에 걸친 공평한 성능을 필요로 하지만, 특히 대표성이 낮은 피부 톤과 희귀 질환에 대한 전문가 주석 이미지의 체계적 부족은 측정 가능하게 공정한 방법으로의 진전을 저해한다. 우리는 cgDDI(Controllable Generation of Diverse Dermatological Imagery)를 소개한다. 이는 (1) 다른 입력 속성을 방해하지 않고 사실적인 건강한 피부 샘플을 합성하고, (2) 단일 샘플 희귀 병변을 새로운 피부 톤과 위치에 비모수적으로 매핑하며, (3) 단 10개의 학습 샘플만으로도 효율적인 모수적 생성을 가능하게 하는 하이브리드 프레임워크이다. 이 프레임워크는 사람과 자동 분할 마스킹(segmentation masking)을 모두 지원하여, 사전에 만들어진 병변 마스크가 없는 데이터셋으로도 확장 가능하게 한다. 우리는 656장 이미지 데이터셋을 400배 이상 확장하고, 생검으로 확인된 Diverse Dermatology Images(DDI)와 전문가가 검증한 Fitzpatrick17k(F17k) 두 데이터셋에서 검증한다. DDI 벤치마크에서 합성 데이터만으로 학습한 경우 86.4%의 악성 분류 정확도를, 실제 데이터 미세조정과 함께 90.9%의 최신(state-of-the-art) 성능을 달성했으며, 공정성 지표에서도 선두 수준의 결과를 보였다. 교차 데이터셋 실험에서는 질병 중복이 거의 없음에도 불구하고, 보지 못한 F17k 데이터에서 +13.9%의 정확도 향상을 보였다. 공정성 연구를 더욱 지원하기 위해 26만 6천 개 이상의 합성 이미지, 코드, 생성 모델을 https://github.com/hectorcarrion/ControllableGenDDI 에서 공개한다.

arXiv:2609.14570v2cs.CL공통 태그 Diversity, Few-Shot Learning

다국어 저자원 감정 탐지를 위한 멀티 에이전트 LLM에서 토폴로지와 다양성의 분리 분석

Disentangling Topology and Diversity in Multi-Agent LLMs for Multilingual Low-Resource Emotion Detection

멀티 에이전트 LLM 시스템은 여러 번의 추론 호출을 결합하지만, 기존 연구는 호출들이 서로 연결되는 방식과 호출들을 다양화하는 방식을 종종 혼동한다. 본 연구는 이 두 요인, 즉 추론 토폴로지(inference topology)와 에이전트 간 다양성의 원천을 독립적으로 연구한다. 통제된 $2 \times 3$ 행렬에서 병렬 집계(parallel aggregation)와 순차적 정제(sequential refinement)를 확률적 샘플링(stochastic sampling), 역할 프롬프팅(role prompting), 학습된 QLoRA 전문화(specialization)와 교차 조합하며, 각 백본 내에서 세 번의 호출 예산과 출력 프로토콜을 고정한다. Qwen2.5-14B-Instruct와 Llama-3.1-8B-Instruct를 사용하여 9개 언어에 걸친 다국어 저자원 감정 탐지에서 여섯 가지 구성을 모두 평가한다. 병렬 학습 전문화는 Qwen에서 52.83 Macro-F1로 가장 강력하며 Llama에서는 52.94에 도달한다. Qwen에서는 동일 백본의 제로샷, 퓨샷, CoT, 그리고 일곱 번 호출하는 자기 일관성(self-consistency) 베이스라인도 능가한다. 선호되는 토폴로지는 다양성의 원천에 따라 달라진다. 순차적 정제는 확률적 설정과 프롬프트 기반 설정에서 도움이 되는 반면, 학습된 설정에서의 Width(병렬) 이점은 Qwen의 2.83포인트에서 Llama의 0.17포인트로 줄어든다. 깊이(depth)별 분석은 이후 단계의 학습된 전문가가 올바른 초기 예측을 덮어쓸 수 있음을 시사하지만, 전체적인 효과는 백본에 따라 달라진다. 종합하면, 에이전트를 어떻게 차별화하는가가 토폴로지보다 더 큰 성능 변화를 만들어내며, 토폴로지는 전문화와 함께 공동으로 평가되어야 한다.

arXiv:2609.24115v1cs.AI공통 태그 Data Augmentation, Diversity

EDGEGEN: 합성 엣지 케이스 생성으로 행복 경로(happy path)를 넘어서는 도구 호출 에이전트 개선

EDGEGEN: Improving Tool-Calling Agents Beyond Happy Paths with Synthetic Edge Case Generation

도구 호출 LLM 에이전트는 기업 애플리케이션에 점점 더 많이 배포되고 있다. 그러나 효과적인 평가와 최적화를 위해서는 고품질의 다양한 태스크 데이터셋이 필요한데, 프라이버시 및 기타 제약으로 인해 이를 얻기 어려운 경우가 많다. 기존 합성 태스크 생성 방법은 종종 에이전트의 내부 상태나 데이터베이스를 무시하는 일반적인 태스크를 생성하여 실제 사용의 다양성을 반영하지 못한다. 우리는 에이전트 명세에서 준수(compliance) 규칙을 추출하고, 이를 위반하도록 설계된 데이터베이스 기반(database-grounded) 엣지 케이스 태스크를 생성하는 합성 태스크 생성 프레임워크인 EdgeGen을 제안한다. 기존 합성 데이터 생성 기법과 결합하면 EdgeGen은 파인튜닝과 하네스(harness) 최적화를 통해 에이전트 개선을 가능하게 한다. 그렇게 얻어진 파이프라인은 사람의 어노테이션 없이 완전 자동화된 폐루프(closed-loop) 시스템을 이룬다. EdgeGen으로 생성된 데이터에 대한 파인튜닝은 tau2bench 항공사 도메인에서 일관되게 평균 진행률(progress) 2%에서 42%까지 개선을 보이는 반면, 다른 기준선 방법은 일부 모델에서 성능 저하를 보인다. 한편 하네스 최적화의 경우 Gemma-4-e4b 모델에 대해 우리 방법은 사람이 큐레이션한 하네스와 기본 하네스 대비 각각 평균 진행률 10% 및 30%의 개선을 보인다.

arXiv:2607.12245v1cs.CV공통 태그 Data Augmentation, Few-Shot Learning

Rough Path Signature 유도 기하 증강을 통한 퓨샷 산업 표면 결함 탐지

Rough Path Signature-Guided Geometry Augmentation for Few-Shot Industrial Surface Defect Detection

퓨샷 산업 결함 탐지는 경계가 지배적인 산업 결함에서 표준 지도 학습 검출기가 낮은 성능을 보이기 때문에 여전히 어렵다. 본 논문은 Canny 엣지 윤곽선을 순서가 있는 평면 경로로 취급하고, 잘린 2차 차수 path signature 응답—특히 반대칭 Lévy-area 항—을 두 가지 융합 연산자인 SIG-AUG와 SGAA를 통해 경계 관련 구조를 강조하는 공간 맵으로 집계하는 기하학 인식 접근법인 rough path signature 기반 기하 증강(RPS-GA)을 제안한다. 이 접근법은 클래스당 5, 10, 20 또는 50장의 레이블 이미지를 사용하는 퓨샷 프로토콜 하에서 NEU-DET 및 PCB-Defect에서, 변경 없는 YOLOv8n 검출기를 일관되게 사용하여 평가되었다. 기준선과 비교할 때, RPS-GA는 감독이 제한될 때 큰 이득을 제공하지만, 더 많은 레이블이 사용 가능해지면 마진이 줄어든다. NEU-DET에서 SIG-AUG는 10-shot [email omitted] 0.341에서 0.583으로 높였고, PCB-Defect에서는 SGAA가 10-shot [email omitted] 0.086에서 0.299로 개선하며 기준선이 완전히 실패하는 5-shot에서도 사용 가능한 탐지를 달성했다. 이러한 경향은 독립적인 무작위 분할에 걸친 다중 시드 평가를 통해 확인되었다. 전반적으로, 결과는 2차 path-signature 기하학이 메타 학습(meta-learning)이나 검출기 재설계 없이 퓨샷 산업 결함 탐지를 강화하는 실용적인 방법을 제공함을 나타낸다.

arXiv:2607.12464v1cs.CV공통 태그 Data Augmentation, Few-Shot Learning

클래스 대비 영향(Class-Contrastive Influence)을 이용한 확산 모델 조향을 통한 퓨샷 의료 분류

Steering Diffusion Models via Class-Contrastive Influence for Few-Shot Medical Classification

라벨이 붙은 데이터가 부족할 때, 기성 확산 모델은 퓨샷 의료 이미지 분류를 위한 학습 세트를 보강할 수 있지만, 생성된 모든 샘플이 하류 작업에 동등하게 유용한 것은 아니다. 기존 접근법은 대체로 사실성, 다양성 또는 도메인 적응을 높여 합성 데이터를 개선하는 데 집중하면서, 더 근본적인 질문을 간과한다: 분류를 위한 샘플 유용성은 어떻게 측정하고 최적화해야 하는가? 우리는 Class-Contrastive Influence(C2I)로 이를 해결한다. 이는 분류기에 대한 그래디언트 기반 영향을 통해 샘플 유용성을 정량화하는 기준이다. 효과적인 샘플은 강한 C2I 차이를 보인다: 해당 샘플의 손실 그래디언트는 동일 클래스의 검증 그래디언트와 정렬되고, 다른 클래스의 검증 그래디언트와는 상반된다. 우리의 분석은 추가로 이러한 고 C2I 샘플이 어렵고 경계 근접한 예시이며, 의사결정 경계를 정밀화하고 견고성을 향상하는 데 도움이 된다고 시사한다. 이 통찰을 바탕으로, C2I 기반 보상을 사용한 강화학습으로 확산 모델을 파인튜닝하여 생성이 클래스 정보를 담은 샘플 쪽으로 조향되도록 한다. 여러 퓨샷 의료 영상 벤치마크에서 C2I 기반 생성은 확산 기반 증강 기준선 대비 하류 정확도와 견고성을 향상시키며, 합성 증강은 이미지 품질만이 아니라 작업 유용성에 따라 안내될 때 가장 효과적임을 보여준다.

arXiv:2607.12874v1cs.CV공통 태그 Data Augmentation, Diversity

에이전트형 AI와 호환되는 심층 학습을 위한 메트릭 기반 합성 이미지 데이터 렌더링

Metric-Guided Synthetic Image Data Rendering for Deep Learning compatible with Agentic AI

과학 응용을 위한 심층 학습 컴퓨터 비전은 대규모 데이터셋을 수집하고 주석을 달아야 하는데, 이 과정은 힘들고 비용이 많이 들며 오류가 발생하기 쉽다. 3D 모델링과 렌더링을 통한 합성 데이터 생성은 주석을 프로그래밍 방식으로 생성함으로써 이 과정을 단순화하고 주석 정확도를 높일 수 있다. 그러나 실제 이미지와 합성 이미지 사이의 도메인 격차(domain gap)를 시각적으로 최소화하는 것은 주관적이며 체계적인 정량적 가이드가 부족하다. 우리는 렌더링된 장면의 개선을 안내하는 메트릭을 포함한 Python 패키지 GraNatPy를 제시한다. 렌더링된 데이터셋의 사실성, 다양성, 규모가 정량적으로 증가하는 것이 장면에 대한 시각적 인식 개선 및 객체 검출 모델의 제로샷 성능 향상과 상관관계가 있음을 보인다. 또한 바이러스학적 플라크 분석 사진을 이용해 그래디언트 유사성이 소형 객체 검출 성능에 영향을 미친다는 것을 보였으며, 이는 실제 데이터와 합성 데이터를 혼합하면 개선할 수 있다. 마지막으로 절차적 매개변수 최적화를 자동화하기 위해 절차적 데이터 렌더링을 에이전트형 기술(SynthClaw)로 전환한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.