arXiv:2412.02980

Surveying the Effects of Quality, Diversity, and Complexity in Synthetic Data From Large Language Models

Alex Havrilla, Andrew Dai, Laura O'Mahony, Koen Oostermeijer, Vera Zisler, Alon Albalak, Fabrizio Milo, Sharath Chandra Raparthy, Kanishk Gandhi, Baber Abbasi, Duy Phung, Maia Iyer, Dakota Mahan, Chase Blagden, Srishti Gureja 외 5명

제출 2024-12-04

원문 초록

Synthetic data generation with Large Language Models is a promising paradigm for augmenting natural data over a nearly infinite range of tasks. Given this variety, direct comparisons among synthetic data generation algorithms are scarce, making it difficult to understand where improvement comes from and what bottlenecks exist. We propose to evaluate algorithms via the makeup of synthetic data generated by each algorithm in terms of data quality, diversity, and complexity. We choose these three characteristics for their significance in open-ended processes and the impact each has on the capabilities of downstream models. We find quality to be essential for in-distribution model generalization, diversity to be essential for out-of-distribution generalization, and complexity to be beneficial for both. Further, we emphasize the existence of Quality-Diversity trade-offs in training data and the downstream effects on model performance. We then examine the effect of various components in the synthetic data pipeline on each data characteristic. This examination allows us to taxonomize and compare synthetic data generation algorithms through the components they utilize and the resulting effects on data QDC composition. This analysis extends into a discussion on the importance of balancing QDC in synthetic data for efficient reinforcement learning and self-improvement algorithms. Analogous to the QD trade-offs in training data, often there exist trade-offs between model output quality and output diversity which impact the composition of synthetic data. We observe that many models are currently evaluated and optimized only for output quality, thereby limiting output diversity and the potential for self-improvement. We argue that balancing these trade-offs is essential to the development of future self-improvement algorithms and highlight a number of works making progress in this direction.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01000v1cs.AI공통 태그 Diversity, Synthetic Data Generation

LLM이 생성한 선호도 분포 평가

Evaluating LLM-Generated Preference Distributions

대규모 언어 모델(LLM)은 실제 데이터를 얻기 어려운 환경에서 시뮬레이션, 합성 데이터 생성, 의사결정 지원을 위한 확률론적 생성기로 점차 널리 활용되고 있습니다. 그러나 이들 모델이 생성하는 분포의 구조와 신뢰성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 항공 여행, 음식점, 소비자 제품에 대해 LLM이 생성한 선호도 분포를 체계적으로 분석합니다. 고무적으로도 분석 대상이 된 모든 모델은 자기 일관성(self-coherence)을 보였으며, 반복적인 샘플링 환경에서도 가장 확률이 높은 결과가 빠르게 안정화되었습니다. 동시에 모델 패밀리와 스케일 전반에 걸쳐 상당한 불일치가 관찰되었으며, 가장 확률이 높은 결과 사이에서도 일치도가 거의 나타나지 않았습니다. 이러한 패턴은 9개의 오픈 가중치(open-weight) 모델과 3개의 선택 영역 전반에서 일관되게 나타났으며, 온도(temperature) 변화, 탐욕적 디코딩(greedy decoding), 프롬프트 및 순서의 변형(perturbation)에 대해서도 강건함을 보였습니다. 우리의 연구 결과는 결과물이 프롬프트의 문구보다 모델 선택에 더 큰 영향을 받는다는 점을 시사하며, 충분한 역량을 갖춘 LLM을 설문 응답자의 대리인으로 활용할 때 유사한 선호도 분포를 생성할 것이라는 일반적인 가정에 의문을 제기합니다.

arXiv:2607.04631v1cs.AI공통 태그 Diversity, Synthetic Data Generation

Formal Disco: 형식 검증 프로그램의 확장 가능한 오픈엔드 생성

Formal Disco: Scalable Open-Ended Generation of Formally Verified Programs

AI 에이전트의 역량이 빠르게 향상됨에 따라 코드 생성 비용은 급격히 낮아지고 있지만, 생성된 프로그램의 품질 보증은 이에 발맞추지 못하고 있다. 형식 검증(formal verification)은 가장 강력한 수준의 보장을 제공하지만, 검증 인식 언어(verification-aware language)로 작성된 인간 예제의 희소성으로 인해 AI 모델이 이러한 언어를 다루는 능력이 제한된다. 이러한 만연한 데이터 희소성 문제를 해결하기 위해, 우리는 Formal Disco를 제안한다. 이는 대규모 오픈엔드 합성 데이터 생성에 손쉽게 적용할 수 있는 대규모 언어 모델(LLM) 기반 워커 조율을 위한 분산 시스템이다. 우리는 Formal Disco를 사용하여 세 가지 유형의 워커 간에 태스크와 프로그램을 공유한다: 오픈소스 저장소의 임의 README와 문서 스니펫을 읽어 관련 검증 프로그램의 초안을 작성하는 "initiator", 컴파일러 및 검증기 피드백을 받아 문제를 해결하는 "fixer", 그리고 동작하는 프로그램을 받아 이를 확장하는 패치를 제안하는 "extender"이다. Formal Disco는 에이전트가 생성한 모든 트레이스를 기록하고, 이를 더 강력한 모델로부터의 초기 지식 증류(distillation)와 자기 개선 모두에 활용한다. 또한 합성 프로그램 생성을 위한 최대 엔트로피 원칙을 제안하고, 반복적인 지도 미세조정(supervised fine-tuning)을 통한 엔트로피 최대화를 사용하여 시간이 지남에 따라 점점 더 다양한 프로그램을 생성하도록 학습한다. Dafny, Verus, Frama-C 세 가지 언어로 작성된 대규모 합성 검증 프로그램 데이터셋을 공개하고, 검증 관련 태스크를 위한 오픈 모델을 미세조정하여 Claude Opus 4.5의 성능과 동등하거나 이를 초과하는 결과를 자주 달성한다. 전반적으로, 우리의 연구는 형식 추론 도메인에서 대규모 합성 데이터를 생성하고 오랫동안 지속되어 온 데이터 장벽을 극복하는 경로를 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.