Evaluating the Diversity and Quality of LLM Generated Content
원문 초록
Recent work suggests that preference-tuning techniques--including Reinforcement Learning from Human Preferences (RLHF) methods like PPO and GRPO, as well as alternatives like DPO--reduce diversity, creating a dilemma given that such models are widely deployed in applications requiring diverse outputs. To address this, we introduce a framework for measuring effective semantic diversity--diversity among outputs that meet quality thresholds--which better reflects the practical utility of large language models (LLMs). Using open-ended tasks that require no human intervention, we find counterintuitive results: although preference-tuned models--especially those trained via RL--exhibit reduced lexical and syntactic diversity, they produce greater effective semantic diversity than SFT or base models, not from increasing diversity among high-quality outputs, but from generating more high-quality outputs overall. We discover that preference tuning reduces syntactic diversity while preserving semantic diversity--revealing a distinction between diversity in form and diversity in content that traditional metrics often overlook. Our analysis further shows that smaller models are consistently more parameter-efficient at generating unique content within a fixed sampling budget, offering insights into the relationship between model scaling and diversity. These findings have important implications for applications that require diverse yet high-quality outputs, from creative assistance to synthetic data generation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LLM이 생성한 선호도 분포 평가
Evaluating LLM-Generated Preference Distributions
대규모 언어 모델(LLM)은 실제 데이터를 얻기 어려운 환경에서 시뮬레이션, 합성 데이터 생성, 의사결정 지원을 위한 확률론적 생성기로 점차 널리 활용되고 있습니다. 그러나 이들 모델이 생성하는 분포의 구조와 신뢰성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 항공 여행, 음식점, 소비자 제품에 대해 LLM이 생성한 선호도 분포를 체계적으로 분석합니다. 고무적으로도 분석 대상이 된 모든 모델은 자기 일관성(self-coherence)을 보였으며, 반복적인 샘플링 환경에서도 가장 확률이 높은 결과가 빠르게 안정화되었습니다. 동시에 모델 패밀리와 스케일 전반에 걸쳐 상당한 불일치가 관찰되었으며, 가장 확률이 높은 결과 사이에서도 일치도가 거의 나타나지 않았습니다. 이러한 패턴은 9개의 오픈 가중치(open-weight) 모델과 3개의 선택 영역 전반에서 일관되게 나타났으며, 온도(temperature) 변화, 탐욕적 디코딩(greedy decoding), 프롬프트 및 순서의 변형(perturbation)에 대해서도 강건함을 보였습니다. 우리의 연구 결과는 결과물이 프롬프트의 문구보다 모델 선택에 더 큰 영향을 받는다는 점을 시사하며, 충분한 역량을 갖춘 LLM을 설문 응답자의 대리인으로 활용할 때 유사한 선호도 분포를 생성할 것이라는 일반적인 가정에 의문을 제기합니다.
Formal Disco: 형식 검증 프로그램의 확장 가능한 오픈엔드 생성
Formal Disco: Scalable Open-Ended Generation of Formally Verified Programs
AI 에이전트의 역량이 빠르게 향상됨에 따라 코드 생성 비용은 급격히 낮아지고 있지만, 생성된 프로그램의 품질 보증은 이에 발맞추지 못하고 있다. 형식 검증(formal verification)은 가장 강력한 수준의 보장을 제공하지만, 검증 인식 언어(verification-aware language)로 작성된 인간 예제의 희소성으로 인해 AI 모델이 이러한 언어를 다루는 능력이 제한된다. 이러한 만연한 데이터 희소성 문제를 해결하기 위해, 우리는 Formal Disco를 제안한다. 이는 대규모 오픈엔드 합성 데이터 생성에 손쉽게 적용할 수 있는 대규모 언어 모델(LLM) 기반 워커 조율을 위한 분산 시스템이다. 우리는 Formal Disco를 사용하여 세 가지 유형의 워커 간에 태스크와 프로그램을 공유한다: 오픈소스 저장소의 임의 README와 문서 스니펫을 읽어 관련 검증 프로그램의 초안을 작성하는 "initiator", 컴파일러 및 검증기 피드백을 받아 문제를 해결하는 "fixer", 그리고 동작하는 프로그램을 받아 이를 확장하는 패치를 제안하는 "extender"이다. Formal Disco는 에이전트가 생성한 모든 트레이스를 기록하고, 이를 더 강력한 모델로부터의 초기 지식 증류(distillation)와 자기 개선 모두에 활용한다. 또한 합성 프로그램 생성을 위한 최대 엔트로피 원칙을 제안하고, 반복적인 지도 미세조정(supervised fine-tuning)을 통한 엔트로피 최대화를 사용하여 시간이 지남에 따라 점점 더 다양한 프로그램을 생성하도록 학습한다. Dafny, Verus, Frama-C 세 가지 언어로 작성된 대규모 합성 검증 프로그램 데이터셋을 공개하고, 검증 관련 태스크를 위한 오픈 모델을 미세조정하여 Claude Opus 4.5의 성능과 동등하거나 이를 초과하는 결과를 자주 달성한다. 전반적으로, 우리의 연구는 형식 추론 도메인에서 대규모 합성 데이터를 생성하고 오랫동안 지속되어 온 데이터 장벽을 극복하는 경로를 제시한다.
Step-wise Policy for Rare-tool Knowledge (SPaRK): Offline RL that Drives Diverse Tool Use in LLMs
Exploring Design of Multi-Agent LLM Dialogues for Research Ideation
MS-DPPs: Multi-Source Determinantal Point Processes for Contextual Diversity Refinement of Composite Attributes in Text to Image Retrieval
Prompt-Free Conditional Diffusion for Multi-object Image Augmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.