arXiv:2502.01697

BARE: Leveraging Base Language Models for Few-Shot Synthetic Data Generation

Alan Zhu, Parth Asawa, Jared Quincy Davis, Lingjiao Chen, Boris Hanin, Ion Stoica, Joseph E. Gonzalez, Matei Zaharia

제출 2025-02-03

원문 초록

As the demand for high-quality data in model training grows, researchers and developers are increasingly generating synthetic data to tune and train LLMs. However, current data generation methods rely on seed sets containing tens of thousands of examples to prompt instruction-tuned models. This reliance can be especially problematic when the curation of high-quality examples is expensive or difficult. In this paper we explore the novel few-shot synthetic data generation setting -- generating a high-quality dataset from a few examples. We show that when working with only a few seed examples, instruction-tuned models used in current synthetic data methods produce insufficient diversity for downstream tasks. In contrast, we show that base models without post-training, largely untapped for synthetic data generation, offer substantially greater output diversity, albeit with lower instruction following abilities. Leveraging this insight, we propose Base-Refine (BARE), a novel two-stage method that combines the diversity of base models with the quality assurance of instruction-tuned models. BARE excels in few-shot synthetic data generation: using only 3 seed examples it generates diverse, high-quality datasets that significantly improve downstream task performance. We show that fine-tuning Llama 3.1 8B with 1,000 BARE-generated samples achieves performance comparable to state-of-the-art similarly sized models on LiveCodeBench tasks. Furthermore, data generated with BARE enables a 101% improvement for a fine-tuned Llama 3.2 1B on GSM8K over data generated by only instruction-models, and an 18.4% improvement for a fine-tuned Llama 3.1 8B over the state-of-the-art RAFT method for RAG data generation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02627v1cs.AI공통 태그 Instruction Following, RAG

요청 속에서 길을 잃다: 커뮤니케이션 변이가 이메일 에이전트의 검색 및 행동을 저해하는 방식

Lost in the Request: How Communication Variation Disrupts Retrieval and Action in Email Agents

이메일 어시스턴트는 사용자가 동일한 요청을 다르게 표현했다는 이유만으로 더 적은 양의 작업을 완료해서는 안 됩니다. 그러나 대부분의 벤치마크는 각 태스크를 단 하나의 표준 요청으로만 테스트하므로, 이러한 형태의 강건성(robustness)은 대체로 측정되지 않은 채로 남아 있습니다. 본 연구에서는 요청된 정보, 가용한 증거, 기대 결과가 고정되어 있는 상태에서 커뮤니케이션 스타일이나 영어의 변종이 바뀔 때 이메일 어시스턴트가 여전히 신뢰성을 유지하는지 검증합니다. 다섯 가지 커뮤니케이션 스타일 축과 네 가지 규칙 기반 방언 조건에 걸쳐 검증된 변형들을 구축하고, 이를 검색-증강 생성(RAG) 파이프라인 하나와 두 개의 도구 사용 에이전트로 구성된 세 가지 벤치마크에서 평가합니다. 간접적인 요청은 세 가지 벤치마크 모두에서 성능을 떨어뜨렸으며, 격식 있는 요청은 두 에이전트 벤치마크 모두에서 성능을 저하시켰습니다. 시스템을 더욱 면밀히 조사한 결과, 이러한 실패에는 서로 다른 원인이 있는 것으로 나타났습니다. 장황한 요청은 관련 이메일을 찾기 어렵게 만듦으로써 주로 어휘 기반 검색기(lexical retriever)에 악영향을 미쳤습니다. 반면에 간접적이거나 방언이 포함된 변형은 관련 이메일이 검색된 경우에도 여전히 유해했습니다. 에이전트 환경에서 간접적이거나 격식 있는 요청은 에이전트가 뒷받침되지 않는 행동을 더 많이 취하게 만들기보다는, 주로 필요한 행동을 누락하게 만들었습니다. 이러한 결과는 성공적인 응답만으로는 강건성을 입증하기에 충분하지 않음을 보여줍니다. 즉, 평가는 요청이 표현되는 방식을 다양화해야 하며, 에이전트가 요청된 작업을 완수하는지 별도로 측정해야 합니다.

arXiv:2610.01000v1cs.AI공통 태그 Diversity, Synthetic Data Generation

LLM이 생성한 선호도 분포 평가

Evaluating LLM-Generated Preference Distributions

대규모 언어 모델(LLM)은 실제 데이터를 얻기 어려운 환경에서 시뮬레이션, 합성 데이터 생성, 의사결정 지원을 위한 확률론적 생성기로 점차 널리 활용되고 있습니다. 그러나 이들 모델이 생성하는 분포의 구조와 신뢰성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 항공 여행, 음식점, 소비자 제품에 대해 LLM이 생성한 선호도 분포를 체계적으로 분석합니다. 고무적으로도 분석 대상이 된 모든 모델은 자기 일관성(self-coherence)을 보였으며, 반복적인 샘플링 환경에서도 가장 확률이 높은 결과가 빠르게 안정화되었습니다. 동시에 모델 패밀리와 스케일 전반에 걸쳐 상당한 불일치가 관찰되었으며, 가장 확률이 높은 결과 사이에서도 일치도가 거의 나타나지 않았습니다. 이러한 패턴은 9개의 오픈 가중치(open-weight) 모델과 3개의 선택 영역 전반에서 일관되게 나타났으며, 온도(temperature) 변화, 탐욕적 디코딩(greedy decoding), 프롬프트 및 순서의 변형(perturbation)에 대해서도 강건함을 보였습니다. 우리의 연구 결과는 결과물이 프롬프트의 문구보다 모델 선택에 더 큰 영향을 받는다는 점을 시사하며, 충분한 역량을 갖춘 LLM을 설문 응답자의 대리인으로 활용할 때 유사한 선호도 분포를 생성할 것이라는 일반적인 가정에 의문을 제기합니다.

arXiv:2610.01382v1cs.AI공통 태그 Diversity, Instruction Following

가차 디코딩: 지시 준수를 통한 다양한 생성 도출

Gacha Decoding: Eliciting Diverse Generations Through Instruction Following

본 논문에서는 모델 성능에 비례하여 확장되며 다양한 언어 모델 생성을 도출하는 추론 시점(inference-time) 방법인 가차 디코딩(Gacha Decoding)을 소개합니다. 개방형 도메인(실제 대화, 창작 글쓰기, 이미지 생성을 위한 계획 수립, 단백질 설계) 전반에서, Gacha Decoding은 동일한 품질 조건 하에서 기존의 생성 다양성 접근법들을 크게 능가하며(차순위 기존 접근법 대비 최대 2.4배 높은 Vendi 점수 달성), 10배 이상 적은 샘플 수(11.0배)로도 동일한 수의 고품질 모드를 확보하고 기존의 어떤 접근법으로도 드러나지 않았던 새로운 모드를 발견합니다. 본 연구의 핵심 통찰은 다양성을 지시 준수(instruction-following) 문제로 다루는 데 있습니다. 즉, 언어 모델의 토큰 엔트로피에만 의존하는 대신 모델의 지시 준수 능력과 외부 난수 생성기(RNG) 도구의 무작위성을 결합하여 응답 공간의 구별되는 모드들을 확장 가능한 방식으로 식별하고 구현합니다. 이러한 '주사위 기반 계획 수립(planning with dice)' 접근 방식을 통해 Gacha는 다양성과 모델 성능 간에 오랫동안 관찰되어 온 긴장 관계를 반전시킬 수 있었습니다. 기반 언어 모델의 지시 준수 능력이 향상될수록, 기존 접근법 하에서는 토큰 엔트로피와 다양성이 감소하더라도 Gacha Decoding 하에서의 다양성은 일관되게 향상됩니다. 종합적으로, 본 결과는 토큰 엔트로피 단독보다는 지시 준수가 생성 다양성을 견인할 수 있음을 강조합니다.

arXiv:2609.28247v1cs.RO공통 태그 Diversity, Instruction Following

공간 트랜스포머로 추론 공간에서 AI 에이전트 집합체 제어

Controlling Collectives of AI Agents in Reasoning Space with Spatial Transformers

대규모 언어 모델(LLM)은 로보틱스에서 계획 및 내비게이션을 위한 흥미로운 새로운 패러다임을 제시하지만, 팀 규모가 커질수록 단순한 다로봇 과제에서도 실패한다. 본 논문은 추론 공간 피드백 제어로 대규모 에이전트형 로봇 집합체를 제어하기 위한 확장 가능하고 분산형 다로봇 아키텍처인 COMPASS를 제안한다. 피드백은 각 로봇에서 로컬로 생성되며, 공간 트랜스포머가 함대 전체의 다중 홉(multi-hop) 메시지를 집계하여 학습된 피드백 토큰으로 만든다. 실험 결과, 언어 모델 집합체는 입력 명령의 구조화된 다양성으로 성능 향상을 보이며, 이는 편향을 상쇄할 수 있다. 이 이점은 규모 전반에 걸쳐 유지된다. 중앙집중형 최신 LLM 정책 및 언어만 사용하는 통신 ablation과 비교했을 때, COMPASS의 결합 설계는 명령된 의도를 정확히 수행하는 응집력 있는 flocking formation을 결정적으로 생성함을 확인했다. 추론 피드백은 컴팩트한 학습된 토큰과 결합할 때 가장 잘 작동함을 보인다. ablation 실험은 원시 상태가 언어 채널에 나타나는 수작업 피드백이 응집력을 파괴함을 보여준다. COMPASS는 모호한 의미의 보지 못한 지시에 제로샷으로 일반화하며, 학습 규모의 최대 16배까지의 군집을 지휘하고, 자연어 명령 하에 최대 1024대의 로봇을 비행시킨다.

arXiv:2609.24115v1cs.AI공통 태그 Diversity, Instruction Following

EDGEGEN: 합성 엣지 케이스 생성으로 행복 경로(happy path)를 넘어서는 도구 호출 에이전트 개선

EDGEGEN: Improving Tool-Calling Agents Beyond Happy Paths with Synthetic Edge Case Generation

도구 호출 LLM 에이전트는 기업 애플리케이션에 점점 더 많이 배포되고 있다. 그러나 효과적인 평가와 최적화를 위해서는 고품질의 다양한 태스크 데이터셋이 필요한데, 프라이버시 및 기타 제약으로 인해 이를 얻기 어려운 경우가 많다. 기존 합성 태스크 생성 방법은 종종 에이전트의 내부 상태나 데이터베이스를 무시하는 일반적인 태스크를 생성하여 실제 사용의 다양성을 반영하지 못한다. 우리는 에이전트 명세에서 준수(compliance) 규칙을 추출하고, 이를 위반하도록 설계된 데이터베이스 기반(database-grounded) 엣지 케이스 태스크를 생성하는 합성 태스크 생성 프레임워크인 EdgeGen을 제안한다. 기존 합성 데이터 생성 기법과 결합하면 EdgeGen은 파인튜닝과 하네스(harness) 최적화를 통해 에이전트 개선을 가능하게 한다. 그렇게 얻어진 파이프라인은 사람의 어노테이션 없이 완전 자동화된 폐루프(closed-loop) 시스템을 이룬다. EdgeGen으로 생성된 데이터에 대한 파인튜닝은 tau2bench 항공사 도메인에서 일관되게 평균 진행률(progress) 2%에서 42%까지 개선을 보이는 반면, 다른 기준선 방법은 일부 모델에서 성능 저하를 보인다. 한편 하네스 최적화의 경우 Gemma-4-e4b 모델에 대해 우리 방법은 사람이 큐레이션한 하네스와 기본 하네스 대비 각각 평균 진행률 10% 및 30%의 개선을 보인다.

arXiv:2607.21419v1cs.AI공통 태그 Instruction Following, RAG

PATS: 에이전트 강화학습을 위한 정책 인식 학습 스캐폴딩

PATS: Policy-Aware Training Scaffolding for Agentic Reinforcement Learning

장기 지평(long-horizon) LLM 에이전트 강화학습에서 약한 정책은 종종 유사한 실패를 반복하여 정보가 적은 롤아웃 궤적을 만들고, 효과적인 정책 최적화를 제한한다. 기존 스킬 중심 방법들은 재사용 가능한 스킬을 최적화, 필터링, 또는 내재화함으로써 탐험을 개선한다. 그러나 이들은 진화하는 정책에 대한 적응형 학습 시점 지원으로 설계되기보다는 스킬 자체에 중심을 둔다. 이를 해결하기 위해, 우리는 스킬을 동적 학습 스캐폴드로 재구성하는 정책 중심 학습 패러다임을 제안한다. 우리의 프레임워크인 Pats는 최신 정책의 롤아웃 그룹을 증거 카드(evidence cards)로 변환하고, 과제별 평가를 사용하여 이후 롤아웃에 사용되는 컨텍스트를 조정한다. 구체적인 안내는 약한 정책이 어려운 과제를 완수하도록 돕는다. 정책이 개선됨에 따라 불필요한 컨텍스트는 명시적 안내에 대한 의존을 줄이면서 유용한 롤아웃 변이를 보존하도록 수정되거나 제거된다. 정책은 표준 RLVR을 사용하여 환경 보상으로 최적화되며, 학습 스캐폴드는 배포 시 폐기된다. ALFWorld와 WebShop에서 Pats는 강력한 기준선 대비 최대 18.6% 개선을 달성한다. 7개의 검색-증강 QA 벤치마크 전반에서 기준선보다 32.1% 적은 프롬프트 토큰을 사용하면서도 경쟁력을 유지한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.