CurateEvo: 에이전틱 사후 학습을 위한 데이터 큐레이션 진화
CurateEvo: Data-Curation Evolving for Agentic Post-Training
대규모 언어 모델(LLM) 에이전트는 환경 피드백으로부터 장기 의사결정을 개선할 수 있는 사후 학습 방법을 필요로 한다. 그러나 기존의 에이전틱 사후 학습 파이프라인은 데이터 큐레이션을 고정된 전처리 단계로 취급하는 경우가 많으며, 주로 데이터 증강에 초점을 맞추면서 필터링, 정제, 다운스트림 실패에 대한 적응을 소홀히 한다. 우리는 에이전틱 사후 학습 데이터 큐레이션을 위한 실패 기반 동적 진화 프레임워크인 CurateEvo를 제안한다. CurateEvo는 큐레이션 전략을 실행 가능한 코드로 표현하고, 보류된 개발 세트에서 수집한 실패한 궤적을 사용하여 이를 반복적으로 재작성한다. 각 에포크마다 진화된 전략은 고정된 원시 코퍼스를 지도 미세조정 데이터, 강화학습 데이터, 그리고 추론 시간 메모리 뱅크로 변환한다. 진화 과정은 먼저 반복적인 실패 모드를 진단하고 데이터를 증강, 필터링 또는 정제하여 효과성을 향상시키고, 이후 비용 인식 목적 함수 하에서 중복되거나 낮은 유용성의 학습 턴을 가지치기하여 효율성을 개선한다. 레이블된 데이터 및 야생 데이터(wild-data) 설정 모두에서 ACEBench-Agent, BFCL-V4, τ^2-Bench에 대해 수행한 실험 결과, CurateEvo는 기존 큐레이션 방법보다 지속적으로 우수한 성능을 보이며 평균 점수를 각각 3.2점과 2.7점 향상시켰다. 추가 분석을 통해 CurateEvo가 다양한 사후 학습 레시피와 호환되며 큐레이션 오버헤드를 상당히 줄임을 입증한다.