진화 미세조정: 371개 최적화 태스크에 걸친 발견 학습
Evolution Fine-Tuning: Learning to Discover Across 371 Optimization Tasks
한국어 초록
더 빠른 GPU 커널을 설계한 경험이 오랫동안 미해결 상태인 수학적 추측에 접근하는 데도 도움이 될 수 있을까? 진화적 탐색(evolutionary search)에 통합된 대규모 언어 모델(LLM)은 최근 미해결 수학적 추측, GPU 커널 설계, 과학적 법칙 발견, 조합 퍼즐 등 다양한 최적화 태스크에서 최첨단 솔루션을 도출했다. 이를 위해 기존 연구는 탐색 스캐폴드를 하나의 목표 태스크에 한 번씩 적용했기 때문에, 새로운 문제마다 처음부터 접근해야 하며 탐색 과정에서 축적된 경험은 모델이 시도를 마치면 폐기된다. 이는 솔루션을 반복적으로 진화시키는 능력(예: 어느 부분을 어떻게 변이(mutate)할지 파악하고, 역추적 시점을 결정하는 것)이 모델 자체가 아닌 스캐폴드에 전적으로 의존하게 만든다. 모델 자체가 이 능력을 습득하고 다양한 태스크에 걸쳐 재활용할 수 있는지는 거의 검토되지 않았다. 이를 해결하기 위해 우리는 진화 미세조정(EFT, Evolution Fine-Tuning)을 제안한다. EFT는 진화적 탐색 궤적(trajectory)을 지도 학습 데이터로 변환하여 LLM이 태스크 전반에 걸쳐 솔루션을 진화시키도록 학습하는 중간 학습(mid-training) 패러다임이다. 우리는 10개 도메인과 371개 최적화 태스크에 걸쳐 156K개의 궤적으로 구성된 Finch Collection 데이터셋을 구축하고, 2B에서 9B 파라미터 규모의 오픈소스 LLM을 미세조정했다. 실험 결과, EFT는 태스크 간 일반화(cross-task generalization) 능력을 부여한다: 22개의 held-out 태스크에서 우리 모델은 베이스 모델 대비 평균 10.22% 향상된 성능을 보였다. 나아가 테스트 시점 RL(test-time RL)과 결합했을 때, 우리 모델은 두 개의 원 채우기(circle-packing) 태스크에서 최첨단 성능에 필적하고, Erdős 최소 중첩(minimum-overlap) 문제에서 베이스 모델 대응 버전을 능가했다. 따라서 EFT는 새로운 문제를 처음부터 풀지 않는 범용 발견 에이전트를 위한 "연습 단계"로 기능한다.
원문 초록
Would experience designing faster GPU kernels also help close in on a long-standing open mathematical conjecture? Large Language Models (LLMs) integrated into evolutionary search have recently produced state-of-the-art solutions on optimization tasks, including open mathematical conjectures, GPU kernel design, scientific law discovery, and combinatorial puzzles. To achieve this, prior work applied search scaffolds to one target task at a time, so every new problem is approached from scratch and the experience accumulated during search is discarded once the model finishes its attempt. This leaves the capability of iteratively evolving a solution (e.g., knowing which part to mutate and how, deciding when to backtrack) entirely in the scaffold rather than in the model itself. Whether the model itself could acquire this capability and reuse it across different tasks has been largely unexamined. To address this, we introduce Evolution Fine-Tuning (EFT), a mid-training paradigm that teaches LLMs to evolve solutions across tasks by converting evolutionary search trajectories into supervision. We construct Finch Collection, a 156K-trajectory dataset spanning 10 domains and 371 optimization tasks, and fine-tune open-source LLMs from 2B to 9B parameters. Empirically, EFT confers cross-task generalization: across 22 held-out tasks, our models surpass their base counterparts by 10.22% on average. Furthermore, when paired with test-time RL, our model matches state-of-the-art performance on two circle-packing tasks and outperforms its base-model counterpart on the Erdős minimum-overlap problem. EFT thus serves as a "practice phase" for general-purpose discovery agents that do not solve new problems from scratch.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.29082v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LLM을 활용한 제로샷 교차 문제 일반화를 위한 다중 작업 진화
Multi-Task Evolution for Zero-Shot Cross-Problem Generalization using LLMs
다양한 조합 최적화(combinatorial optimization) 문제를 위한 효과적인 휴리스틱(heuristic)을 설계하는 것은 상당한 전문성과 반복적인 탐색을 필요로 합니다. 대규모 언어 모델(LLM)은 휴리스틱 생성과 개선을 자동화하지만, 휴리스틱 탐색은 일반적으로 최적화 대상 문제의 평가 피드백에 의존합니다. 따라서 소스 작업 피드백만을 사용하여 새로운 문제 정의로 일반화하는 것은 여전히 핵심적인 과제로 남아 있습니다. 본 논문에서는 제로샷(zero-shot) 교차 문제 일반화를 위한 LLM 기반 다중 작업 진화 프레임워크인 MECo를 소개합니다. MECo는 작업 조건부 휴리스틱 개체군을 유지하며, 교차 작업 개체군 성능에 기반한 전이 격차(transfer gap)를 활용해 이들의 상호작용을 유도합니다. 이러한 상호작용은 휴리스틱의 전이와 재조합을 가능하게 합니다. 그런 다음 상호보완적 선택 기준을 통해 각 개체가 소스 조합에 대해 제공하는 추가적인 커버리지를 보상함으로써 간결한 휴리스틱 세트를 구성합니다. 선택된 세트는 추가적인 탐색이나 적응 과정 없이 타깃 문제에 바로 적용됩니다. 차량 경로 문제(VRP) 및 유연한 잡숍 스케줄링(FJSP) 전반에 걸친 32가지 변형 문제를 대상으로 한 실험에서, MECo는 동일한 예산 하에 8개의 자동화된 휴리스틱 설계(AHD) 기준선과 비교해 가장 낮은 평균 비용을 달성함을 보여줍니다. 도메인 외(OOD) 문제에서도 각 제품군에서 가장 강력한 기준선을 능가합니다. 나아가 MECo 프레임워크를 서로 다른 AHD 방법들과 통합했을 때 두 제품군 모두에서 ID 및 OOD 성능이 향상되어, 여러 방법 전반에 걸친 유효성을 뒷받침합니다.
OR을 수행하는 AI를 위한 OR: OSCAR 프레임워크 내에서 에스컬레이터를 따라 LLM 라우팅하기
OR for AI That Does OR: Routing LLMs up the Escalator inside the OSCAR Framework
대규모 언어 모델(LLM)은 비즈니스 설명을 최적화 모델(optimization model)로 변환할 수 있지만, 실행 가능한 코드가 제약 조건이나 목적 함수를 잘못 나타낼 수 있습니다. 이 경우 솔버(solver)는 잘못된 문제에 대한 최적해를 반환할 수 있습니다. 해당 해가 의도한 운영 규칙을 만족하더라도 더 나은 계획이 존재할 수 있습니다. 최적화 모델링을 반복적으로 사용하는 조직의 경우, LLM 기반 프레임워크는 저비용으로 정확한 수식화를 생성해야 하며 이상적으로는 로컬에서 실행되어야 합니다. 본 연구에서는 개선 사항을 검증하고 가격 및 성능이 서로 다른 LLM 간에 시도를 어떻게 할당할지 연구합니다. 우리는 라벨링된 결정 예시를 바탕으로 검증된 오프라인 시뮬레이터(Simulator)를 사용하여 후보들을 비교하고 단순 실행 가능성을 넘어 탐색을 지속하는 OSCAR(Optimization modeling by Simulator, Coder, And Reviewer)를 개발합니다. 우리는 다음으로 검증된 개선안을 찾는 과정을 관측되지 않은 난이도 하에서의 순차적 의사결정(어떤 LLM을 호출하고 언제 중단할지)으로 모델링합니다. 사전 확률이 알려진 단순화된 환경에서 비용 순서에 따른 에스컬레이션(cost-ordered escalation)이 최적이 되는 조건을 제시합니다. 일반적인 메뉴에 대해서는 사전 확률에 구애받지 않는(prior-free) 경쟁적 보장을 도출합니다. 5개의 벤치마크 문제에서 OSCAR는 단일 GPU에 로컬 배포 가능한 두 개의 소형 오픈 가중치(open-weight) LLM을 사용하여 보고된 설정 기준 95%에서 100%의 정확도를 달성합니다. 이 모델들의 단일 시도 정확도는 평균 29% 및 48%입니다. 문제당 5회 실행에서 Codex와 Claude Code는 OSCAR에 비해 각각 평균 3.1배, 5.8배의 토큰 비용을 발생시킵니다. OSCAR는 예산 및 기밀성 요구사항에 따라 로컬 또는 클라우드에서 오픈 가중치 모델을 지원합니다. 기업은 자연어 운영 규칙을 명확히 하기 위해 실행 가능한 결정과 실행 불가능한 결정에 대한 라벨링된 결정 예시를 유지 관리해야 합니다. OSCAR는 LLM의 해석이 이들과 충돌할 때 이러한 라벨을 따릅니다. LLM 성능과 가격이 변화함에 따라, OSCAR의 단순한 운영 규칙과 조정 가능한 설정은 기업이 모델 선택을 적응시키고 이러한 발전을 활용할 수 있도록 돕습니다.
불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화
Reliable Self-Evolution with Imperfect Proxy Rewards
대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.
모든 확장을 유의미하게: LLM 코드 수정에서 효율적인 탐색을 위한 학습
Make Every Expansion Count: Learning to Search Efficiently in LLM Code Repair
대규모 언어 모델(LLM) 코드 수정 시스템은 수정본을 반복적으로 생성하고 테스트하여 결함이 있는 프로그램을 고칩니다. 각 수정본 생성에는 많은 비용이 들기 때문에, 어떤 수정을 시도할지 선택하는 것이 효율성에 매우 중요합니다. 기존의 탐색 정책은 테스트 통과율과 탐색 통계에 의존하며, 테스트 실패 세부 정보와 제안된 편집 내용은 무시합니다. 본 논문에서는 수정된 프로그램이 생성되고 테스트되기 전에 편집의 우선순위를 정하는 학습된 정책인 CodeTriage를 소개합니다. 0.6B 매개변수(parameter) 모델은 테스트 출력, 실패 진단, 제안된 편집을 읽은 후, 해당 편집을 통해 해결에 도달하는 데 필요한 수정 단계 수에 대한 분포를 예측합니다. 이러한 예측은 수정된 코드를 생성하고 테스트하기 전에 프로그램 전반에 걸쳐 보류 중인 모든 편집의 우선순위를 지정합니다. 미공개 수정 작업에서 CodeTriage는 각 지표의 가장 강력한 기준선(baseline)보다 21% 적은 프로그램 수정본과 12% 적은 출력 토큰으로 해결책을 찾아냅니다. 재학습 없이도 11개의 보지 못한 수정 LLM 각각에 대해 탐색 예산 전반에서 가장 높은 평균 성공률을 달성합니다. 절제 연구(ablation study)에 따르면 실패 문맥과 편집 텍스트뿐만 아니라 프로그램 간의 비교도 탐색을 개선하는 것으로 나타났습니다. 또한 제안된 편집 및 테스트 결과와 함께 수정 트리로 구성된 4개 LLM의 1,220만 개 프로그램 버전 말뭉치를 공개합니다.
작지만 강력하게: 자기 진화 에이전트를 위한 개선 신호로서의 테스트 스위트
Small but Mighty: Test Suites as Improvement Signals for Self-Evolving Agents
자기 진화 에이전트(self-evolving agent)는 자신의 하네스(harness)를 재작성하며 어떤 재작성본을 유지할지 결정해야 하므로, 에이전트의 개선 신호는 재작성본이 통과해야 하는 검증이 됩니다. 에이전트 롤아웃(rollout)으로 재작성을 검증하는 것은 비용이 많이 들고 주관적인 반면, 저장소 자체의 테스트와 같은 실행 가능한 검증은 동작을 변화시키는 재작성을 포착하기에는 너무 희소하여 그중 4분의 1만을 거부합니다. 우리는 그 대신 테스트 피드백을 실행 가능한 신호로 삼고, 신호가 조밀하고 유익할 수 있도록 품질-다양성(quality-diversity) 진화 알고리즘을 통해 작으면서도 강력한 테스트 스위트(test suite)를 탐색합니다. TeSearch는 스위트 크기를 행동 기술자(behavior descriptor)로 취급하여 모든 크기에서 품질을 추구하고 작고 강력한 스위트에 도달할 수 있도록 하며, 해당 기술자에 대한 액추에이터로서 대규모 언어 모델(LLM)의 노이즈를 제거하는 전이 커널(transition kernel)을 탐색 과정에서 학습합니다. 129개의 실제 모듈과 세 가지 백본에 걸쳐, TeSearch는 LLM 기반 진화 탐색을 포함해 비교된 모든 방법 중 가장 높은 품질의 스위트를 제공하며, LLM 기반 방법 중 가장 작은 크기를 달성합니다. 자기 진화 에이전트의 개선 신호로 사용되었을 때, 이는 4.0%의 오경보율(false-alarm rate)과 결정당 3.5초의 속도로 동작을 변화시키는 재작성의 59.9%를 거부하여 저장소 자체 테스트의 25.3%와 대비를 이룹니다. 코드와 데이터는 https://github.com/ccsnow127/TeSearch 에서 확인할 수 있습니다.
PopGen: 제로샷 조정을 위한 의미론적으로 다양한 개체군 생성
PopGen: Generating Semantically Diverse Populations for Zero-Shot Coordination
다중 에이전트 강화학습(multi-agent reinforcement learning)에서 학습(training) 중 협력자에게 다양한 전략을 가진 파트너를 노출하는 것은 테스트 시 더 나은 협업을 달성하기 위한 핵심 요소입니다. 그러나 기존 방법들은 일반적으로 다양성을 측정하기 위해 궤적 수준(trajectory-level)의 대리 지표에 의존하므로, 동일한 전략에서 나온 서로 다른 두 궤적을 다양하다고 잘못 분류할 수 있습니다. 대신 본 연구의 핵심 통찰은 인간이 고수준의 전략을 인식할 수 있는 것과 유사하게, 환경(environment) 내에서 행동적으로 뚜렷이 구별되는 에이전트(agent)를 서술하는 대규모 언어 모델(LLM)의 능력을 활용하는 것입니다. 이를 위해 본 연구에서는 LLM을 사용하여 처음부터 의미론적으로 다양한 에이전트를 합성하는 프레임워크인 PopGen을 소개합니다. PopGen은 먼저 에이전트 행동에 대한 다양한 텍스트 서술 세트를 생성한 다음, 각 행동을 환경 내에서 실행할 수 있는 코드 정책(code policy)으로 변환합니다. 본 연구는 PopGen 개체군을 대상으로 학습된 협력자가 처음 보는 파트너와도 견고한 제로샷(zero-shot) 협력을 달성하며, 네 가지 협업 환경 전반에서 개체군 기반 학습(population-play) 베이스라인들을 능가함을 보입니다. 나아가 의미론적 다양성이 PopGen 개체군 크기에 따라 확장되어 협력자의 최악의 경우(worst-case) 성능을 향상시킴을 보이고, 다양성을 극대화하면서도 개체군 품질을 유지하는 설계 선택 사항들을 식별합니다. 연구 코드는 https://github.com/labicon/PopGen 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.