CoEvoKG: 자가 진화 검색 에이전트와 지식 그래프의 공진화
CoEvoKG: Co-Evolving Knowledge Graphs with Self-Evolving Search Agents
한국어 초록
대규모 언어 모델(LLM)은 검색 에이전트를 위한 강화학습(RL)을 통해 향상될 수 있으나, 기존의 셀프 플레이(self-play) 에이전트는 성공적인 검색 과정에서 얻은 지식을 버리면서 작업을 반복적으로 생성합니다. 본 논문에서는 지식 그래프를 검증 가능한 학습 작업의 원천이자 에이전트 진화를 위한 영구적인 근거 메모리로 전환하는 프레임워크인 CoEvoKG를 제안합니다. CoEvoKG는 작업 생성기와 검색 에이전트를 공동으로 학습시킵니다. 생성기는 지식 그래프에서 샘플링된 엔티티 체인으로부터 멀티홉 질문을 생성하고, 에이전트는 답변의 정확도와 그래프 근거로 뒷받침되는 엔티티 경로를 가진 검색 궤적에 대한 보상으로부터 학습합니다. 검색에 성공하면 CoEvoKG는 검색된 근거를 검증 및 중복 제거한 후 이를 해당하는 그래프 노드와 엣지에 다시 기록합니다. 후속 라운드에서는 이렇게 강화된 그래프를 작업 생성 및 보상 계산에 재사용하여, 모델의 자가 진화와 지식 축적 사이의 루프를 완성합니다. 3개의 백본 모델을 사용해 6개의 QA 벤치마크(NQ, TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, Bamboogle)에서 수행한 실험 결과, CoEvoKG는 Qwen2.5-3B-Instruct, Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct에서 해당 베이스 모델 대비 매크로 평균 정확도를 각각 +11.2, +10.1, +11.6포인트 향상시키는 것으로 나타났습니다. 동일한 학습 예산 하에서 CoEvoKG는 3개 백본 전반에 걸쳐 경쟁력 있는 셀프 플레이 베이스라인 및 검색 에이전트용 강화학습 베이스라인보다 매크로 평균 점수를 +2.6에서 +3.7포인트 추가로 향상시킵니다. 코드는 https://github.com/lazzy1225/CoEvoKG 에서 이용할 수 있습니다.
원문 초록
Large language models can improve with reinforcement learning for search agents, yet existing self play agents repeatedly generate tasks while discarding the knowledge gained during successful searches. We introduce CoEvoKG, a framework that turns a knowledge graph into both a source of verifiable training tasks and a persistent evidence memory for agent evolution. CoEvoKG jointly trains a task generator and a search agent: the generator creates multihop questions from entity chains sampled from the knowledge graph, while the agent learns from rewards for answer correctness and search trajectories whose entity paths are supported by graph evidence. When a search succeeds, CoEvoKG verifies and deduplicates the retrieved evidence, then writes it back to the corresponding graph nodes and edges. Future rounds reuse this enriched graph for task generation and reward computation, closing the loop between model self evolution and knowledge accumulation. Experiments on six QA benchmarks (NQ, TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, and Bamboogle) with three backbone models show that CoEvoKG improves macro average accuracy over the corresponding base models by +11.2, +10.1, and +11.6 points on Qwen2.5-3B-Instruct, Qwen2.5-7B-Instruct, and Llama-3.1-8B-Instruct, respectively. Under matched training budgets, CoEvoKG further improves over competitive self play baselines and RL baselines for search agents by +2.6 to +3.7 macro average points across the three backbones. Code is available at https://github.com/lazzy1225/CoEvoKG.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.01904v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.