에이전트 간 교차 학습 신호를 통한 역할 분해 기반 대규모 언어 모델 협력 학습
Cross-Agent Learning Signals Enable Coordinated Role-Decomposed LLM Training
에이전틱 검색 시스템은 증거 수집과 응답 생성을 조율해야 하지만, 기존 접근 방식은 단일 에이전트(agent) 목적 함수 아래 두 역할을 결합하거나 최종 결과에 대한 각 역할의 기여도를 분리하지 못한 채 역할을 분해합니다. 본 논문에서는 작업별 외부 검증 신호가 주어졌을 때 역할별 교차 검증 보상을 통해 검색기(searcher)와 생성기(generator)를 학습시키는 역할 분해 학습 프레임워크인 DAC(Divide and Cooperate)를 소개합니다. DAC는 검색된 증거가 불충분하다고 판단될 때 생성기가 답변을 기권(abstain)할 수 있도록 허용하며, 이 결정과 외부에서 평가된 검색 충분성을 결합하여 각 역할에 적절한 크레딧(credit)을 부여합니다. 지나친 기권으로 성능이 저하되는 현상을 방지하기 위해, 충분하지만 까다로운 증거에 대해 기권하는 것을 억제하는 하드 포지티브(hard-positive) 증거 증강 기법을 추가로 도입합니다. 7개의 일반 및 멀티홉 QA 벤치마크와 2개의 백본 모델 전반에서 DAC는 강력한 단일 에이전트 및 다중 에이전트 베이스라인을 일관되게 능가합니다. 통제된 평가 결과는 이러한 성능 향상이 검색과 생성 모두의 조화로운 개선에서 비롯됨을 보여줍니다. 본 연구 결과는 에이전틱 검색 시스템을 학습(training)시킬 때 상호작용하는 역할 간에 명시적이고 적절하게 크레딧을 할당하는 것의 중요성을 강조합니다.