jacti.edu.cn

이 이메일 도메인이 관측된 논문 1건

arXiv:2606.19893v1cs.AI

MetaResearcher: 적대적 가상 환경에서의 자기 성찰적 강화학습을 통한 심층 연구 스케일링

MetaResearcher: Scaling Deep Research via Self-Reflective Reinforcement Learning in Adversarial Virtual Environments

심층 연구 에이전트(Deep research agent)는 자율적인 정보 수집 및 종합에서 탁월한 능력을 보여주었으나, 시뮬레이션된 환경의 정적 특성, 사실 검색 전용 작업 설계의 한계, 그리고 결과 기반 강화학습의 비효율성으로 인해 학습이 여전히 제약받고 있습니다. 본 연구에서는 우리는 심층 연구 에이전트 학습을 네 가지 상호 보완적인 차원으로 확장하는 새로운 프레임워크인 MetaResearcher를 제안합니다. 첫째, 학습 환경에 시간적 동역학과 적대적 오정보를 주입하는 진화하는 가상 세계(Evolving Virtual World)를 도입하여, 에이전트가 정보원 신뢰도 평가 및 시간적 충돌 해결 기술을 개발하도록 강제합니다. 둘째, 단순한 사실 검색을 넘어 에이전트가 진정한 연구 행동을 수행하도록 유도하는 가설 생성 및 모순 해결을 포함하는 발견 지향적 작업(Discovery-Oriented Tasks)을 설계합니다. 셋째, 답변 정확도, 검색 경로 효율성, 반추 깊이, 도구 호출 다양성을 공동으로 최적화하여 기존 연구에서 관찰된 반복적인 행동 루프 문제를 직접적으로 해결하는 GRPO 프레임워크 내의 자기 성찰적 메타 보상(Self-Reflective Meta-Reward) 메커니즘을 제안합니다. 넷째, 조율된 강화학습을 통해 협업 연구 전략을 학습하는 전문화된 Scout, Filter, Synthesizer 모델로 구성된 이질적 다중 에이전트 군집(Heterogeneous Multi-Agent Swarm) 아키텍처를 도입합니다. LiteResearcher 인프라를 기반으로 구축된 MetaResearcher는 학습을 위한 추가적인 API 비용이 전혀 들지 않으면서도, 벤치마크 성능(GAIA, Xbench-DS)과 적대적 조건 하에서의 인식적 견고성(epistemic robustness) 모두에서 상당한 개선을 목표로 합니다. 우리는 완전한 프레임워크 설계, 학습 방법론, 그리고 계획된 실험적 검증을 제시합니다.