재귀적 에이전트 최적화
Recursive Agent Optimization
본 논문에서는 재귀적 에이전트(recursive agent), 즉 자기 자신의 새로운 인스턴스를 생성하여 하위 작업을 재귀적으로 위임할 수 있는 에이전트를 학습시키기 위한 강화학습 접근법인 재귀적 에이전트 최적화(Recursive Agent Optimization, RAO)를 소개합니다. 재귀적 에이전트는 분할 정복(divide-and-conquer)을 통해 에이전트가 더 긴 컨텍스트로 자연스럽게 확장되고 더 어려운 문제로 일반화될 수 있도록 하는 추론 시점 스케일링(inference-time scaling) 알고리즘을 구현합니다. RAO는 모델이 이러한 재귀적 추론을 최대한 활용할 수 있도록 학습시키는 방법을 제공하며, 에이전트에게 위임 및 소통의 시점과 방법을 가르칩니다. 이러한 방식으로 학습된 재귀적 에이전트는 더 우수한 학습 효율성을 보이고, 모델의 컨텍스트 윈도우(context window)를 넘어서는 작업으로 확장될 수 있으며, 에이전트가 학습된 것보다 훨씬 더 어려운 작업으로 일반화될 수 있을 뿐만 아니라 단일 에이전트 시스템에 비해 총 소요 시간(wall-clock time)을 단축할 수 있음을 확인했습니다.