PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02525v1cs.AI

다음에 무엇을 탐구할지 학습하기: 장기 연구 에이전트를 위한 메타 추론

Learning What to Investigate Next: Meta-Reasoning for Long-Horizon Research Agents

장기(long-horizon) 연구 에이전트(agent)는 증거가 축적됨에 따라 어떻게 탐구할지뿐만 아니라 다음에 무엇을 탐구할지도 결정해야 합니다. 이러한 결정은 긴 실행 궤적(execution trace) 내에서 드물게 발생하며, 그 결과가 여러 차례의 탐구 이후에 나타날 수 있기 때문에 학습하기 어렵습니다. 본 논문에서는 연구 자원 배분과 실행을 분리하는 계층적 아키텍처인 반복 연구 에이전트를 위한 메타 추론(Meta-reasoning for Iterative Research Agents, MIRA)을 소개합니다. 외부 루프(outer-loop) 메타 추론기는 영구 연구 기록에서 컨텍스트를 큐레이션한 다음, 다음 탐구를 위한 작업 지시서를 작성하거나 에피소드를 종료합니다. 새로운 내부 루프(inner-loop) 실행기는 각 작업 지시서를 수행하여 실행을 메타 추론 행동 간의 전이 과정 일부로 만듭니다. 정책 학습(policy training) 없이도 MIRA는 장기 추론(inference)을 개선하고 정리 증명 및 개방형 신경망 아키텍처 연구에서 추가 연산량을 더 효과적으로 배분합니다. 또한 MIRA의 결정 경계는 신용 할당(credit assignment)을 위한 자연스러운 단위를 제공합니다. 각 경계에서 부분 상태(partial state)로부터 예상 잔여 보상을 예측하도록 생성형 크리틱(generative critic)을 학습시켜 토큰(token) 수준의 대안들보다 우수한 성능을 보였습니다. 교차 환경 사전학습은 예측과 적응을 개선하여 부분적 진행 상황의 가치를 평가하기 위한 전이 가능한 사전 분포(prior)를 산출합니다. 이 사전 분포를 활용하여 별도의 크리틱 모델 없이 잔여 보상을 예측하고 다음 탐구를 선택하도록 공동 학습되는 생성형 액터-크리틱(actor-critic)인 MIRA-AC를 초기화합니다. MIRA-AC는 정책 최적화를 메타 추론 결정에 집중시켜, 이들이 시작하는 더 긴 실행 궤적을 직접 최적화하지 않고도 효율적인 장기 강화학습(reinforcement learning)을 가능하게 합니다. 모델 자체의 프록시 힐클라이밍(hill-climbing) 신호로 MIRA-AC를 학습시키면 4개의 자동 연구(autoresearch) 환경 전반에서 골드 성능이 향상되며, 액터는 교차 환경 가치 초기화(initialization)를 통해 전이됩니다. 종합적으로, 이러한 결과들은 장기 자율 연구를 지휘하기 위한 명시적 정책으로서 메타 추론을 학습할 수 있음을 보여줍니다.