Dream-RSI: 진화하는 세계를 통한 재귀적 자기 개선
Dream-RSI: Recursive Self-Improvement through Evolving Worlds
한국어 초록
재귀적 자기 개선(recursive self-improvement)은 복잡한 영역 전반에서 고가치 솔루션을 발견하는 능력에 발전이 좌우되는 자율 AI 에이전트(agent)에게 점점 더 필수적인 요소가 되고 있다. 효과적인 탐험(exploration)이 이 과정을 이끌지만, 탐험 전략을 관리하고 개선하는 일은 여전히 주요한 병목으로 남아 있다. 현재 시스템들은 근본적인 딜레마에 직면한다: 고정된 전략은 탐색 공간이 확장됨에 따라 적응하지 못하는 반면, 온라인 정책 최적화는 장기(long-horizon) 롤아웃으로부터 발생하는 지연되고 값비싼 피드백 하에서 방대한 메타 탐색 공간을 탐색해야 한다. 우리는 확장 가능하고 재귀적으로 자기 개선하는 탐험(exploration)을 위한 프레임워크인 Dream-RSI를 소개한다. 경량 오케스트레이션 층(layer)은 기반이 되는 베이스 에이전트(agent)는 그대로 둔 채 탐험(exploration)을 명시적이고 프로그래밍 가능하게 만든다. 우리의 핵심 통찰은 누적된 발견 이력이 실현된 탐색 공간에 대한 리플레이 시뮬레이터로 작동할 수 있다는 것이다. 과거 발견 트리로부터 구축된 이 시뮬레이터 내에서 드리밍(dreaming)함으로써, Dream-RSI는 반복적이고 값비싼 온라인 평가 없이도 탐험(exploration) 정책을 평가하고 개선하기 위한 즉각적이고 저비용의 오프-정책(off-policy) 피드백을 얻는다. 개선된 정책은 이후 추가적인 발견을 이끌기 위해 다시 온라인에 배포되며, 자기 개선 루프 속에서 시뮬레이터 풀을 지속적으로 확장해 나간다. 4개 영역에 걸친 9개 작업에서, Dream-RSI는 경쟁력 있는 품질을 달성하며 여러 설정에서 발견 효율성을 개선한다.
원문 초록
Recursive self-improvement is becoming essential for autonomous AI agents, whose progress depends on discovering high-value solutions across complex domains. Effective exploration drives this process, yet managing and improving exploration strategies remains a major bottleneck. Current systems face a fundamental dilemma: fixed strategies fail to adapt as search spaces scale, while online policy optimization must navigate vast meta-search spaces under delayed, expensive feedback from long-horizon rollouts. We introduce \textsc{Dream-RSI}, a framework for scalable, recursively self-improving exploration. A lightweight orchestration layer makes exploration explicit and programmable while leaving the underlying base agent unchanged. Our key insight is that accumulated discovery history can act as a replay simulator over the realized search space. By dreaming within this simulator built from historical discovery trees, \textsc{Dream-RSI} obtains immediate, low-cost off-policy feedback to evaluate and refine exploration policies without repeated, expensive online evaluation. The improved policy is then redeployed online to drive further discovery, continuously expanding the simulator pool in a self-improving loop. Across 9 tasks in 4 domains, \textsc{Dream-RSI} achieves competitive quality and improves discovery efficiency in several settings.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다음에 무엇을 탐구할지 학습하기: 장기 연구 에이전트를 위한 메타 추론
Learning What to Investigate Next: Meta-Reasoning for Long-Horizon Research Agents
장기(long-horizon) 연구 에이전트(agent)는 증거가 축적됨에 따라 어떻게 탐구할지뿐만 아니라 다음에 무엇을 탐구할지도 결정해야 합니다. 이러한 결정은 긴 실행 궤적(execution trace) 내에서 드물게 발생하며, 그 결과가 여러 차례의 탐구 이후에 나타날 수 있기 때문에 학습하기 어렵습니다. 본 논문에서는 연구 자원 배분과 실행을 분리하는 계층적 아키텍처인 반복 연구 에이전트를 위한 메타 추론(Meta-reasoning for Iterative Research Agents, MIRA)을 소개합니다. 외부 루프(outer-loop) 메타 추론기는 영구 연구 기록에서 컨텍스트를 큐레이션한 다음, 다음 탐구를 위한 작업 지시서를 작성하거나 에피소드를 종료합니다. 새로운 내부 루프(inner-loop) 실행기는 각 작업 지시서를 수행하여 실행을 메타 추론 행동 간의 전이 과정 일부로 만듭니다. 정책 학습(policy training) 없이도 MIRA는 장기 추론(inference)을 개선하고 정리 증명 및 개방형 신경망 아키텍처 연구에서 추가 연산량을 더 효과적으로 배분합니다. 또한 MIRA의 결정 경계는 신용 할당(credit assignment)을 위한 자연스러운 단위를 제공합니다. 각 경계에서 부분 상태(partial state)로부터 예상 잔여 보상을 예측하도록 생성형 크리틱(generative critic)을 학습시켜 토큰(token) 수준의 대안들보다 우수한 성능을 보였습니다. 교차 환경 사전학습은 예측과 적응을 개선하여 부분적 진행 상황의 가치를 평가하기 위한 전이 가능한 사전 분포(prior)를 산출합니다. 이 사전 분포를 활용하여 별도의 크리틱 모델 없이 잔여 보상을 예측하고 다음 탐구를 선택하도록 공동 학습되는 생성형 액터-크리틱(actor-critic)인 MIRA-AC를 초기화합니다. MIRA-AC는 정책 최적화를 메타 추론 결정에 집중시켜, 이들이 시작하는 더 긴 실행 궤적을 직접 최적화하지 않고도 효율적인 장기 강화학습(reinforcement learning)을 가능하게 합니다. 모델 자체의 프록시 힐클라이밍(hill-climbing) 신호로 MIRA-AC를 학습시키면 4개의 자동 연구(autoresearch) 환경 전반에서 골드 성능이 향상되며, 액터는 교차 환경 가치 초기화(initialization)를 통해 전이됩니다. 종합적으로, 이러한 결과들은 장기 자율 연구를 지휘하기 위한 명시적 정책으로서 메타 추론을 학습할 수 있음을 보여줍니다.
휴리스틱 자기 개선 에이전트에서 자가 작성 검증은 신뢰할 수 없다
Self-Authored Verification Is Unreliable in Heuristic Self-Improving Agents
자기 개선 에이전트는 절차적 정책, 컨트롤러, 또는 휴리스틱 규칙을 반복적으로 재작성함으로써 능력을 축적한다. 이들은 일반적으로 이후 편집을 수용할지 여부를 결정하기 위해 자가 작성 테스트 또는 지표에 의존한다. 에이전트는 최적화 대상과 그 검증자 모두를 통제한다. 그 결과, 실제 배포 성능이 저하되거나 낮은 수준에 머무르는 동안에도 자가 부여 점수는 거의 완벽한 수준을 유지할 수 있다. 우리는 검증자-배포 간극(verifier--deployment gap)을 통해 이 문제를 연구한다. 이 간극은 에이전트의 자가 작성 검증 신호와 에이전트가 관찰하거나 접근할 수 없는 봉인된 배포 평가 간의 불일치를 가리킨다. 우리는 반복적인 정책-및-테스트 재작성 하에서 자가 작성 검증이 어떻게 실패하는지, 능력에 따라 실패가 어떻게 변하는지, 그리고 실제 회귀가 배포되는 것을 방지하기 위해 얼마나 적은 외생적(exogenous) 신뢰가 충분한지 묻는다. 이 문제를 해결하기 위해 우리는 Sealed Exogenous Acceptance Loop(SEAL)을 도입한다. SEAL은 자가 작성 테스트를 유지하지만, 각 후보를 현행(incumbent) 상태와 고정된 하네스 측 감사(audit)를 통해 비교한다. 에이전트는 감사를 작성하거나 검사할 수 없으며, 수락/거부만 받고, 명확한 회귀 이후에는 전체 현행 상태가 보존된다. 우리의 실험은 이 문제가 휴리스틱 학습 설정에서 자주 나타남을 보여준다. 이러한 설정은 목표 목적 함수의 시행착오적 발견을 요구한다. 우리는 또한 자가 작성 검증의 실패가 능력에 따라 계층화(stratified)됨을 발견한다. 더 약한 에이전트는 쉬운 자가 테스트 뒤에 이전에 습득한 전략을 손상시키는 경향이 있다. 더 강한 에이전트는 더 안정적이지만, 여전히 배포 분포를 잘못 측정한다. 표준 자가 작성 제약은 이 간극을 신뢰할 수 있게 메우지 못한다. 대조적으로, SEAL은 여섯 개 모델과 세 개의 무작위 시드에서 보호되지 않은 기준선(baseline)들을 능가한다. 신뢰할 수 있는 자기 개선은 자가 검증을 포기할 필요가 없지만, 에이전트의 통제 밖에 있는 적어도 하나의 배포 수락 신호를 요구한다.
시간적 근접성을 넘어서: 강화학습에서의 신용 할당을 위한 설명적 월드 모델
Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning
생성형 추천 시스템(Generative Recommenders)은 결정 이후 수백 또는 수천 번의 상호작용이 지난 뒤에야 나타나는 결과를 최적화하기 위해 점점 더 강화학습(Reinforcement Learning, RL)을 활용하고 있다. 표준 강화학습은 명시적인 관련성이 아니라 시간적 근접성에 따라 보상을 전파하며, 이로 인해 멀리 떨어져 있지만 중요한 행동에 할당되는 신호가 약화되고 샘플 비효율성의 원인이 된다. 우리는 설명(explanation)을 사용하여 실현된 결과에 그럴듯하게 기여했을 이전 사건들을 식별하는 귀속(attribution) 프레임워크인 설명적 월드 모델(Explanatory World Models, EWM)을 소개한다. 우리는 프론티어 언어 모델을 사용하여 EWM을 구체화하고, 할인되지 않은 에피소드 리턴(undiscounted episode return)을 보존하면서 보상을 재귀적으로 재분배하는 보수적인 계층적 연산자(hierarchical operator)를 통해 그 설명을 학습 신호로 사용한다. 무엇이 유용한 설명을 구성하는지를 조사하기 위해, 우리는 Halpern의 실제 인과관계(actual causation), Lombrozo의 설명적 단순성(explanatory simplicity), Deutsch의 변형하기 어려운 설명(hard-to-vary explanations)에서 영감을 받은 세 가지 상호 보완적인 변형을 구체화한다. 우리는 두 가지 통제된 장기 호라이즌(long-horizon) 강화학습 벤치마크, 공개된 순차적 추천(sequential-recommendation) 벤치마크, 그리고 산업 규모의 생성형 추천 시스템에서 EWM을 평가한다. Crafter와 WordCraft에서 EWM은 PPO와 LaRe를 크게 상회하며, 보상이 가장 지연될 때 가장 큰 성능 향상을 보인다. KuaiRand에서 EWM은 오프라인에서 SFT와 LaRe를, 온라인에서 A2C를 상회한다. 마지막으로, 산업용 생성형 추천 시스템에 대한 오프라인 평가에서 EWM은 재현율(Recall)을 상당히 개선하고 행동 대리 지표(behavioral proxies)를 증가시킨다. 이러한 결과는 설명이 지연된 결과로부터 학습하기 위한 구조화되고 재사용 가능한 신용(credit)을 제공할 수 있음을 시사한다.
에너지 전환에서의 가치 창출을 위한 전략적 투자 의사결정: 강화학습 기반 접근법
Strategic Investment Decision Making for Value Creation in Energy Transition: A Reinforcement Learning Approach
기후 변화라는 전 지구적 과제는 2015년 파리 협정과 같은 국제적 합의에 따라 CO2 배출량을 감축하기 위한 중대한 조치들을 이끌어냈습니다. 너무 느리게 대응하면 향후 손실과 평판 훼손을 초래할 수 있는 반면, 너무 빠르게 움직이면 기술적 미성숙으로 인한 많은 재생에너지 프로젝트의 한계 수익성이나 잠재적 손실로 인해 주주 가치를 위협할 수 있습니다. 이러한 복잡한 전환 과정을 헤쳐나가기 위해 에너지 기업은 불확실성 속에서 의사결정의 유연성을 통해 가치 창출을 극대화하는 순차적 의사결정(SDM) 전략을 도입해야 합니다. 이를 지원하기 위해 본 연구에서는 2050년까지의 동적인 에너지 환경을 모델링하는 맞춤형 시뮬레이션 환경을 개발했습니다. 이를 기반으로 석유 및 가스, 재생에너지, CO2 감축의 세 가지 부문에 자금을 배분하기 위한 다양한 포트폴리오 관련 의사결정 전략을 탐색하는 다기준 SDM 프레임워크를 설계했습니다. 이는 생산량, 에너지 가격 및 비용의 불확실성을 고려하면서 전환 과정에서 가치를 극대화하는 것을 목표로 합니다. 이 프레임워크는 이익 극대화, CO2 사회적 비용 최소화, 재생에너지 부문에서의 경쟁 우위 확보라는 세 가지 목표를 가집니다. 본 연구는 정의된 SDM 프레임워크 내에서 최적의 투자 정책을 도출하기 위해 강화학습(RL)의 활용 가능성을 평가합니다. 에이전트의 순차적 의사결정은 석유 및 가스 생산량, 재생에너지 발전량, CO2 배출량, 수익과 같은 핵심 변수에 영향을 미침으로써 가상의 동적 환경을 형성합니다. 반복적인 상호작용을 통해 강화학습 알고리즘은 상태 공간을 탐색하고 불확실성 하에서 최적의 정책을 학습합니다. 본 연구는 강화학습 전략을 수동으로 정의된 일련의 기준선 정책들과 비교 평가하였으며, 적응성과 장기적 가치 창출 측면에서 일관되게 우수한 성능을 보임을 확인했습니다.
정규화의 입증 가능한 이점: 적대적 모방 학습을 위한 빠른 수렴률
Provable Benefits of Regularization: Fast Rates for Adversarial Imitation Learning
우리는 적대적 모방 학습(adversarial imitation learning, AIL)을 연구한다. AIL에서 에이전트(agent)는 전문가(expert) 행동과 학습자(learner) 행동을 구별하는 적대적 보상(reward)에 대해 정책(policy)을 최적화함으로써 전문가의 시연(demonstration)을 모방하는 법을 학습한다. 역사적으로 보상 정규화(regularization)와 엔트로피 기반 정책 정규화는 GAIL, LS-IQ와 같이 경험적으로 성공을 거둔 방법들의 핵심 구성 요소였지만, 유한 샘플(finite-sample) 환경에서의 이점은 아직 충분히 탐구되지 않았다. 우리는 일반적인 함수 근사(function approximation)를 사용하는 유한 구간(finite-horizon) 마르코프 결정 과정(Markov decision process)에서 공동으로 정규화된 AIL에 대한 빠른 수렴률을 도출한다. 우리의 모델 프리(model-free) 알고리즘인 Dually Regularized AIL은 KL 정책 정규화와 전문가 및 학습자의 점유율(occupancy)로 가중된 2차(quadratic) 보상 페널티를 결합한다. K개의 온라인 에피소드와 N개의 전문가 경로(trajectory)가 주어졌을 때, 고정된 정규화 파라미터에 대해 정규화된 모방 격차(imitation gap)에 대한 $\widetilde{O}\left(\frac{1}{K}+\frac{1}{N}\right)$ 경계(bound)를 증명한다. 우리의 분석은 유한한 전문가 데이터와 확률적(stochastic) 학습자 피드백으로 인한 추정 오차를 제어하기 위해 일반적인 컨벡스(convex) 보상 클래스에 대한 온라인 미러 디센트(mirror descent) 구성과, 낙관적(optimistic) KL 정규화 정책 학습에 대한 정교한(sharp) 분석을 결합한다. 우리가 아는 한, Dually Regularized AIL은 확률적 전문가(stochastic expert)가 존재하는 경우에도 이러한 정규화된 AIL 목적함수에 대해 전문가 시연과 온라인 상호작용(interaction) 양쪽 모두에서 $\widetilde{O}\left(\frac{1}ε\right)$ 샘플 복잡도(sample complexity)를 동시에 달성한 최초의 알고리즘이다. 이러한 결과는 AIL에서 보상 정규화와 정책 정규화가 갖는 상호 보완적인 통계적 이점을 엄밀하게 규명한다.
행동하기 전의 선택: 장기적 도구 사용 에이전트를 위한 비교 가치 추정
Choosing Before Acting: Comparative Value Estimation for Long-Horizon Tool-Use Agents
대규모 언어 모델(LLM)은 복잡한 작업을 수행하기 위해 장기적인(long-horizon) 도구 호출 시퀀스에 의존하며, 여기서 각 호출은 작업 상태를 변경하고 이후 결정의 조건이 됩니다. 장기적 도구 사용에서는 긴 상호작용 궤적 전반에 걸쳐 최종 결과 기반의 보상만으로는 취약한 신용 할당(credit assignment)을 제공할 수밖에 없습니다. 단계별(step-level) 보상은 더 구체적인 피드백을 제공할 수 있으나, 신뢰할 수 있는 단계별 지도(supervision)를 얻으려면 종종 사람이나 LLM의 판단, 또는 중간 결정의 후속 영향을 추정하기 위한 추가적인 롤아웃(rollout)이 필요합니다. 본 논문에서는 효과적인 도구 사용 에이전트(agent)가 가능한 다음 도구 호출을 실행하기 전에 그 장기적 가치를 추정해야 한다고 주장합니다. 이러한 목표를 달성하려면 동일한 문맥에서 대안적인 도구 호출들에 대한 비교 지도(comparative supervision)가 필요하지만, 기록된 궤적(logged trajectory)에는 실제로 수행된 호출만 포함되어 있습니다. 이에 따라 우리는 도구 사용 에이전트를 위한 비교 추론(Comparative Inference for Tool-use Agents, CITA)을 제안합니다. CITA는 관측된 도구 동작, 베이즈 도구 그래프 시뮬레이터로부터 얻은 확장 가능한 지도, 그리고 LLM 기반 비교를 통한 의미적 판단을 결합한 쌍(paired) 신호로부터 비교 추론 모델(Comparative Inference Model, CIM)을 학습합니다. 그 결과 CIM은 현재 문맥에서 가능한 다음 도구 호출이 최종 작업 성공에 기여할 가능성을 추정하도록 학습합니다. 세 가지 도구 사용 벤치마크와 다양한 백본 LLM 전반에서, CITA는 도구 F1 점수와 작업 성공률을 일관되게 향상시킵니다. 추가 분석을 통해 CIM이 비교 도구 선택에 대한 정확한 단계별 가치 추정치를 학습함을 보입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
11 pages