This paper presents the Metabolic Multi-Agent Optimizer (MMAO) as an adaptive metaheuristic built around endogenous resource circulation. The central premise is that search intensity, exploration--exploitation balance, and lifecycle turnover should be induced by a shared metabolic controller rather than by separately attached schedules. We formulate MMAO through bounded private energy, a communal budget, normalized reward, continuous role adaptation, and resource-financed branching and pruning. The method is then instantiated in both continuous and discrete domains and evaluated on a matched small-scale suite including Sphere, Rastrigin, a synthetic Euclidean TSP, and two TSPLIB instances. The results show a consistent pattern: the same metabolic loop remains workable across domains, the discrete realization remains relatively stable under a compact design, and continuous refinement quality is the main cost of keeping the method lean. These results support MMAO's framework formulation under simplification, with some loss of late-stage precision on harder continuous tasks.
최근 에이전트형 AI의 발전은 설명 가능하고 인간 중심이며 비선형적인 추론 워크플로에 대한 수요에 힘입어 그래프 기반 방법으로 점점 더 많이 이동하고 있다. 한 가지 대표적인 예는 에이전트를 위한 해석 가능한 의사결정 구조를 진화시키기 위해 방향 그래프를 활용하는 자기 진화 알고리즘인 유전 네트워크 프로그래밍(GNP)이다. 대부분의 진화 알고리즘과 마찬가지로, 탐험과 활용의 균형을 효과적으로 맞추는 것은 GNP의 핵심 요소이다. 그러나 이러한 절충은 GNP 문헌에서 제한적인 주목을 받았다. 이 간극을 해소하기 위해, 우리는 아이들이 숙고보다 광범위한 실험과 행동을 우선시하고 이 경향이 나이가 들수록 역전되는 인간 발달 패턴에서 영감을 얻는다. GNP의 판단 노드를 숙고에, 처리 노드를 행동에 매핑함으로써, 우리는 진화 과정 전반에 걸쳐 탐험-활용 균형을 동적으로 조절하는 새로운 적응형 프레임워크인 인간 영감 기반 GNP(HGNP)를 제안한다. 이 방법은 새로운 적응형 교차와 돌연변이 연산자, 그리고 순환 제거 메커니즘으로 구성된다. HGNP는 진화 과정을 개선할 뿐만 아니라 목표 환경 및 탐색 공간의 특성에 기반하여 탐험-활용 균형을 조정하기 위한 프레임워크도 제공한다. 이 접근법은 표준 GNP에서 교차 및 돌연변이 확률을 통한 조정보다 더 효과적이다. 이러한 수정은 일반적이며 거의 모든 GNP 변형에 적용할 수 있다. 표준 GNP 및 최근에 도입된 두 가지 GNP 변형과 통합하여 Tileworld 벤치마크에서 평가한 결과, HGNP는 에이전트 전략에서 유의미한 성능 향상을 보였다. HGNP를 Situation-based GNP(SBGNP)와 결합한(HGNP-SBGNP) 것이 전체적으로 최고의 결과를 달성했다.
Zero-shot Transfer in Reinforcement Learning (RL) aims to train an agent that can generate optimal policies for any reward function, without additional learning at transfer time, while training only on reward-free trajectories. For their generality over tasks, such models are sometimes called ``Behavioral Foundation Models'' (BFMs). While they have shown strong performances and improvements in recent years, the current framework and algorithms still assume that, during the transfer phase, the agent is informed offline about the reward (the task to solve) through a dataset of state-reward pairs, which it uses to pick the best policy to deploy. However, in practice if the reward is a black-box (e.g. direct user feedback), it is not possible to generate such a dataset: it is necessary to observe the reward through interactions with the environment. In other words, the current framework of offline transfer is not aligned with the traditional RL setting of online learning through trial-and-error, which requires exploration in order to find rewards. This paper proposes to tackle this new online transfer in zero-shot RL, with the key insight that the BFM itself can be used to generate exploration policies. We show that it is possible to frame this online learning problem in terms of a bandit-like exploration-exploitation problem. More precisely, at each step the bandit algorithm recommends a policy, the BFM executes it in the environment, which yields a reward and a new state; we repeat the process until we converge to the optimal policy. In the popular context of linear reward approximation, we derive a formulation inspired by Upper Confidence Bound and show that exploration can be achieved through the minimization of the eigenvalues of an uncertainty matrix. We evaluate qualitatively and quantitatively our framework on a simple environment to validate the concept of our method.