Large language model (LLM) agents increasingly rely on reusable skills, but skills are usually written by hand, and letting an agent change them on its own calls for explicit user control. We report on EvoAgent, an evolvable agent framework built for a foreign trade assistant, and share the engineering choices behind it. We organize the agent as a harness of four components (reasoning, context engineering, tools and state) and confine self-improvement to the user's persistent state: profile, memory and skills. Skills are multi-file packages with lazily loaded references, matched in three stages (keyword, embedding, LLM). The main agent can delegate to sub-agents with their own context, and long histories are compressed while an index of recoverable resources is kept. An offline loop reviews completed sessions to update the profile and memory and to propose skills; in the open-source release a skill changes only after the user confirms the proposal. On 172 foreign trade test cases scored by an LLM judge on five dimensions, GPT-5.2 with EvoAgent scored about 28% higher than GPT-5.2 called directly with only the final query. This is a single run judged by the model under test, so it measures the harness as a whole rather than any one mechanism, and swapping in GPT-4.1 or Qwen3.5-35B-A3B lowered the scores relative to calling those models directly. Several mechanisms described here were added after the version we evaluated and are not evaluated. The evaluation data is proprietary, so the results are for reference only. An open-source release of the code, which is not the evaluated business version, is available at https://github.com/Focus-AI-Center/Mentarc-EvoAgent
Decomposition-based Programming-by-Example splits a task into subtasks: a decomposer predicts intermediate subgoals, and a learned synthesizer generates a program for each subgoal. Execution-decomposition approaches train the decomposer to imitate ground-truth (GT) subgoals and thereby treat decomposition quality as a property of the task alone. A learned synthesizer, however, has its own inductive biases, and GT subgoals reflect how the annotator factorized the task, not what this synthesizer can solve. A decomposer that imitates them can therefore propose subgoals that are logically valid but intractable for the synthesizer. Motivated by this observation, we propose Solver-Aware Decompositions (SAD), which keeps supervised training on GT subgoals as a structural scaffold and additionally trains the decomposer online with self-critical policy gradients against a frozen synthesizer. Each sampled subgoal is rewarded with the negative cross-entropy of the synthesizer on the target program, a continuous signal of how difficult the subtask is for this synthesizer. Our experiments show an accuracy paradox: with the synthesizer fixed, a GT-supervised decomposer agrees more often with the GT subgoals, yet its subgoals lead to lower synthesis accuracy, although the synthesizer was trained on the same GT data. On two list-processing domains, SAD improves synthesis and task accuracy over the GT-supervised decomposer, both in-distribution and under length generalization; the same holds under zero-shot transfer to an external benchmark and for a fine-tuned language model. Even an oracle that receives the GT subgoals at inference time, with the same synthesizer and search, fails on tasks that SAD solves, and fewer than 2% of SAD's solutions to these tasks match the GT program. Decomposition quality is therefore not a property of the task: it depends on the synthesizer that executes the subgoals.
장기 수평(long-horizon) 조작은 로보틱스 분야에서 오랫동안 해결되지 않은 과제였습니다. 우리는 ReinforceGen을 제안합니다. 이 시스템은 작업 분해, 데이터 생성, 모방 학습, 동작 계획을 결합하여 초기 솔루션을 구성하고, 강화학습 기반 미세조정(fine-tuning)을 통해 각 구성 요소를 개선합니다. ReinforceGen은 먼저 작업을 여러 개의 지역화된 스킬(skill)로 분할하며, 이 스킬들은 동작 계획(motion planning)을 통해 연결됩니다. 스킬과 동작 계획 목표는 10개의 인간 시연으로 생성된 데이터셋에서 모방 학습으로 훈련된 후, 온라인 적응과 강화학습을 통해 미세조정됩니다. Robosuite 데이터셋에서 벤치마크 평가 시, ReinforceGen은 가장 높은 리셋 범위 설정에서 비주모터(visuomotor) 제어를 사용하는 모든 작업에 대해 80%의 성공률을 달성합니다. 추가적인 어블레이션 연구(ablation study)를 통해 미세조정 방식이 평균 89%의 성능 향상에 기여함을 확인했습니다. 마지막으로, ReinforceGen은 실세계 평가에서도 미세조정을 통한 유의미한 성능 향상을 보여줍니다. 추가 결과 및 영상은 https://reinforcegen.github.io 에서 확인할 수 있습니다.
WebSwarm은 단일 ReAct 에이전트의 컨텍스트 제약과 기존 다중 에이전트 시스템의 재귀적 깊이 한계를 극복하기 위해, 추론 시 작업 분해·재귀 확장·에이전트 협업을 동적으로 구성하는 점진적 재귀 위임 프레임워크를 제안한다. 각 검색 노드가 로컬 목표와 검색 모드를 결합해 자체 해결 또는 하위 노드 위임을 선택하며, BrowseComp-Plus, WideSearch, DeepWideSearch, GISA 벤치마크에서 단일·다중 에이전트 기준 모델을 일관되게 능가함을 실험으로 검증했다.
에이전트 스킬 선택의 의미적 모호성 문제를 해결하기 위해 SkillReranker는 태스크와 스킬을 각각 서브태스크·상태 시퀀스로 구조화 파싱한 뒤, 중간 태스크 상태를 노드, 후보 스킬을 엣지로 삼는 방향성 비순환 실행 그래프를 구성하여 동적으로 스킬 집합을 선정하는 추론 시점 리랭킹 프레임워크다. ALFWorld와 ScienceWorld에서 세 가지 백본 LLM으로 실험한 결과, 기존 스킬 선택 베이스라인 대비 태스크 성능 향상과 함께 환경 상호작용 단계 및 토큰 소비가 감소함을 확인했다.
자연어를 SQL로 변환하는 NL2SQL 태스크에서 GPT-4 같은 대형 독점 모델 의존성을 줄이기 위해, AST 기반 검색으로 검증 가능한 분해(decomposition)를 생성하는 Decomposition Synthesis Procedure와 다단계 추론에 세분화된 선호 최적화를 적용하는 Margin-Aware Reinforcement Learning으로 구성된 LearNAT 프레임워크를 제안한다. Spider·BIRD 벤치마크 실험에서 7B 파라미터 소형 공개 모델로 GPT-4에 준하는 성능을 달성하였다.
High-quality annotations of structured representations are expensive to collect over large corpora. Manual annotation of structure is laborious, and model-based annotation, although cheaper to generate, requires expensive validation and potentially significant supervision to ensure that the annotation quality is strong enough to be useful downstream. In traditional annotation workflows, annotation of each complete example is performed end-to-end by a single annotator. However, structured annotation is complex, and each aspect of the task represents a unique challenge with an associated inferential load for a given annotator. Modern annotation projects can incorporate heterogeneous groups of annotators, including both models and human annotators with varying domain and linguistic expertise. It remains unclear, however, how to redesign annotation tasks in this setting, where efforts are discriminately allocated across heterogeneous annotators with respect to distinct annotation challenges. We propose to decompose annotation tasks into sub-tasks in order to reduce the aggregate inferential load of annotation projects. Inspired by the notion of centers from centering theory, we introduce a formal model of inferential load based on the degrees of freedom in the space of valid annotations. Using this model, we show that identifying these centers (i.e. salient anchor entities realized by annotation sub-tasks) constrains the output space complexity, and decompositions which isolate and advance center identification reduce the aggregate inferential load. We provide guidelines for decomposing complex structured annotation tasks, supported by examples demonstrating improved cost-efficiency from our prior work. Finally, we present a procedure for allocating sub-tasks across annotators to maximize quality under a fixed budget.
LLM 에이전트는 점점 외부 스킬(재사용 가능한 도구 명세)에 의존하고 있지만, 실제 작업은 종종 하나를 선택하는 것이 아니라 여러 스킬을 조합하는 것을 요구한다. 이를 Compositional Skill Routing 문제로 형식화한다. 복잡한 사용자 쿼리와 대규모 스킬 라이브러리가 주어졌을 때, 쿼리를 원자적 하위 작업으로 분해하고, 각 하위 작업에 적합한 스킬을 검색하며, 실행 가능한 계획을 구성한다. SkillWeaver를 제안한다. 이는 LLM 작업 분해기, FAISS 인덱싱을 갖춘 bi-encoder 스킬 검색기, 의존성 인식 방향성 비순환 그래프(DAG) 플래너를 결합한 분해-검색-구성 프레임워크이다. 평가를 위해 CompSkillBench를 도입한다. 이는 공개 MCP 생태계에서 수집한 24개 기능 카테고리에 걸친 2,209개의 실제 MCP 서버 스킬에 대한 300개의 조합적 쿼리로 구성된 벤치마크이다. 실험 결과, 작업 분해 품질이 주요 병목임을 밝힌다. 표준 LLM 분해는 단계 수준에서 34.2%의 카테고리 재현율에 불과하다. 이를 해결하기 위해 Iterative Skill-Aware Decomposition(SAD)를 제안한다. 이는 분해를 이용 가능한 스킬과 반복적으로 정렬하는 검색-증강 피드백 루프이다. SAD는 단일 반복에서 분해 정확도를 51.0%에서 67.7%로 향상시킨다(+32.7%, Wilcoxon p < 10^-6). DA 조건부 분석은 올바른 세분성이 효과적인 검색의 전제 조건임을 확인한다(DA=1일 때 CatR@1이 34%에서 41%로 상승). SkillWeaver는 컨텍스트 윈도우 소비를 99% 이상 줄이며, 전이 실험은 일반화를 확인한다(검색 풀에 대상 카테고리가 없는 경우에도 상대적 DA 이득 +35.6%).