Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.
최근 에이전트(agent) 강화학습(RL) 분야에서는 긴 지평(long-horizon) 과제에서의 신용 할당(credit assignment)을 개선하는 데 집중하고 있습니다. 유망한 방향 중 하나는 검증 가능한 보상을 활용한 강화학습(RLVR)과 온-정책(on-policy) 자기 증류(OPSD)를 결합하여, 궤적 수준(trajectory-level)의 이점(advantage)과 조밀한 토큰 수준의 감독을 통합하는 것입니다. 이러한 일련의 연구는 학생 정책(student policy)이 생성한 토큰을 평가하기 위해 에이전트 스킬과 같은 특권적 문맥(privileged context)에 교사 모델을 조건화하는 경우가 많습니다. 이러한 진전에도 불구하고, 기존 연구들은 에이전트 스킬의 온-정책적 진화와 교사 감독의 신뢰성을 대체로 간과하고 있습니다. 이를 해결하기 위해, 본 논문에서는 학습 과정 전반에 걸쳐 에이전트 스킬과 정책 모델이 함께 공진화(co-evolve)할 수 있도록 하는 자기 진화형 에이전트 강화학습 프레임워크인 재귀적 자기 개선 정책 최적화(RSIPO)를 제안합니다. 구체적으로 RSIPO는 정책 모델 스스로가 완료된 궤적에서 스킬을 추출할 수 있도록 하며, 궤적 리플레이(trajectory replay)를 통해 스킬 생성 역량을 명시적으로 최적화합니다. 또한 스킬로 강화된 교사의 지도가 때로는 신뢰성이 떨어질 수 있다는 점을 고려하여, 경험적 베이즈 축소(empirical Bayes shrinkage)를 적용해 교사 점수에 대한 학생의 신뢰도를 동적으로 보정합니다. 체화된 상호작용(embodied interaction) 및 검색 기반 에이전트 과제에서 Qwen 계열 모델을 사용한 실험 결과, RSIPO가 비교 대상이 된 모든 기준선 접근법을 능가하는 성능을 보였습니다. Qwen2.5-7B를 기본 모델로 사용했을 때 RSIPO는 ALFWorld에서 평균 98.6%의 성공률을 달성하여, 차상위 기준선 및 표준 GRPO 대비 각각 2.5%와 17.4%의 절대적인 성능 향상을 기록했습니다.
온-정책 증류(OPD, On-policy distillation)는 학생 모델이 생성한 궤적에 대해 교사 모델의 지도를 제공하지만, 단일 궤적은 각 결정 시점에서 하나의 연속 생성만을 실현하므로 유한한 샘플링 예산 내에서 지도 범위를 제한합니다. 본 논문에서는 학생 모델의 불확실성과 교사-학생 간 불일치를 활용하여 유익한 결정 지점을 선택하고, 공유된 접두 문맥(prefix)으로부터 학생 정책의 연속 생성을 재샘플링하며, 메인 궤적과 분기 모두에 토큰(token) 수준의 교사 지도를 적용하는 BranchOPD(분기형 온-정책 증류)를 제안합니다. BranchOPD는 수학 분야에서는 토큰 수준 결정에서, 에이전트(agent) 과제에서는 턴 내부 결정에서 동작합니다. 공유된 접두 문맥 재사용은 7개의 독립적인 궤적과 비교했을 때 ALFWorld에서 약 19%, WebShop에서 약 31%만큼 학생이 생성하는 토큰 비용을 절감합니다. 또한 프로토콜 제약 조건 하에서 목표 지향적 지도를 활용하여 반복 및 낭비되는 생성을 완화하는 프로토콜 경계 복구(PBR, protocol-boundary repair)를 도입합니다. BranchOPD는 평가된 모든 벤치마크(benchmark)에서 바닐라 OPD 및 멀티 롤아웃(Multi-Rollout) OPD(n=7)보다 우수한 성능을 보였으며, 16개 샘플링 답변에 대한 평균 수학 정확도(avg@16)에서 18.55%p, 평균 ALFWorld ID/OOD 성공률에서 13.8%p의 성능 향상을 기록했습니다. 메커니즘 분석 및 선택 절제 연구(ablation study)에 따르면, 불확실한 결정 지점에서 분기하는 것이 후속 행동 범위를 확장하며 무작위 선택이나 턴 시작 분기보다 뛰어난 성능을 보임을 확인했습니다.
모방 학습(IL)은 언어 모델 에이전트가 전문가의 행동을 재현하도록 가르치지만, 그 행동을 그럴듯한 실수와 구별하도록 가르치지는 못합니다. 자기 반성(self-reflection) 기법은 대안적 선택지에 모델을 노출시키지만, 고정된 근거(rationale)와 행동을 모방하기 위해 지도 미세조정(SFT)을 사용합니다. 본 논문에서는 검증 가능한 보상을 활용한 강화학습(RLVR)을 통해 모델이 행동을 직접 판단하도록 학습시키는 '에이전트 비판적 학습(ACT)'을 제안합니다. ACT는 전문가 궤적의 각 상태에서 전문가 행동과 초기 정책에서 샘플링된 대안 행동을 짝지어 그 순서를 무작위로 섞습니다. 모델은 자체적인 추론 과정을 생성하지만 전문가 행동을 선택했을 때만 보상을 받습니다. ACT는 시연(demonstration) 데이터를 재사용하고, 참조 근거를 요구하지 않으며, 모델 크기 전반에 걸쳐 쌍(pair)의 재사용을 허용합니다. ACT는 IL 이전의 웜업 단계로 적용되며, 선택적으로 이후에 강화학습을 거칠 수 있고, 추론 시에는 후보군 비교를 요구하지 않습니다. ALFWorld-ID, WebShop, ScienceWorld 전반에서 Qwen3-8B 및 Olmo-3-7B-Instruct를 대상으로 평가한 결과, ACT는 IL 대비 평균 5.85점, ACT를 적용하지 않은 IL$\to$RL 대비 4.12점의 성능 향상을 기록하는 동시에 ALFWorld-OOD 성능도 개선했습니다. ScienceWorld에서 Olmo 모델을 사용했을 때 전체 파이프라인은 CoT 프롬프팅 대비 15.36점, ACT를 적용하지 않은 IL$\to$RL 대비 9.23점 향상되었습니다. ACT$\to$IL과 전체 파이프라인 모두 지도 반성(supervised reflection) 베이스라인을 능가했습니다. 고정된 쌍이나 동일한 학습 시간을 적용한 대조군 실험은 이러한 성능 향상이 추가 데이터나 학습량이 아닌 ACT 목적 함수 자체에서 기인함을 보여줍니다. 추론 특화 사후 학습을 거치지 않고도 독립형 ACT 체크포인트는 MATH-500 및 GPQA-Diamond에서 평가된 모델 중 가장 높은 평균 점수를 달성하여, 행동 비교가 생성을 보완함을 입증합니다.
대규모 언어 모델(LLM) 에이전트는 복잡한 작업에서 놀라운 성과를 보여주었으나, 종종 개별적으로 동작하며 과거의 경험으로부터 학습하지 못합니다. 기존의 메모리 기반 방법들은 주로 원시 궤적(raw trajectory)을 저장하는데, 이는 종종 중복되고 노이즈가 많습니다. 이는 에이전트가 일반화에 필수적인 고수준의 재사용 가능한 행동 패턴을 추출하는 것을 방해합니다. 본 논문에서는 자동 스킬 발견과 재귀적 진화를 통해 원시 경험과 정책 개선 사이의 간극을 좁히는 프레임워크인 SkillRL을 제안합니다. 우리의 접근 방식은 경험 기반 증류 메커니즘을 도입하여 계층적 스킬 라이브러리인 SkillBank를 구축하고, 일반 및 작업별 휴리스틱을 위한 적응형 검색 전략과 강화학습(RL) 과정에서 스킬 라이브러리가 에이전트의 정책과 함께 공진화(co-evolve)할 수 있도록 하는 재귀적 진화 메커니즘을 제공합니다. 이러한 혁신은 토큰 사용량을 크게 줄이면서 추론 유용성을 향상시킵니다. ALFWorld, WebShop 및 7개의 검색 증강 작업에 대한 실험 결과는 SkillRL이 최고 성능(SOTA)을 달성하여 강력한 베이스라인을 15.3% 이상 능가하고 작업 복잡성이 증가함에도 견고성을 유지함을 보여줍니다. 코드는 https://github.com/aiming-lab/SkillRL 에서 확인할 수 있습니다.
대규모 언어 모델(LLM) 에이전트는 모델과 환경 간에 정보를 전달하고 실행 오류로부터 복구하기 위해 외부 하네스(harness)에 의존합니다. 그러나 복구는 대개 평균 작업 성공률로만 평가됩니다. 이는 중요한 상충 관계(tension)를 가립니다. 동일한 작업이 실패하는 궤적을 구제할 수도 있지만, 그렇지 않았으면 성공했을 궤적을 방해할 수도 있습니다. 본 연구에서는 복구를 인과적 의사결정 문제로 정형화합니다. 동일한 실행 상태에서 출발하여 복구가 있을 때와 없을 때 일어나는 결과를 비교하고, 구제와 피해를 분리하며, 복구의 가치가 시간에 따라 어떻게 변하는지 연구합니다. 그런 다음 복구 이전에 가용한 정보를 활용하여 개입이 가치 있는 시점을 결정하는 경량 정책인 인과적 개입 라우터(CIR, Causal Intervention Router)를 소개합니다. Qwen3-14B를 사용한 긴 호라이즌(long-horizon) ALFWorld 작업에서 CIR은 성공률을 70.33%에서 73.33%로 3.00%p 향상시킵니다. 또한 올바른 관측을 가진 평가된 모든 궤적은 변경하지 않고 그대로 유지합니다. 추가적인 대조 실험은 복구의 이점이 단순히 환경이 반환한 새로운 관측만으로는 설명될 수 없음을 보여줍니다. 이러한 결과는 복구를 평가하고 이를 선택적으로 적용하기 위한 실용적인 방법을 제공합니다.
사람의 수정이 틀렸을 가능성이 있을 때 체화된 에이전트(embodied agent)는 어떻게 대응해야 하는가? 본 연구에서는 근거 기반 수정 중재(grounded correction arbitration)를 수락, 거부, 환경 조사, 그리고 화자에게 재질문하는 것 사이의 선택으로 공식화한다. GAVA는 관측 범위 제한 증거, 유효 탐침(legal probes), 1단계 기대 손실(one-step expected-loss) 규칙을 통해 이러한 인터페이스를 구현한다. 텍스트 전용 ALFWorld에서 162개 체크포인트를 통해 참과 거짓이 쌍을 이루는 972개의 개입이 생성된다. 완전한 국소 조사를 수행할 경우 GAVA와 상시 검증(always verify) 방식 모두 100%의 수정 정확도를 달성하여, 비교 우위보다는 증거 계약(evidence contract)을 확립함을 보여준다. 동일 에피소드 실행에서 GAVA는 상시 검증 방식 대비 상호작용 비용을 절감하지만, 완벽한 화자 조건에서는 비용 임계값과 대등한 수준을 보인다. 학습(training) 전용 탐색적 객체 위치 사전확률(prior)은 균등(uniform) GAVA 대비 340개의 미확인 시나리오에서 상호작용 및 선언된 결합 비용을 각각 0.490과 0.420 낮춘다. 정책, 비용, 베이스라인, 다중성 계획을 동결(freezing)한 후, 308개 시나리오를 다루는 중복되지 않는 77개의 기학습 체크포인트에서도 이득이 재현되어 각각 0.595와 0.517을 기록했으며, 두 95% 체크포인트-부트스트랩 신뢰구간 모두 0을 배제한다. 또한 결합 비용은 동일 사전확률 고정 정책 대비 향상되는 반면, 일치 보정된 무정보가치(calibrated no-VOI) 비교는 결론을 내리지 못한 채로 유지된다. 시맨틱 GAVA는 각 집단에서 4건의 사실적 오류를 범하여 98.8% 및 98.7%의 정확도에 해당하며, 모든 방법이 모든 과제를 완수한다. 결과는 선언된 비용 하에서 의미론적 사전확률을 활용한 선택적 정보 수집을 뒷받침하지만, 명확화 질의 대비 환경적 정보 가치(value of information)의 일반적인 우위를 입증하지는 않는다. 본 연구는 정규화된 주장, 완전한 기호적 관측, 통제된 화자를 사용하며, 인간 참가자, 시각적 입력, 물리적 로봇은 평가하지 않는다.
스킬 라이브러리는 대규모 언어 모델(LLM) 에이전트가 여러 작업에 걸쳐 절차적 경험을 재사용할 수 있는 실용적인 방법이 되었습니다. 그러나 기존 시스템은 일반적으로 스킬을 평면적이고 단일 해상도의 프롬프트 블록으로 취급합니다. 이는 관련성과 비용 간의 긴장을 유발합니다. 즉, 조잡한(coarse) 스킬을 주입하면 관련이 없거나 오해의 소지가 있는 컨텍스트가 유입될 수 있는 반면, 스킬 전체를 다시 작성하는 것은 비용이 많이 들고 불필요한 경우가 많습니다. 본 논문에서는 스킬을 정책, 전략, 절차 및 기본 단위(primitives)로 구성된 4개 층의 그래프로 구성하고 이를 혼합 단위로 검색하는 계층적 스킬 진화 프레임워크인 SkillLens를 제안합니다. 작업이 주어지면 SkillLens는 먼저 의미론적으로 관련된 스킬 시드를 검색하고, 스킬 그래프에 대한 차수 교정 무작위 보행(degree-corrected random walk)을 통해 이를 확장한 다음, 검증기(verifier)를 사용하여 방문한 각 단위를 수락, 분해, 재작성 또는 건너뛸지 여부를 결정합니다. 이를 통해 에이전트는 호환 가능한 하위 스킬을 직접 재사용하면서 국소적으로 불일치하는 구성 요소만 적응시킬 수 있습니다. 시스템을 지속적으로 개선하기 위해 SkillLens는 라우팅 결정을 향상시키고자 다중 단위 스킬과 검증기를 추가로 개선합니다. 본 연구는 혼합 단위 적응이 희소 불일치 가정 하에서 준선형 비용을 발생시키며, 진화적 업데이트 규칙이 국소 최적점에 도달할 때까지 검증 목표를 단조적으로 향상시킴을 보여주는 이론적 분석을 제공합니다. MuLocbench 및 ALFWorld 전반에서 SkillLens는 강력한 스킬 기반 베이스라인 대비 일관된 개선을 보였으며, 버그 위치 특정(bug localization)에서 최대 6.31%p의 Acc@1 향상을 달성하고 에이전트 성공률을 45.00%에서 51.31%로 높였습니다.
LLM 다중 에이전트 시스템은 종종 자연어 대화나 느슨하게 구조화된 공유 메모리로 조율되어, 중간 상태를 검증·귀속·감사하기 어렵다. 본 논문은 PatchBoard를 제안한다. 이는 에이전트 간 대화를 공유 구조화 상태에 대한 검증된 JSON Patch 변경으로 대체하는 스키마 기반 협업 아키텍처이다. Architect 에이전트가 작업별 스키마와 워크플로 규칙을 구성하고, 결정론적 커널이 각 제안된 상태 변경을 스키마 제약, 역할별 쓰기 계약, 런타임 불변식에 대해 검증한 뒤 트랜잭션적으로 커밋한다. 630개의 매칭된 ALFWorld 에피소드에서 PatchBoard는 성공률 84.6%를 기록했으며, LangGraph 30.8%, Flock 61.6%에 비해 성공 작업당 토큰 수를 각각 368.3k, 64.2k 대비 45.5k로 줄였다.
에이전트형 메모리 시스템은 과거 경험을 재사용하여 이후 성능을 개선하지만, 기존 설계의 대부분은 쓰기 시점에 메모리를 큐레이션한다. 한 과제가 완료되면 그 실행 궤적은 반성, 워크플로, 스킬, 또는 추론 전략과 같은 고정된 산출물로 증류되어, 이후 유사도에 따라 검색된다. 이는 미래 질의가 알려지기 전에 무엇을 기억할 가치가 있는지 시스템이 결정하게 강제하며, 정보를 되돌릴 수 없이 버리고, 다양한 가능한 하위 과제를 모두 수용해야 하는 질의 독립적 요약을 만든다. 이러한 쓰기 시점 큐레이터를 학습하는 것 또한 어렵다. 저장 결정의 가치는 관련 질의가 도착했을 때, 잠재적으로 많은 과제 이후에야 드러날 수 있어 장기 지평 신용 할당(credit assignment) 문제를 야기하기 때문이다. 우리는 대신 원시 궤적을 보존하고, 현재 과제가 알려진 읽기 시점까지 큐레이션을 연기한다. 검색된 trace와 새 과제가 주어지면, 메모리 큐레이터가 즉각적 필요에 맞춘 간결하고 과제 적응형 페이로드를 합성한다. 이 페이로드는 동일 과제에서 소비되므로, 큐레이터는 지연된 유틸리티 신호 없이 즉각적인 과제 성공으로부터 직접 학습할 수 있으며, 관련 과제를 인위적으로 묶을 필요도 없다. ALFWorld, WebShop, $\tau^2$-bench에서 우리의 Just-in-Time Memory(JitMem)는 메모리 없는 에이전트뿐 아니라 휴리스틱 및 학습된 쓰기 시점 메모리 방법보다 일관되게 우수하며, 각각 가장 강한 기준선 대비 절대 성공률 16.2, 16.3, 3.9%p를 개선한다. 특히, 학습되지 않은 큐레이터만으로도 이미 이러한 기준선과 견줄 만하거나 이를 넘어서며, 과제 적응형 읽기 시점 큐레이션 자체가 이득의 주요 원천임을 보여준다. 큐레이터를 추가로 학습하면 개선이 더 누적된다.
그룹 기반 정책 최적화는 그룹 내 궤적(trajectory) 또는 스텝(step)을 비교하여 희소한 결과 보상(sparse outcome reward)으로부터 대규모 언어 모델(LLM) 에이전트를 학습하는 데 점점 더 널리 사용되고 있다. 그러나 어려운 장기 호라이즌 과제에서는 이러한 비교가 샘플링 불균형(sampling imbalance)에 시달릴 수 있다. 반복되거나 효과가 낮은 행동(action)이 정책(policy)의 고확률 영역을 지배하는 반면, 유용한 상태 변화(state-changing) 행동은 과소 샘플링(under-sampled)된 채로 남는다. 이 불균형은 많은 전부 실패(all-failed) 롤아웃 그룹을 만들어내며, 이때 결과 보상은 정책을 수정하는 방향을 제공하지 못한다. 이러한 효과들이 함께 작용하면 자기 강화(self-reinforcing) 크레딧 함정(credit trap)을 형성할 수 있다. 실패가 지배하는 샘플링은 결과 기반 수정을 낳지 않아, 반복되는 저효과 행동이 지속되도록 한다. 이 순환을 끊기 위해, 우리는 진행 상태 조건 그룹 정책 최적화(Progress-conditioned Group Policy Optimization, ProGPO)를 제안한다. ProGPO는 그룹 내 모든 샘플이 결과 보상 0을 받을 때에만 첫 방문 관측(observation) 커버리지(first-visit observation coverage)를 사용한다. 구체적으로, 이러한 그룹 내에서 ProGPO는 더 많은 새로운 상태(state)를 방문하는 궤적 또는 스텝에 더 높은 상대적 advantage를 부여한다. 새로운 관측에 도달하는 것은 과제 성공의 전제 조건이기 때문이다. Qwen2.5-1.5/7B-Instruct를 사용한 ALFWorld 및 WebShop이라는 두 가지 도전적인 에이전트 벤치마크(benchmark)에서의 실험은 ProGPO가 그룹 기반 베이스라인(baseline) 대비 일관되게 개선됨을 보여주며, 특히 어려운 과제에서 큰 향상을 보인다.
희소 보상(sparse reward)의 장기 지평(long-horizon) LLM 에이전트에 대해 단계별 밀집(dense) 감독은 매력적인 해결책이다. 에이전트가 다음 관측을 예측하도록 보상하면 기억(memory)이 따라올 것이라는 것이다. 우리는 그룹 정규화(group-normalized) 강화학습(RL), 즉 GRPO 하에서 이 방법이 단순히 실패하는 것을 넘어 정책(policy)을 파괴한다는 것을 보인다. ALFWorld에서 Qwen3-1.7B/4B/8B 전반에 걸쳐, 잠재 기반(potential-based) 예측 보상은 모든 실행을 퇴화된 흡수 상태(degenerate absorbing state)로 몰아넣는다(예측 정확도 → 1.0, 과제 성공률 → 0, 에피소드 길이가 지평(horizon)에 고정): 옵티마이저가 자동으로 구축한 "어두운 방(dark room)" 병리(pathology)이다. 단일 요인 절제(ablation) 실험이 원인을 특정한다. GRPO의 표준편차(std) 정규화만 제거하면 동일한 보상이 재앙적(0%)에서 기준선과 동등한 수준으로 바뀐다. 두 줄의 명제(proposition)가 그 이유를 설명한다. 전부 실패(all-fail) 그룹에서 z-점수화(z-scored) 이점(advantage)은 보상 형성(shaping) 계수에 불변(invariant)하므로, 유계(bounded) 보상이 무계(unbounded) 압력이 되고 어닐링(annealing)도 도움이 되지 않는다. 우리의 핵심 통찰은 이를 일반화한다. z-점수화가 증폭하는 것은 밀집 신호의 그룹 내 분산이며 전부 실패 그룹이 지배적이므로, 숙련(mastery)에 따라 분산이 감소하는 신호는 구조적으로 증폭기-안전(amplifier-safe)하다. 이 분산 프로필(variance-profile) 기준은 우리의 붕괴를 사후 예측(retrodict)하고, 아직 실행되지 않은 실험 arm에 대한 사전 등록(preregistered) 예측을 담으며, 게재된 보상 채널 성공 사례와 일치한다(독립적 검증이 아닌 호환성 점검). 마지막으로, 통제된 신호 전달(signal-delivery) 행렬(동일한 신호, 소비(consumption) 메커니즘만 변화)은 보상 채널이 기껏해야 중립적이고 보조 손실(auxiliary-loss) 채널이 ~20점을 얻는다는 것을 보여준다. 셔플된 정답(shuffled-gold) 위약(placebo)이 정답(true-gold) arm과 일치하므로, 정답 레이블 없이도 격차는 유지된다. 최종 측정값(endpoint)은 단일 시드(single-seed)이며, 시드 복제(seed replication)와 그룹 크기(group-size) 통제는 사전 등록되어 진행 중이다.
DuoMem은 대형 교사 모델의 절차적 메모리 능력을 소형 학생 모델로 전이하기 위해 컨텍스트 공간 증류(교사 생성 메모리를 학생 입력에 직접 제공)와 매개변수 공간 증류(LoRA 파인튜닝)를 결합한 이중 공간 지식 증류 프레임워크다. ALFWorld 벤치마크에서 4B 모델의 과제 성공률을 4.3%에서 77.9%로 끌어올리며 72B 교사 모델(87.1%)과의 격차를 대부분 좁혔고, 72B 모델 대비 3배 이상 빠른 추론 속도로 엣지 디바이스 배포에 적합한 성능을 달성했다.
When does retention matter for memory-augmented LLM agents? We study this with TraceRetain, a lightweight framework for bounded external memory in frozen LLM agents that scores entries by interpretable features (success, age, access frequency, redundancy, specificity, similarity, downstream utility) and evicts the lowest-scoring ones at capacity. On clean ALFWorld with gpt-5-mini, external memory robustly improves over no memory across two seeds, but differences among bounded retention policies fall within Wilson 95% CIs: clean ALFWorld at T=100 to T=200 does not naturally exhibit the memory pollution retention is designed to address. Under a controlled noisy-write stress (75% synthetic distractors), unbounded memory and FIFO-K50 degrade on Precision@5 (20.2% to 12.4% and 15.8% to 3.8%) while TraceRetain-CEM is essentially unchanged (16.9% to 16.6%) and preserves 97/100 task success. The mechanism: unbounded memory has the highest mean similarity (0.87) but lowest precision, indicating failed distractors close to the query in embedding space. Held-out in-distribution evaluation shows memory-augmented policies solving 47 to 49 of 50 tasks vs. 39/50 for no memory. Bounded retention buys memory and step efficiency on saturated clean benchmarks at no task-success cost, and only differentiates from cache heuristics when streams contain noise.
다단계 상호작용 환경에서 LLM 에이전트가 축적 경험을 외부 자연어 규칙과 파라미터 학습으로 나누면 규칙과 진화하는 정책이 어긋나거나 희소 보상에서 국소 실수 교정이 제한된다. JERP는 동일한 상호작용 궤적으로 장기 경험 규칙 풀과 정책을 함께 갱신하고, AlfWorld와 WebShop에서 복잡한 상호작용 과제의 의사결정 성능을 일관되게 높였다.
유사 작업을 매번 처음부터 푸는 에이전트의 불필요한 추론과 긴 실행 트레이스를 줄이기 위해 SkillDisCo는 FSM 정의 시나리오에서 성공 트레이스로부터 재사용 가능한 PFSM 서브그래프를 증류하고 호출·실행·검증 가능한 절차적 스킬로 컴파일하는 프레임워크를 제안한다. ALFWorld와 WebArena 실험에서 벤치마크와 모델 규모 전반에 걸쳐 성공률을 높이고 에이전트 턴 수를 줄였다.
도구 통합 대규모 언어 모델(LLM) 에이전트의 harness(도구 노출·설명·단계별 관찰 정보를 결정하는 래퍼)와 사후학습(post-training) 상호작용을 ALFWorld 확장 벤치마크에서 분석했으며, harness를 반영한 사후학습이 분포 내 성능뿐 아니라 작업·도구 환경 변화에 대한 분포 외(OOD) 적응까지 개선함을 보였다. 설계 노력이 적은 harness에서는 강한 도구 환경 변화 시 사후학습 성능이 급격히 떨어져, harness-aware 사후학습의 필요성이 드러났다.
외부 스킬은 모델 가중치를 변경하지 않고도 행동 지향 LLM 에이전트를 개선할 수 있지만, 희소하거나 노이즈가 많은 궤적(trajectory)에서 지식 증류(distillation)된 경우 지속적인 스킬 업데이트는 위험할 수 있다. 그럴듯한 반성(reflection)은 유용한 절차, 허위의 지름길, 또는 대상 실행자(executor)가 신뢰성 있게 따를 수 없는 규칙을 인코딩할 수 있다. 우리는 가설 기반 스킬 최적화(Hypothesis-Driven Skill Optimization, HDSO)를 제안한다. HDSO는 스킬 큐레이터(skill curator)와 에이전트 실행자 모두가 고정된 추론 엔드포인트인 학습 없는(train-free) 프레임워크이다. 큐레이터는 실행자 추적(trace)을 관찰하고, 명시적인 검증 계획과 함께 반증 가능한 가설을 제안하며, 가설을 후보 스킬 패키지로 구체화하고, 대조/처치(control/treatment) 실행 쌍을 통해 패키지를 검증하며, 행동 차이를 검토하고, 뒷받침된 후보만 승인된 저장소에 통합한다. 실행자는 점진적 공개(progressive disclosure)를 통해 승인된 스킬을 사용하며, 스킬이 선택되지 않은 경우 실행자 전용 경로를 유지한다. ALFWorld에서 HDSO는 Qwen3-8B에 대해 실행자 전용 기준선(baseline) 대비 평균 SR(Avg. SR) +6.9 포인트, Qwen3.6-27B에 대해 +4.0 포인트를 개선한다. 스킬 발견 및 검증 중 20%의 성공/실패 피드백이 무작위로 뒤집힌 조건에서도, HDSO는 Qwen3-8B에 대해 +7.1 포인트 이득을 유지한다. 전이(transfer) 및 이질적 쌍(heterogeneous-pair) 진단은 검증된 저장소가 이를 생성한 실행을 넘어 유용할 수 있음을 추가로 보여 주지만, 교차 모델(cross-model) 큐레이션은 큐레이터 진단, 실행자 역량, 검증 증거가 일치할 때만 성공한다. HDSO는 제약 없는 메모리 누적 절차가 아니라, 고정된 행동 에이전트를 위한 감사 가능한(auditable) 스킬 수명 주기를 제공한다.
온-정책 증류(OPD)는 학생 모델을 자신의 정책에 의해 생성된 궤적에서 학습시킴으로써 개선하며, 이는 에이전트 학습에서 노출 바이어스를 완화하는 유망한 접근 방식입니다. 그러나 대부분의 OPD 연구는 단일 턴 설정에 초점을 맞추고 있지만, 현실적인 대규모 언어 모델(LLM) 에이전트는 여러 턴에 걸쳐 환경과 상호작용합니다. 이러한 설정에서 초기 오류는 미래 관측을 변경하고 궤적 전체에 걸쳐 누적될 수 있으며, 표준 조밀 토큰 수준 OPD는 의미적으로 유효한 대안에 과도하게 페널티를 부여하거나, 반복되는 행동과 같은 국소적 퇴화를 강화하고, 분포 밖 이력에 대해 신뢰할 수 없는 교사 감독을 전파할 수 있어 취약해질 수 있습니다. 우리는 멀티-턴 OPD에 특별히 설계된 검증기 없는 선택적 개입 프레임워크인 SAGE-OPD를 제안합니다. 모든 턴에 걸쳐 교사 감독을 균일하게 적용하는 대신, SAGE-OPD는 먼저 환경 피드백을 관찰하고 교사 판단을 사용하여 각 학생 응답을 건너뛸지 아니면 개입할지 결정합니다. 누적 오류를 추가로 해결하기 위해, SAGE-OPD는 교사 신뢰도에 따라 토큰 수준 증류에 가중치를 부여하여 손상되었거나 모호한 이력에 대한 불확실한 교사 분포의 영향을 줄입니다. 마지막으로, SAGE-OPD는 선택적 턴 수준 가중치를 유지하면서 표준 OPD의 전체 손실 규모를 보존하기 위해 손실 정규화를 적용합니다. 에이전트 작업에 대한 실험에서 SAGE-OPD는 기준선(baselines)보다 일관되게 개선되었으며, 표준 OPD 대비 ALFWorld 보이지 않는(unseen) 성공률에서 최대 13.3%의 상대적 향상을 달성했습니다. 제거 연구(ablation studies)는 턴 수준 개입, 교사 신뢰도 가중치, 그리고 손실 정규화가 상호 보완적인 이점을 제공함을 추가로 보여줍니다. 우리의 결과는 효과적인 멀티-턴 OPD는 온-정책을 유지해야 하지만, 교사 감독은 개입이 필요하고 신뢰할 수 있는 턴에 선택적으로 할당되어야 함을 시사합니다.