대규모 언어 모델(LLM) 에이전트는 상태가 유지되는 환경에서 동작하므로, 한 번의 잘못된 단계만으로도 제한된 상호작용 예산을 낭비하거나 작업 실패가 명확해지기 전에 되돌릴 수 없는 결과를 초래할 수 있습니다. 따라서 안정적인 배포를 위해서는 실행 전에 제안된 행동이 작업을 진전시킬 확률을 추정하는 단계별 신뢰도 추정이 필수적입니다. 기존의 LLM 신뢰도 추정기는 일반적으로 고정된 작업 문맥 및 평가 기준 하의 정적 질의응답을 위해 설계되었습니다. 그러나 에이전트의 경우, 행동 생산성은 실행 후에만 관찰되는 환경 전이에 의존합니다. 이러한 문제를 해결하기 위해, 완료된 궤적(trajectory)의 피드백을 향후 신뢰도 판단을 위한 재사용 가능한 증거로 변환하는 학습이 필요 없는(training-free) 프레임워크인 Critic Experience Bank(CEB)를 소개합니다. 각 궤적이 끝난 후, LLM은 개별 행동에 사후 생산성 의사 레이블(pseudo-label)을 할당하고 이를 크리틱(critic)의 원래 실행 전 신뢰도, 작업 문맥, 행동 및 관찰된 피드백과 함께 저장합니다. 새로운 행동에 대해 CEB는 관련된 생산적 및 비생산적 경험을 검색하여, 고정된 LLM 크리틱을 조건화하기 위해 완료된 궤적의 피드백에 실행 전 신뢰도를 그라운딩합니다. 이를 통해 CEB는 배포 시 매개변수 업데이트나 정답 단계 레이블 없이도 작업 스트림에 적응합니다. 오프라인 및 실시간 웹 내비게이션, 모바일 GUI 및 셸 작업을 아우르는 4개의 에이전트 벤치마크와 3개의 크리틱 백본에 걸쳐, CEB는 규칙 기반 단계 레이블 조건의 12개 벤치마크-백본 설정 전체에서 최저 또는 공동 최저 ECE, Brier 점수 및 최고 AUC를 달성하여 가장 강력한 학습 무관 기준선(baseline) 대비 ECE를 최대 53.8% 줄였습니다. 또한 신뢰도 점수는 선택적 실행 및 시뮬레이션된 작업 성공에서 다운스트림 효용성을 개선합니다.
자기 진화(self-evolving) 프레임워크는 일반적으로 주변 하네스(harness)를 고정된 것으로 취급하면서 태스크 솔루션을 최적화한다. 우리는 단일 모델이 멀티턴 행동 공간에서 태스크 솔루션을 생성하거나 선택된 하네스 구성요소를 편집할 수 있는 에이전틱 강화학습(agentic reinforcement learning) 프레임워크인 하네스 인식 자기 진화(HASE)를 소개한다. HASE는 단일 Qwen3-8B 모델이 Claude Code를 하네스 제안자로 사용하는 GPT-OSS-120B 모델의 텍스트 분류 성능에 필적하도록 한다. 알파 팩터 마이닝에서 HASE는 보고된 GPT-OSS-120B 기준선을 능가한다. HASE는 또한 불완전한 평가 구성요소를 수정하고 원 패킹 알고리즘 발견에서 최고 수준의 성능으로 수렴한다. 이러한 결과는 HASE가 하나의 통합된 에이전틱 프로세스를 통해 하네스와 솔루션을 모두 개선함을 보여준다.
대규모 언어 모델 기반 에이전트는 다중 라운드 반성(multi-round reflection)을 통해 단일 태스크 내 실패를 복구할 수 있지만, 각 태스크는 독립적인 에피소드로 남아 있다: 한 태스크에서 여러 반성 라운드를 통해 얻은 교훈은 다음 태스크가 시작되기 전에 사라진다. 우리는 코드 생성 태스크에서 이 격차를 연구한다. 에이전트는 과학 논문의 한 섹션으로부터 오픈소스 Manim 라이브러리를 이용하여 Python 코드를 작성하고 수학적 애니메이션을 렌더링한다. 우리는 ManimAgent를 제안한다. 이는 자기 진화형 멀티모달 에이전트로, 가중치 업데이트나 인간 시드 없이 자체 태스크 스트림으로부터 완전히 성장하는 이중 채널 에피소딕 메모리 뱅크(Episodic Memory Bank)를 통해 태스크 간 반성 경험을 이어간다. 각 애니메이션이 수렴한 후, 비전-언어 모델이 렌더링된 키프레임을 채점하며, 결과 신호는 성공 근거를 소프트 참조 예시(Reference Examples)로 저장하는 긍정 채널 M+와, 검증된 실패 패턴을 하드 기지 함정(Known Pitfalls)으로 저장하는 부정 채널 M-를 채운다. 메모리 없음, 동일 예산의 검색-증강 생성(RAG), 셔플된 메모리 기준선에 대한 고정 프로브 평가에서, 블라인드 인간 평가자의 Pass@1은 상승하고 반성 라운드 수는 메모리 크기가 증가함에 따라 감소한다. 코드, 고정된 메모리 스냅샷, 태스크 스트림을 공개할 예정이다.
고품질 학습 데이터는 대규모 언어 모델(LLM)에 필수적이며, 일반적으로 광범위하고 비용이 많이 드는 수동 큐레이션을 필요로 한다. 기존의 자동 데이터 준비 방법들은 사전에 정의된 파이프라인이나 사용자 지정 인간 지시에 의존하기 때문에, 다양한 데이터 분포에 대한 적응성이 제한되고 고품질 예시로부터의 원칙적인 지침이 부재하다. 본 논문에서는 원시 데이터를 고품질 데이터로 변환하는 파이프라인을 자동으로 구성하는 최초의 자기 진화(self-evolving) 데이터 준비 시스템인 DataEvolver를 소개한다. DataEvolver는 파이프라인의 실행 가능성과 효과성을 모두 보장하기 위해 다단계 메커니즘을 채택한다. 연산자 수준에서는 의존성 충돌을 해결하면서 논리적 계획을 구성하기 위해 연산자 집합을 점진적으로 확장한다. 파이프라인 수준에서는 논리적 계획을 실행 가능한 코드로 인스턴스화하고, 준비된 데이터와 고품질 예시 간의 분포 격차를 줄이는 피드백 루프를 통해 파이프라인 오케스트레이션을 반복적으로 개선한다. 7개의 벤치마크에 대한 실험 결과, DataEvolver는 데이터 품질을 크게 향상시키고 원본 데이터로 학습한 경우 대비 다운스트림 LLM 성능에서 평균 10% 향상을 달성하였으며, 이는 LLM과 데이터의 반복적 공진화(co-evolution)에 대한 새로운 가능성을 제시한다.