유능한 OS 에이전트를 학습(training)시키기 위해서는 구조화된 사용자 의도, 멀티턴(multi-turn) 작업 위임, 그라운딩된 도구 실행을 동시에 포착하는 데이터가 필요하며, 이는 기존 데이터셋(dataset)에서 찾아볼 수 없는 속성들입니다. 우리는 이러한 격차를 통합적으로 해결하는 3단계 합성 패러다임인 ISE (Intent -> Simulate -> Execute)를 제안합니다. 1단계는 4D 프레임워크(Persona x Domain x Task x Complexity)를 통해 약 50,000개의 구조화된 의도를 구성합니다. 중복 제거 후 이 풀은 43,956개의 고유한 의도를 포함하며, mpnet-base-v2 임베딩(embedding, 코사인 커널, q=1)에서 전체 풀에 대해 61.57의 Vendi Score를 달성했습니다. 2단계는 각 사용자 턴을 실제 실행 결과에 기반(grounding)시키는 역할 고정 사용자 시뮬레이터를 통해 멀티턴(multi-turn) 사용자-에이전트 상호작용을 주도하며, 평균 8.12회의 사용자 턴과 총 68.24회의 대화 턴을 포함하는 23,132개의 완전한 궤적을 생성합니다. 3단계는 모든 도구 호출을 실시간 격리된 OS 워크스페이스 내에서 실행하여, 시뮬레이션된 응답 대신 실제 실패 복구 역학(dynamics)을 생성합니다. ISETrace에 대한 파인튜닝(fine-tuning)은 표준 프로토콜 하에서 Qwen3-8B 모델(model)을 사용한 에이전트 도구 사용 작업에서 ClawEval의 pass@1 점수를 19.3에서 37.7로 향상시켰습니다. 이 결과는 제로샷(zero-shot) GPT-4o와 4배 더 큰 규모의 Qwen3-32B 베이스 모델의 성능을 능가합니다. 2단계에 대한 소거 연구(ablation)는 멀티턴(multi-turn) 시뮬레이션이 성능 향상의 상당 부분을 기여함을 입증합니다. 모든 소스 코드와 데이터셋(dataset)은 https://github.com/Valiere01/ISE-Trace에서 공개됩니다.
대규모 언어 모델(LLM) 에이전트를 위한 최근 벤치마크들은 주로 추론, 계획 수립, 실행 능력 평가에 집중하고 있으며, 또 다른 핵심 구성 요소인 메모리—에이전트가 장기 정보를 기억하고, 업데이트하고, 검색하는 방식을 포함하는—는 벤치마크의 부재로 인해 충분히 평가되지 못하고 있다. 우리는 메모리 메커니즘을 갖춘 에이전트를 메모리 에이전트라 칭한다. 본 논문에서는 기억 과학 및 인지 과학의 고전 이론을 바탕으로, 메모리 에이전트에 필수적인 네 가지 핵심 역량을 식별한다: 정확한 검색(accurate retrieval), 테스트 시간 학습(test-time learning), 장거리 이해(long-range understanding), 선택적 망각(selective forgetting). 기존 벤치마크들은 제한된 컨텍스트 길이에 의존하거나 책 기반 QA와 같은 정적·장문 컨텍스트 환경에 맞춰져 있어, 점진적으로 정보를 축적하는 메모리 에이전트의 대화형 멀티턴 특성을 반영하지 못한다. 또한 네 가지 역량 모두를 다루는 기존 벤치마크는 존재하지 않는다. 우리는 메모리 에이전트를 위해 특별히 설계된 새로운 벤치마크인 MemoryAgentBench를 제안한다. 본 벤치마크는 기존 장문 컨텍스트 데이터셋을 변환하고 새롭게 구성된 데이터셋을 멀티턴 형식으로 통합함으로써, 메모리 에이전트의 점진적 정보 처리 특성을 효과적으로 시뮬레이션한다. 데이터셋을 신중하게 선별하고 정제함으로써, 본 벤치마크는 위에서 제시한 네 가지 핵심 메모리 역량을 포괄적으로 다루며, 메모리 품질을 평가하기 위한 체계적이고 도전적인 테스트베드를 제공한다. 우리는 단순한 컨텍스트 기반 및 검색-증강 생성(RAG) 시스템부터 외부 메모리 모듈과 도구 통합을 갖춘 고급 에이전트에 이르기까지 다양한 메모리 에이전트를 평가한다. 실험 결과, 현재의 방법들은 네 가지 역량 모두를 완전히 습득하지 못하고 있음이 드러나, LLM 에이전트를 위한 포괄적인 메모리 메커니즘에 대한 추가 연구의 필요성을 강조한다.
텍스트 기반 이미지 편집은 확산 모델(diffusion model)과 통합 멀티모달 기반 모델(unified multimodal foundation model)을 통해 빠르게 발전해 왔다. 그러나 기존 방법의 대부분은 단일 턴(single-turn) 설정에 국한되어, 사용자가 일련의 지시를 통해 이미지를 반복적으로 정제하는 보다 현실적인 시나리오인 다중 턴 문맥 내 편집(multi-turn in-context editing)을 간과하고 있다. 이 설정에서 모델은 누적된 세션 수준 제약을 유지하면서 각 새로운 지시를 따라야 하며, 두 가지 밀접히 연관된 실패 모드의 도전에 직면한다: 긴 문맥 희석(long-context dilution)—드문 텍스트 제약이 점점 늘어나는 교차 배치된 이미지-텍스트 이력에서 회복하기 어려워지는 현상—과 상태 오염(state contamination)—이전 편집 실수가 이후 생성 결과를 악화시키는 현상이다. Edit-R2를 소개한다. 이는 통합 멀티모달 모델을 위한 새로운 강화학습 사후 학습 프레임워크이다. Edit-R2는 각 편집 턴 전에 산발적인 과거 제약을 명시적 추론 추적으로 효과적으로 통합하는, 작동 중인 세션 의도(operative session intent)를 재구성한다. 또한 이산 텍스트 공간에서의 의도 재구성 생성과 연속 잠재 공간에서의 flow-matching 이미지 생성을 공동으로 최적화하는 통합 목적 함수를 통해 추론과 생성 모두에 걸친 다중 턴 RL을 가능하게 하며, 궤적 필터링(trajectory filtering) 메커니즘이 상태 오염 하에서 학습을 안정화하기 위해 손상된 rollout을 억제한다. 체계적인 평가를 위해 누적된 세션 제약에 대한 지시 따르기(IF), 콘텐츠 일관성(CC), 전역 인식(GA)에 대한 자동화된 지표를 갖춘 다중 턴 문맥 내 편집 대규모 벤치마크 MICE-Bench를 소개한다. 실험 결과 Edit-R2는 다중 턴 문맥 내 편집을 크게 개선하며, 강력한 베이스라인 대비 경쟁력 있는 성능을 달성한다.
우리는 코딩 에이전트의 지구력, 즉 실패 전까지 처리할 수 있는 연속적인 상호작용 턴(변경 요청)의 수를 측정하는 벤치마크인 StaminaBench를 소개합니다. 널리 사용되는 해결된 작업 비율(fraction-of-tasks-solved) 메트릭과 달리, 이는 세션이 수십 또는 수백 턴에 걸쳐 진행되는 실제 바이브 코딩(vibe-coding) 상황과 부합합니다. StaminaBench에서 에이전트는 REST API 서버를 구현하고, 절차적으로 생성된 후속 변경 요청을 조정 가능한 횟수만큼 수정합니다(실험에서는 100회로 설정하여 최대 6,000줄의 코드베이스 생성). 테스트는 LLM의 개입 없이 완전히 프로그래밍 방식으로 생성되어 재현성과 신뢰성을 보장합니다. 변경 시퀀스는 하드코딩된 샘플러나 LLM 기반 샘플러 중 하나에서 추출되며, 변경 사항이 유효하도록 하기 위해 둘 다 구조화된 행동 공간으로 제한됩니다. 에이전트와 서버는 격리된 환경에서 실행되며 HTTP를 통해 벤치마크와 통신하므로, 테스트는 완전히 블랙박스 방식이며 언어에 독립적입니다. 우리는 7개의 오픈 소스 LLM과 결합된 6개의 에이전트 하네스(harness)를 각각 100턴으로 구성된 20개 시나리오에서 평가했으며 다음과 같은 결과를 발견했습니다: (1) 테스트된 모든 모델은 5~6턴 이내에 실패하여, 철저한 테스트 없는 바이브 코딩 스타일의 프로그래밍이 버그를 유발함을 확인했습니다; (2) 테스트 피드백을 에이전트에게 다시 전달하고 재시도를 허용하면 통과된 턴 수가 최대 12배까지 향상됩니다; 그리고 (3) 우수한 성능을 위해서는 적절한 하네스가 필수적입니다: 더 강력한 모델은 최상의 하네스와 최악의 하네스 간에 최대 6배의 성능 격차를 보이는 반면, 더 약한 모델은 어떤 하네스를 사용하더라도 실패합니다. 우리는 멀티턴 코딩 에이전트의 행동에 대한 추가 연구를 가능하게 하기 위해 벤치마크와 생성된 작업을 공개합니다. 벤치마크 코드 및 데이터: github.com/amazon-science/StaminaBench.