한국어 초록
현재의 에이전트 로봇 시스템은 실행 가능한 Code-as-Policy 프로그램을 작성하고, 피드백을 관찰하며, 여러 시도에 걸쳐 행동을 수정할 수 있지만 여전히 대부분 과업 중심입니다: 재사용 가능한 스킬은 명시적인 지시 후에만 획득됩니다. 본 연구는 유희적 에이전트 로봇 학습(Playful Agentic Robot Learning)을 다룹니다. 여기서 구체화된 코딩 에이전트는 다운스트림 과업이 도착하기 전에 자기 주도적 놀이를 지속적인 스킬 학습 단계로 활용합니다. 놀이 시간 스킬 획득을 위해 설계된 로봇 에이전트 팀인 RATs를 소개합니다. 놀이 동안 RATs는 새롭지만 학습 가능한 탐색적 과업을 제안하고, 로봇 코드 정책을 계획 및 실행하며, 중간 진행 상황을 검증하고, 실패를 진단합니다. 또한 밀집된 단계별 피드백을 통해 재시도하고, 성공한 실행을 지속 가능한 코드 스킬 라이브러리로 증류합니다. 테스트 시간에 에이전트는 새로운 과업 해결을 돕기 위해 이 동결된 라이브러리에서 관련 스킬을 재사용합니다. LIBERO-PRO와 MolmoSpaces에서의 실험 결과, 놀이를 통해 학습된 스킬은 놀이 없음(no-play) 및 무작위 놀이(random-play) 기준선보다 홀드아웃 다운스트림 과업의 성능을 향상시키는 것으로 나타났습니다. LIBERO-PRO와 MolmoSpaces에서 각각 CaP-Agent0 대비 20.6 및 17.0 퍼센트포인트의 향상을 보였습니다. 더욱이, 학습된 스킬은 컨텍스트에 단순히 검색하여 다른 추론 시간 Code-as-Policy 에이전트에 연결할 수 있으며, 기본 모델의 파인튜닝 없이도 RoboSuite 및 실세계 전이 성능을 각각 8.9 및 8.8 포인트 향상시켰습니다.
원문 초록
Current agentic robot systems can write executable Code-as-Policy programs, observe feedback, and revise behavior across multiple attempts, but they remain largely task-driven: reusable skills are acquired only after explicit instructions. We study Playful Agentic Robot Learning, where an embodied coding agent uses self-directed play as a continual skill-learning stage before downstream tasks arrive. We introduce RATs, Robotics Agent Teams designed for play-time skill acquisition. During play, RATs proposes novel yet learnable exploratory tasks, plans and executes robot-code policies, verifies intermediate progress, diagnoses failures, retries with dense, step-level feedback, and distills successful executions into a persistent code skill library. At test time, the agent reuses relevant skills from this frozen library to help solve new tasks. Experiments in LIBERO-PRO and MolmoSpaces show that play-learned skills improve held-out downstream tasks over no-play and random-play baselines, with 20.6 and 17.0 percentage-point gains over CaP-Agent0 on LIBERO-PRO and MolmoSpaces, respectively. Moreover, the learned skills can be plugged into other inference-time Code-as-Policy agents by simply retrieving them into the context, improving RoboSuite and real-world transfer by 8.9 and 8.8 points, respectively, without finetuning the underlying model.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19419v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery
MemTrace: 장기 코딩 에이전트를 위한 상태 일관적 메모리
MemTrace: State-Consistent Memory for Long-Horizon Coding Agents
코딩 에이전트(agent)가 여러 파일과 단계에 걸친 장기 소프트웨어 발전 작업을 수행함에 따라, 길어진 실행 궤적은 두 가지 연계된 문제를 야기합니다. (1) 누적된 이력으로 인해 컨텍스트 예산에 부담이 가중되고, (2) 저장소의 변경 사항으로 인해 이전 실행 근거의 유효성이 상실될 수 있습니다. 기존 접근 방식은 더 큰 컨텍스트 윈도우(context window), 압축, 검색 또는 저장소 표현과 같은 기법을 통해 이러한 문제를 해결하지만, 컨텍스트 갱신 후 일관된 작업 상태를 재구성하지 못하거나 회상된 근거가 여전히 유효한지 검증하지 못하는 경우가 많습니다. 이에 따라 본 논문에서는 실행 이력을 보존하고 변화하는 작업(예: 반복적인 파일 간 수정) 및 저장소 상태와 이력의 재사용을 정렬하는 출처 인식 메모리 시스템인 MemTrace를 제안합니다. MemTrace는 이력을 주요 정보(예: 파일, 심볼, 테스트)에 고정된 불변의 Memory Trace로 저장하며, 이들의 실행 순서와 의존성을 Memory Trace Graph로 구조화합니다. 컨텍스트가 제한될 때 작업 메모리는 컴팩트한 Memory Anchor만 유지하며, 에이전트는 이를 통해 최신 실행 상태를 재구성하고 다음 행동과 관련된 근거를 찾을 수 있습니다. 과거 근거를 복원하기 전에 MemTrace는 현재 저장소 상태에 대해 유효성을 검사하고 다음 행동에 필요한 정보만을 검색합니다. 세 가지 상호보완적인 장기 코딩 벤치마크(benchmark) 전반에서, MemTrace는 동일한 백본 및 하네스 조건 하에 완전히 평가된 모든 베이스라인을 일관되게 능가하여 Codex CLI 환경에서 DeepSWE pass@1을 21.2포인트, SWE-EVO 해결률(Resolved Rate)을 4.4포인트, SWE-Milestone 점수를 17.8포인트 향상시켰습니다.
컨텍스트와 메모리의 분리: 토큰 효율적인 테스트 시간 지속 학습을 위한 구조화된 메모리
Decoupling Memory from Context: Structured Memory for Token-Efficient Test-Time Continual Learning
대규모 언어 모델(LLM)은 에이전트가 도메인 특화 지식을 통합하고 경험을 통해 적응해야 하는 기업, 과학, 의료 분야의 애플리케이션에 점점 더 많이 배포되고 있습니다. 컨텍스트 엔지니어링은 추론(inference) 시점에 제공되는 지침, 전략, 근거를 통해 모델 동작을 개선함으로써 가중치(weight) 업데이트의 실용적인 대안을 제시합니다. 그러나 온라인에서 컨텍스트를 적응시키는 과정은 일반적으로 많은 비용이 드는 시행착오를 수반하며, 쿼리가 독립적으로 처리되는 경우가 많아 유용한 경험이 다음으로 이어지지 못합니다. 메모리 시스템은 상호작용 전반에 걸쳐 정보를 보존하여 이러한 한계를 해결하지만, 공유된 컨텍스트에 정보를 지속적으로 덧붙이는 방식은 컨텍스트가 확장됨에 따라 토큰(token) 비용 증가, 컨텍스트 윈도우(context window) 한계, 성능 저하 문제에 직면합니다. 본 논문에서는 컨텍스트 최적화(optimization)에 대한 통합된 정식화를 도입하고, 에이전트 메모리 시스템 업데이트가 모델의 컨텍스트에 대한 최적화 업데이트 절차로 해석될 수 있음을 보여줍니다. 이러한 관점은 메모리 설계와 그 효율성을 연구하기 위한 원칙적인 프레임워크를 제공하고자 합니다. 이어서 재사용 가능한 전략을 축적, 정제, 조직화하고 연결하는 경량 그래프 기반 메모리인 GraphMemory를 제안합니다. 각 쿼리에 대해 GraphMemory는 관련 서브그래프만을 검색하여, 모델에 전체 메모리를 노출하지 않고도 온라인 컨텍스트 적응을 가능하게 합니다. 제한된 검색 조건 하에서 검색되는 메모리의 양은 처리되는 예시 수가 증가하더라도 일정하게 유지됩니다. 실험 결과, GraphMemory는 베이스라인 대비 약 81~85% 적은 메모리 구축 토큰을 사용하면서도 경쟁력 있는 다운스트림 성능을 달성함을 보여줍니다.
합성하는 것인가, 기억해내는 것인가? 알고리즘 코드 검색에서 LLM 평가
Are you Synthesizing or Recalling? Evaluating LLMs on Algorithmic Code Retrieval
대규모 언어 모델(LLM)은 코드 생성에서 강력한 성능을 입증해 왔으며, 여기서 성공 여부는 관련 알고리즘 지식을 상기(recall)하는 것과 이를 어떻게 적용할지 추론하는 것 모두에 달려 있습니다. 그러나 기존 LLM 파이프라인은 불투명하여 이 두 구성 요소 간의 명시적인 구분이 없습니다. 우리는 사전학습 말뭉치에서 정형화된 구현체를 쉽게 접할 수 있는 잘 알려진 알고리즘의 경우, 코드 생성을 새로운 알고리즘을 합성하는 것이 아니라 내재화된 지식으로부터 명명된 알고리즘을 재현하는 \textit{파라메트릭 코드 검색(parametric code retrieval)}으로 측정하는 것이 더 적절하다고 주장합니다. 우리는 이러한 능력을 독립적으로 평가하기 위해 14개 도메인, 7개 프로그래밍 언어, 4개 그래프 입력 표현에 걸쳐 77개의 고전 알고리즘을 다루는 599개 문제로 구성된 벤치마크인 AlgoREval을 도입하고, 제로샷(zero-shot) 설정에서 15개 모델(7B~34B 파라미터)을 평가합니다. 널리 문서화된 알고리즘에 대해서도 언어 및 입력 표현 전반에 걸쳐 검색 정확도에 상당한 편차가 있음을 발견했으며, 검색된 코드 스니펫이나 구조화된 알고리즘 힌트를 활용한 프롬프트 증강이 복잡한 알고리즘에서 정확도를 향상시키는 반면, SFT는 더 넓은 언어적 이득을 달성하고 GRPO는 특정 언어에서 더 큰 언어별 이득을 달성함을 보여줍니다. 종합적으로, 우리의 결과는 파라메트릭 코드 검색을 구별되고 측정 가능한 능력으로 확립하며, 체계적인 검증 없이 AI가 생성한 알고리즘 코드를 배포하는 것에 대해 주의를 당부합니다.
벤치마크에서 프로덕션까지: 복잡한 금융 데이터를 위한 Text-to-SQL 시스템
From Benchmarks to Production: A Text-to-SQL System for Complex Financial Data
범용 Text-to-SQL 시스템은 스키마가 비교적 얕고 열 값이 사람이 읽을 수 있는 경우가 많은 Spider 및 BIRD와 같은 학술 벤치마크(benchmark)에서 강력한 성능을 달성합니다. 하지만 개념이 사람이 읽을 수 있는 문자열 대신 불투명한 정수 키로 저장되는 프로덕션 금융 데이터베이스에서는 간단한 쿼리조차 여러 번의 조인(join)이 필요하고 필터 조건식이 불투명한 ID를 참조하기 때문에 이러한 방법들의 성능은 50% 미만으로 떨어집니다. 본 논문에서는 세 가지 핵심 구성요소를 통해 이러한 격차를 좁히는 도메인 특화 Text-to-SQL 시스템인 FLINT(Financial LINking Text-to-SQL)를 제시합니다: (1) 자연어 개념을 질문별 참조 테이블 제약 조건으로 동적으로 해결하는 룩업 에이전트(agent), (2) 전문가가 작성한 간결한 뱅크로부터 구조적으로 유사한 쿼리 템플릿을 임베딩(embedding) 기반으로 검색하는 기능, (3) 이름 유사성에만 의존하지 않고 외래 키(foreign-key) 체인을 탐색하여 대규모 테이블 스키마를 관련 하위 집합으로 정리하는 스키마 링킹. 프로덕션 금융 스키마에 대한 총 359개 질문으로 구성된 두 개의 데이터셋(dataset)에서 이를 평가합니다. FLINT는 동일한 대규모 언어 모델(LLM)을 사용하면서 다양한 최신 베이스라인(baseline)보다 뛰어난 성능을 보입니다. 이 시스템은 금융 데이터 검색 서비스의 일부로 프로덕션에 배포되었습니다.
스스로 정화되고 그래도 포착됨: 에이전트가 스스로 쓰는 저장소의 오류를 위한 단일 측정 원시량, 그리고 하락하는 점수가 실제로 측정하는 것
Self-Cleaning and Captured Anyway: One Measured Primitive for Error in a Store an Agent Writes to Itself, and What a Falling Score Actually Measures
결론을 스스로 기록해 두었다가 나중에 조회하는 저장소에 쓰는 에이전트는, 보통 일방적 오�(contamination)으로 보고되는 루프를 닫는다. append-only 저장소에 대해 무한 임기(infinite-tenure) 한계로 이 루프를 보면 그림이 달라진다. 기록은 절대 삭제되지 않으므로 도달 가능한 상태 공간에는 (n-1)/n에서의 단단한 상한이 있어, 결과는 감쇠가 아니라 두 가지 경계 사이의 선택이 된다. f_0 = 0.9에서 두 모드 사이 구간은 220회 실행 중 3.6%를 차지하는데, 균일 분포라면 20.6%가 될 것이며, 처음 15회에서는 엄밀히 비어 있다. pooled mean은 요약하는 실행의 8.2%를, 중앙값은 68.2%를 설명한다. 모델이 기여하는 모든 것은 적합 매개변수 없이 하나의 측정 원시량, 복사 함수 \gamma(\phi)가 담는다. Wikidata 사실 36개에서 sign(\hat{\gamma} - \gamma_{crit})(\gamma_{crit} = 1/k, r = 0, w = 1)는 실제 사실 실행 360개 중 353개(동일 배치의 합성 40개 중 39개)에서 drift 방향을 예측한다. 규모는 저장소를 구원하지 못한다. pooled frontier capture는 0.850이며, claude-sonnet-4.5는 등록된 예측 <0.5에 대해 20개 seed 중 20개에서 포착(captured)된다. 구간이 검증하는 것은 개수가 아니라 구별 가능성(distinguishability)이다. 실제 사실에서 다값(multi-valued) 실행은 나머지 대비 그 점유율이 6.4배이다. f_0 ∈ {0.1, 0.3, 0.5}에서도 유지되며, capture는 f_0 = 0.5에서 정점을 이루고, 기준을 먼저 고정한 네 가지 개입 가운데에서는 동일 예산에서 timing이 fraction을 지배하고 consistency gate는 모든 모델을 0.993으로 끌어올린다. 리샘플링 단위는 seed이며, pooled 수준에서 design effect는 3.75이다. 44-seed 대조에서 주장 4를 뒷받침하는 순서는 seed 3개일 때 Spearman +0.98에서 44개일 때 +0.31–0.80으로 붕괴하는 반면, 주장 2의 순서는 그곳에서 정확하다(+1.00, p = 0.017). 채점된 87개 행은 모두 부록 W에 있으며, 그중 37개는 withdrawn, failed, self-correcting, undecidable 또는 acknowledged limit로 채점되었고 50개는 그렇지 않다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.