arXiv:2611.23219v1 cs.LG

대규모 언어 모델 에이전트에 자기 개선 방법을 여전히 알려 줘야 하는가?

Do LLM Agents Still Need to Be Told How to Self-Improve?

Shobhita Sundaram, Cansu Sancaktar, Phillip Isola

제출 2026-11-18

한국어 초록

대규모 언어 모델(LLM) 에이전트는 점점 더 스스로 학습을 주도하고 있다. 자기 개선 방법은 모델 최적화의 여러 구성 요소를 모델 자체에 맡긴다. 모델의 능력이 높아지면서 근본적인 질문이 생긴다. 더 유능해진 모델에도 자기 개선 방법을 사람이 명시해야 하는가? 이 논문에서는 기본 연산, 자원, 포괄적인 자기 개선 목표를 주었을 때 에이전트가 문맥 기반 최적화에 사용할 자기 학습 알고리즘을 직접 구성하는 자율적 접근법을 연구한다. 게임 플레이를 시험 환경으로 삼아 가중치를 동결한 LLM 에이전트에 연산 예산과 경험을 수집하고 텍스트 문서를 갱신할 도구를 주었다. 외부에서 정한 반복 절차나 현실 세계 데이터에 접근할 수 없는 조건에서 자유롭게 실험하게 했다. 충분한 능력을 갖춘 모델은 이 조건에서도 스스로 개선됐다. 모델이 택한 전략은 자기조절학습에 관한 고전적 인지 모형 및 머신러닝 문헌에서 다루는 자체 생성 커리큘럼 개념과 일치하는 특징을 보였다. 또한 학습 과정에서 만든 텍스트 산출물이 외부 벤치마크에 얼마나 전이되는지 조사했으며, 게임 진행 길이와 규칙이 다른 환경과 3D 길 찾기 과제에서 성능 향상을 관찰했다.

원문 초록

LLM agents increasingly drive their own learning. Self-improvement methods delegate various components of model optimization to the models themselves. As models become more capable, this motivates a basic question: do these increasingly capable models still need us to specify how they should self-improve? In this paper we study an autonomous paradigm in which, given basic primitives, resources, and a general goal for self-improvement, agents construct their own self-learning algorithm for context-based optimization. Using the setting of gameplay as a testbed, a frozen LLM agent is given a compute budget and tools for collecting experience and updating text documents, and allowed to freely experiment without an externally imposed loop or access to real-world data. We find that sufficiently capable models do self-improve under these conditions, demonstrating strategies that align with classic cognitive frameworks for self-regulated learning and constructs from machine learning literature on self-generated curricula. Furthermore, we study the extent to which the learned text artifacts transfer to external benchmarks, observing improvement across different game horizons, mechanics, and 3D navigation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23219v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.