Meta$^n$: 창발적 깊이를 통한 재귀적 자기 개선
Meta$^n$: Recursive Self-Improvement through Emergent Depth
한국어 초록
자기 개선형 LLM 에이전트는 답변을 개선할 뿐, 그 답변을 만들어 내는 과정은 개선하지 않는다. 메타 수준을 추가하는 시스템은 그 수준을 고정해 두고, 스스로를 편집하는 시스템은 안정성을 유지하기 위해 자신의 편집 장치 일부를 건드리지 않아야 하므로, 구현되는 메타 깊이는 대략 둘 정도로 제한된다. 우리는 메타 연산을 고정한 채 그 입력에 대해 재귀하는 Meta$^n$을 제시한다. 이 연산 $\Omega$는 자신의 산출물에 반복 적용되어, 아래 해결기 스택의 추적 기록과 그것을 만든 코드를 함께 읽은 뒤, 전략적 전처리와 호출 가능한 보조 함수 라이브러리로서 다음 층을 작성한다. $\Omega$는 변하지 않으므로 시스템을 불안정하게 만들 수 없고, 입력이 엄격하게 늘어나므로 각 층은 이전 층보다 높은 관점에서 추론한다. 깊이는 미리 정해지지 않고 수렴에 의해 결정되며, 진화적 아카이브가 층 체인을 탐색한다. 두 가지 백본에 걸쳐 Meta$^n$은 여덟 개 벤치마크 계열 모두에서 기존 자기 개선형 에이전트를 능가한다. 가장 두드러진 사례는 기술 암기에 저항하도록 만들어진 ARC-AGI-2로, 여기서는 Meta$^n$만이 0을 넘는 점수를 얻는다. 절제 실험은 재귀로 인한 이득의 대부분이 각 층이 다음 층에 전달하는 조건화에서 나옴을 보여 주며, 어떤 프롬프트도 규정하지 않았음에도 깊이에 따라 뚜렷한 층별 역할이 나타난다. 코드는 https://github.com/minnesotanlp/meta-n 에서 이용할 수 있다.
원문 초록
Self-improving LLM agents refine answers, not the process that produces those answers. Systems that add a meta-level hold that level fixed, and those that edit themselves must leave part of their own editing machinery untouched to stay stable, capping the meta-depth they realize at roughly two. We present Meta$^n$, which keeps the meta-operation fixed and recurses on its input instead. That operation, $\Omega$, is applied repeatedly to its own products, reading the traces of the solver stack below together with the code that produced them, then writing the next layer as a strategic pre-process and a library of callable helpers. Because $\Omega$ never changes, it cannot destabilize the system, and because its input strictly grows, each layer reasons from a higher vantage than the last. Depth is set by convergence rather than fixed in advance, and an evolutionary archive searches over layer chains. Across two backbones, Meta$^n$ outperforms prior self-improving agents on all eight benchmark families. The sharpest case is ARC-AGI-2, built to resist skill memorization, where it alone scores above zero. Ablations indicate that most of the gain from recursion comes from the conditioning each layer passes to the next, and distinct layer roles emerge with depth although no prompt prescribes them. Code available at https://github.com/minnesotanlp/meta-n
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.24735v2제출 시각 미확인
- arXiv:2608.24735v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.