arXiv:2610.23051v2 cs.AI

에이전틱 인컨텍스트 학습: 트랜스포머는 폐루프 상호작용에서 어떤 알고리즘을 학습할 수 있는가?

Agentic In-Context Learning: What Algorithms Can Transformers Learn in Closed-Loop Interaction?

Shiguang Wu, Yaqing Wang, Quanming Yao

제출 2026-11-18

한국어 초록

인컨텍스트 학습(ICL)의 학습 알고리즘 관점은 고정 파라미터 트랜스포머가 제공된 예시로부터 어떻게 학습하는지를 연구한다. 언어 모델 에이전트는 상호작용을 통해 이 설정을 확장하며, 에이전트의 행동이 다음에 컨텍스트에 들어올 증거를 결정한다. 우리는 이러한 체제를 에이전틱 인컨텍스트 학습(Agentic ICL)이라 부른다. 기존 연구는 대체로 외부에서 제공된 컨텍스트나 보상이 포함된 상호작용 이력에 의존하며, 일반적인 도구 사용 에이전트에 관한 연구에는 학습 알고리즘 관점이 없다. 우리는 상호작용하는 학습자를 상태, 갱신, 결정 규칙으로 나타내며, 이는 능동 학습, 밴딧, 온라인 강화학습(RL)을 포괄한다. 표현력 측면에서, 우리는 유한 시계에서 이러한 알고리즘을 근사하는 인과 트랜스포머를 구성하고 그로 인한 수익 손실의 상계를 구한다. 학습 측면에서는, 과정 보상을 최적화할 때 최종 결과를 최대화하는 행동이 언제 보존되는지를 규명한다. 증류 실험은 트랜스포머가 대표적인 세 가지 재귀식을 실행하도록 학습할 수 있음을 보여 준다. 이어서 RL 사후 학습에서처럼, 오라클 행동이나 상태 목표 없이 결과 보상 또는 과정 보상으로 모델을 학습한다. 보상이 다르면 서로 다른 결정 정책이 나타난다. 과정 감독과 결과 최적 행동 선호의 정렬을 개선하면 학습된 결정도 그에 따라 달라진다. 이러한 행동 차이는 사전학습된 언어 모델에서도 텍스트 바꿔 쓰기에 걸쳐 지속된다.

원문 초록

The learning algorithm view of in-context learning (ICL) studies how fixed-parameter Transformers learn from supplied examples. Language model agents extend this setting through interaction: their actions determine what evidence enters context next. We call this regime Agentic In-Context Learning (Agentic ICL). Existing studies largely depend on externally supplied contexts or reward-bearing interaction histories, while work on general tool-using agents lacks a learning algorithm view. We represent an interactive learner by its state, update, and decision rule, covering active learning, bandits, and online reinforcement learning (RL). For expressivity, we construct causal Transformers that approximate these algorithms over a finite horizon, and bound the resulting loss in return. For training, we characterize when optimizing process rewards preserves behavior that maximizes the final outcome. Distillation experiments show that Transformers can learn to execute three representative recursions. We then train models from outcome or process rewards without oracle action or state targets, as in RL post-training. Different rewards yield distinct decision policies. Improving the alignment of process supervision with outcome-optimal action preferences shifts learned decisions accordingly. Such behavioral differences persist in a pretrained language model across textual paraphrases.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.23051v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.