arXiv:2605.06639v2 cs.LG

재귀적 에이전트 최적화

Recursive Agent Optimization

Apurva Gandhi, Satyaki Chakraborty, Xiangjun Wang, Aviral Kumar, Graham Neubig

제출 2026-05-07

한국어 초록

본 논문에서는 재귀적 에이전트(recursive agent), 즉 자기 자신의 새로운 인스턴스를 생성하여 하위 작업을 재귀적으로 위임할 수 있는 에이전트를 학습시키기 위한 강화학습 접근법인 재귀적 에이전트 최적화(Recursive Agent Optimization, RAO)를 소개합니다. 재귀적 에이전트는 분할 정복(divide-and-conquer)을 통해 에이전트가 더 긴 컨텍스트로 자연스럽게 확장되고 더 어려운 문제로 일반화될 수 있도록 하는 추론 시점 스케일링(inference-time scaling) 알고리즘을 구현합니다. RAO는 모델이 이러한 재귀적 추론을 최대한 활용할 수 있도록 학습시키는 방법을 제공하며, 에이전트에게 위임 및 소통의 시점과 방법을 가르칩니다. 이러한 방식으로 학습된 재귀적 에이전트는 더 우수한 학습 효율성을 보이고, 모델의 컨텍스트 윈도우(context window)를 넘어서는 작업으로 확장될 수 있으며, 에이전트가 학습된 것보다 훨씬 더 어려운 작업으로 일반화될 수 있을 뿐만 아니라 단일 에이전트 시스템에 비해 총 소요 시간(wall-clock time)을 단축할 수 있음을 확인했습니다.

원문 초록

We introduce Recursive Agent Optimization (RAO), a reinforcement learning approach for training recursive agents: agents that can spawn and delegate sub-tasks to new instantiations of themselves recursively. Recursive agents implement an inference-time scaling algorithm that naturally allows agents to scale to longer contexts and generalize to more difficult problems via divide-and-conquer. RAO provides a method to train models to best take advantage of such recursive inference, teaching agents when and how to delegate and communicate. We find that recursive agents trained in this way enjoy better training efficiency, can scale to tasks that go beyond the model's context window, generalize to tasks much harder than the ones the agent was trained on, and can enjoy reduced wall-clock time compared to single-agent systems.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.06639v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01548v2cs.LG공통 태그 Large Language Model, reinforcement learning rl

Range-GRPO: 보상 구간 간 쌍별 관계를 통한 정책 최적화

Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals

대규모 언어 모델(LLM)의 활용이 확대됨에 따라, 이를 다운스트림 작업에 적응시키기 위한 사후 학습의 중요성이 점점 커지고 있다. 그러나 특히 참조 정답이나 실행 가능한 검증기가 없는 분야에서는 신뢰할 수 있는 감독(supervision)을 확보하는 데 여전히 많은 비용이 든다. LLM-as-a-judge는 레이블이 없는 응답에 대해 확장 가능한 유사 보상(pseudo-reward)을 제공하지만, 단일 점수(point score)는 보상의 불확실성을 명시적으로 나타내지 못한다. 이는 유사 보상을 콘포멀하게 보정된(conformally calibrated) 보상 구간으로 표현하려는 동기가 된다. 우리는 제한된 레이블 데이터와 레이블이 없는 프롬프트를 결합하는 반지도(semi-supervised) 사후 학습 프레임워크인 Range-GRPO를 제안한다. Group Relative Policy Optimization(GRPO)에서는 학습 신호가 각 롤아웃 그룹 내에서의 상대적 보상 비교에 의존한다. 제안하는 목적 함수는 보상 구간을 점 보상(point reward)으로 축소하는 대신 쌍별(pairwise)로 비교함으로써, 구간 불확실성이 이러한 신호의 크기와 방향 모두에 영향을 미칠 수 있도록 한다. 이론적 분석을 통해 이러한 차이를 규명하고, 모든 보상 구간이 점으로 축소될 때 제안된 목적 함수가 Dr.GRPO의 어드밴티지(advantage)로 환원됨을 보인다. 실험적으로 Range-GRPO는 평가된 반지도 학습 방법들 중에서 분포 내(in-distribution) 및 분포 외(out-of-distribution) 평균 성능이 가장 높으면서도 더 적은 학습 자원을 필요로 한다.

arXiv:2610.02700v1cs.LG공통 태그 Large Language Model, reinforcement learning rl

진화하는 오류로부터의 학습: 온-정책 증류를 위한 적응형 반복 복구

Learning from Evolving Errors: Adaptive Iterative Repair for On-Policy Distillation

온-정책 자가 증류(OPSD)는 학생 모델 자신의 정책에서 샘플링된 궤적에 대해 조밀한 토큰(token) 수준의 피드백을 제공하며, 이는 강화학습(RL)의 결과 수준 보상보다 더 풍부한 학습(training) 신호가 됩니다. 이 피드백은 학생에게는 주어지지 않는 완전한 참조 해법을 조건으로 하는 교사 모델로부터 생성됩니다. 그러나 참조 해법은 목표를 명시할 뿐 학생의 현재 오류에서 목표로 나아가는 방법을 알려주지는 않으므로, 해법 조건부 지름길 위험(solution-conditioned shortcut risk)을 초래합니다. 본 논문에서는 오류에서 복구로 이어지는 지도(supervision)를 제공하는 온-정책 증류 프레임워크인 적응형 반복 복구 AIR-OPD를 제안합니다. 실패한 응답이 주어지면 가이던스 생성기는 현재 오류에 대한 복구 가이던스를 합성합니다. 학생은 이 가이던스를 바탕으로 온-정책(on-policy) 재시도를 샘플링합니다. 재시도가 여전히 틀릴 경우, 생성기는 새롭게 관찰된 오류에 대한 새로운 복구 가이던스를 생성합니다. 각 라운드마다 고정된 교사는 특권 문맥(privileged context)으로 가이던스를 받아 최신 실패 응답 중 오류와 일치하는 영역에 대해 학생을 지도합니다. 결과 인식 단계별 가중치(Outcome-aware stage weighting)는 초기 복구 단계를 선호하며, 즉각적인 재시도가 검증을 통과한 단계에 가중치를 부여합니다. DAPO-Math-17K 데이터셋으로 AIR-OPD를 학습하고 AIME24, AIME25, HMMT25 및 분포 외(out-of-distribution) 테스트인 MMLU-Pro와 GPQA에서 평가를 진행합니다. 현재 학생 정책의 자체 가이던스와 더 큰 모델(model)의 외부 가이던스라는 두 가지 가이던스 소스를 검토합니다. Qwen3-4B와 Qwen3-8B 모두에서 AIR-OPD는 가장 높은 수학적 추론 평균을 달성하여 가장 강력한 기준선(baseline) 대비 최대 3.6점을 개선하는 동시에, 분포 외 벤치마크에서 기본 모델의 성능을 유지합니다.

arXiv:2610.01458v2cs.AI공통 태그 Large Language Model, reinforcement learning rl

사후 집중 관점에서 본 확률 기반 강화학습의 재고

Rethinking Probability-Based Reinforcement Learning From Posterior Concentration

확률 기반 보상을 활용한 검증기 없는(verifier-free) 강화학습(RL)은 외부 검증기를 사용할 수 없는 일반 추론 태스크에서 대규모 언어 모델(LLM)을 학습(training)하기 위한 유망한 방식을 제공합니다. 그러나 특히 긴 호흡의 추론(long-horizon reasoning)에서 이러한 보상의 신뢰성은 아직 충분히 연구되지 않았습니다. 본 연구는 확률 보상에서 길이에 의존하여 발생하는 실패 모드를 규명하고, 이를 사후 집중 현상(Posterior Concentration Phenomenon, PCP)이라 명명합니다. 우리는 추론 과정(reasoning trace)이 길어짐에 따라 추론 과정을 조건부로 하는 참조 답변의 확률이 분산이 낮은 구간으로 축소되는 경우가 빈번함을 보입니다. 이 현상은 거의 구별할 수 없는 보상으로 이어져, GRPO 기반 설정에서 확률 기반 정책 최적화(policy optimization)를 불안정하고 비효율적으로 만듭니다. 이에 착안하여, 우리는 더 나은 최적화 안정성과 토큰(token) 효율성을 위해 PCP를 명시적으로 고려하는 검증기 없는 강화학습 프레임워크인 집중 인식 사후 보상 기반 강화학습(Reinforcement Learning with Concentration-aware Posterior Rewards, RLCPR)을 제안합니다. 이 프레임워크는 두 가지 구성 요소를 가집니다. 첫째는 생성 전에 집중이 발생하기 쉬운 롤아웃을 줄이는 불확실성 인식 데이터 샘플링이며, 둘째는 사후 보상이 붕괴될 때 불필요하게 긴 추론 과정에 페널티를 부여하는 집중 인식 정규화(regularization)입니다. 광범위한 실험 결과, RLCPR은 더 높은 토큰 효율성과 더불어 일반 영역 및 수학적 추론 과제를 포함한 7개 벤치마크(benchmark) 중 6개에서 기존 최고 수준의 검증기 없는 강화학습 기준선(baseline) 대비 최대 4.0% 우수한 성능을 보였습니다.

arXiv:2610.02568v1cs.AI공통 태그 Large Language Model, reinforcement learning rl

다원적 선호도 최적화를 통한 사회적 아첨 완화

Mitigating Social Sycophancy via Pluralistic Preference Optimization

인간관계에 대한 조언을 비롯한 개인적 조언은 현재 생성형 AI의 가장 흔한 사용 사례 중 하나로 자리 잡았습니다. 그러나 언어 모델(LM)은 아첨(sycophancy) 현상을 보입니다. 즉, 사람보다 훨씬 더 자주 사용자의 말에 동조하며, 이는 갈등 이후 사람들이 과도한 확신을 갖게 하거나 관계를 개선하려는 의지를 약화시킬 수 있습니다. 아첨을 완화하기 위한 이전 연구들은 정답(ground truth)과 대조해 응답을 검증할 수 있는 사실적 환경에 초점을 맞추어 왔으며, 정답이 존재하지 않는 개인적 조언과 같은 사회적 아첨 완화는 단순한 프롬프트 기법과 제한된 효과를 지닌 사후 학습 방식에 의존해 왔습니다. 본 연구의 핵심 통찰은 사회적 아첨이 부분적으로 언어 모델이 사용자에게 지나치게 집중하여 사용자의 행동으로 영향을 받는 다른 이해관계자의 관점을 고려하지 못하기 때문에 발생한다는 점입니다. 이 문제를 해결하기 위해 저자들은 다원적 선호도 최적화(Pluralistic Preference Optimization, PlurPO)를 제안합니다. 대인 갈등을 설명하는 입력이 주어지면, LM은 관련 이해관계자들을 식별 및 시뮬레이션하고, 모든 이해관계자가 수용할 수 있는 응답을 선호하고 생성하도록 학습됩니다. PlurPO는 정답 레이블 없이 모델이 자체 출력에 대해 생성한 신호만을 사용합니다. PlurPO는 기존 방식과 비교하여 4개의 데이터셋과 4개의 모델 제품군 전반에서 사회적 아첨을 실질적으로 감소시킵니다. 예를 들어 사용자의 행동을 지지해서는 안 되는 유해 의도 진술의 경우, PlurPO는 4개 모델 전반에서 지지율을 평균 89% 줄입니다. 사람의 응답 수준으로 지지율을 맞추는 것이 목표인 일반적인 조언 질문에서는 평균 격차를 17.8%에서 8.0%로 절반 이상 줄입니다. 또한 8B 모델을 위해 PlurPO로 구축된 선호도 데이터셋은 더 큰(32B) 모델의 아첨을 완화하는 데에도 효과적으로 전이됩니다. 본 연구 결과는 관련된 다양한 관점을 시뮬레이션하는 모델 자체의 능력을 활용하여 사회적 아첨을 줄일 수 있음을 시사합니다.

arXiv:2610.02828v1cs.AI공통 태그 Large Language Model, reinforcement learning rl

FSPO: 예산 제약 기반 LLM 강화학습 사후 학습을 위한 정책 일관적 위험 및 파레토 실행 가능 제어

FSPO: Policy-Consistent Risk and Pareto-Feasible Control for Budgeted LLM RL Post-Training

적응형 대규모 언어 모델(LLM) 강화학습(RL) 사후 학습은 롤아웃(rollout) 온도, 그룹 크기, 클리핑, KL 정규화(regularization), 검증기(verifier) 할당, 업데이트 예산 등 여러 학습 제어 요소를 온라인으로 변경합니다. 그러나 세 가지 결합된 문제가 여전히 해결되지 않은 상태로 남아 있습니다. 행동 궤적(behavior trajectories)으로 학습된 미래 위험 모델은 실제로 배포될 제어기(controller)가 유발하는 위험을 정확히 추정하지 못할 수 있고, 기록된 상태-행동 쌍에서 보정(calibrated)된 점수는 선택적 행동 결정 후 보정 오차가 발생할 수 있으며, 자원별 독립적인 최소 비용만으로는 일반적으로 다중 자원에 걸친 실행 가능한 지속 경로를 보장하지 못합니다. 본 논문에서는 이러한 문제들을 종합적으로 해결하는 예산 제약 기반 LLM RL 사후 학습용 피드백 상태 제어기인 FSPO를 제안합니다. FSPO는 향후 결정에 사용되는 동일한 동결 제어기를 벨만 타깃(Bellman target)으로 따르는 정책 일관적(policy-consistent) 잔여 위험(risk-to-go) 모델을 장기 효용 모델과 함께 학습합니다. 또한 결정 조건부 궤적 보정(DCTC)은 임시 제어기가 선택한 행동으로 생성된 교차 적합(cross-fitted) 궤적에서 위험을 보정합니다. 파레토 자원 지속 보증(PRCC)은 잔여 구간(horizon) 동안 비지배(non-dominated) 누적 예약이 실행 가능할 때만 행동을 허용합니다. 동일한 GRPO 자원 범위 조건에서 FSPO는 66.11%의 홀드아웃(held-out) 정확도와 59.43%의 OOD(분포 외) 정확도를 달성하여, 평가된 가장 강력한 적응형 기준선(baseline)인 PB2의 64.47% 및 57.03%를 능가했습니다. 3개의 쌍체 학습 시드(paired training seeds) 기준 홀드아웃 및 OOD 평가에서 문맥 밴딧(contextual bandit) 대비 각각 +2.42 및 +3.19%p 향상되었습니다. 행동-배포 간 불일치가 큰 조건에서 정책 일관적 위험은 선택 결정 ECE를 0.108에서 0.053으로 낮췄고, DCTC는 동일 수락률 조건에서 이를 0.039에서 0.022로 낮췄으며, PRCC는 18개 행동 카탈로그에서 거짓 실행 가능 허용을 완전히 제거했습니다($0.197\rightarrow0.000$). 요인 제거 분석(factorial ablation)에서 세 요소를 모두 활성화했을 때 궤적 실패율은 0.181에서 0.083으로 감소했습니다.

arXiv:2610.03631v1cs.AI공통 태그 Large Language Model, reinforcement learning rl

NeutronGym: LLM 에이전트를 위한 물리 기반 채점 중성자 장치 설계

NeutronGym: Physics-Graded Neutron Instrument Design for LLM Agents

과학 장치 설계는 채점 기준에 논란의 여지가 없다면 언어 모델 에이전트가 물리를 단순히 기억해내는 대신 직접 수행할 수 있는지를 시험합니다. 저희는 저희가 아는 한 중성자 장치 설계를 위한 최초의 실행 가능한 환경인 NeutronGym을 소개합니다. 에이전트는 검증 도구를 통해 장치를 구축하고, McStas가 구축된 대상을 광선 추적(ray-tracing)하며, 단계별 사다리형 체계가 LLM 판별자(judge) 없이 구문, 런타임, 구조 및 과학적 타당성을 채점합니다. 절차적 패밀리(procedural families)는 에이전트가 설정해야 하는 설계 매개변수를 가진 고정 레이아웃의 무제한 인스턴스를 미공개(held-out) 매개변수 영역과 함께 제공하며, 선별된 부분 집합인 McStasBench는 암기 탐침(memorization probe) 및 샌드박스 뒤에 출판된 장치로부터 도출된 16개 태스크를 추가합니다. 7개 모델은 16개 중 최대 7개만 재현했고, 참조 설계를 검색해낸 모델은 없었으며, 개선 목표를 달성한 모델도 없었습니다. 이 환경은 학습에도 활용될 수 있습니다. 해당 환경의 보상에 대한 강화학습(RL)을 통해 Qwen3-8B는 숨겨진 설계에서 목표가 도출된 패밀리의 미공개 인스턴스에서 성능이 11%에서 77%(두 번째 시드에서는 69%)로 향상되어 학습되지 않은 Qwen3-32B를 능가했으며, 이 방법론은 각각 1개의 시드에서 추가적인 3개의 게이트 패밀리에서도 유효하게 유지되었습니다. 분석을 통해 이러한 성능 향상의 실체를 밝힙니다. 사다리형 평가 체계의 부분 점수가 없으면 성능은 60포인트 급락합니다. 보상만으로 학습된 모델은 에이전트의 시뮬레이션 예산 내에서 닫힌 형태(closed-form)의 물리 공식이 주어졌을 때에만 고전적 옵티마이저가 도달하는 수준에 도달하며(81% 대비 77%로, 이 규모에서는 유의미하게 갈리지 않는 격차), 프론티어 모델은 여전히 98~99%를 해결합니다. 신뢰할 수 있는 결과를 얻기 위해 모델 없는 베이스라인으로도 해결할 수 있었던 4가지 태스크 설계를 제외해야 했으며, 이를 찾아낸 탐침을 함께 공개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.