PyTorchKR Papers

최신 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15840v1cs.LG

에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수

LLM Value Functions for Credit Assignment in Agentic RL

대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.

arXiv:2609.19636v2cs.AI

도달인가 해결인가? 체크포인트 핸드오프를 통한 에이전트 강화학습 성능 향상의 심층 분석

Reach or Solve? Deep Diving into Agentic RL Gains with Checkpoint Handoffs

강화학습(RL)은 언어 모델 에이전트(agent)를 개선하는 데 널리 사용되며, 그 성능 향상은 일반적으로 최종 작업 성공률로 측정됩니다. 그러나 에이전트의 이전 행동들은 이후 의사결정이 이루어지는 상태(state)를 형성하므로, 최종 작업 성공률은 유용한 상태에 도달하는 능력과 해당 상태에 도달한 후 작업을 완료하는 능력을 혼동하게 만듭니다. 각 에이전트가 도달한 상태에서만 에이전트들을 비교하는 것은 각 에이전트가 자신의 행동에 의해 선택된 상태에서 평가되기 때문에 이 둘을 분리해 내지 못합니다. 이러한 혼동을 해결하기 위해, 본 연구에서는 재학습 없이 도달과 완료를 분리하는 평가 프로토콜인 체크포인트 핸드오프(checkpoint handoff)를 도입합니다. 하나의 체크포인트가 핸드오프 시점까지 도달자(reacher) 역할을 수행하고, 다른 체크포인트는 재생된 동일한 히스토리로부터 해결자(solver)로서 작업을 이어받습니다. 구체적으로, (1) Reach는 재생 가능한 환경에서 성공까지 고정된 수의 행동만이 남았음이 검증된 상태에 도달자가 얼마나 자주 도달하는지를 측정하며, (2) Solve는 해당 상태들의 동일하게 복제된 사본으로부터 해결자가 작업을 얼마나 자주 완료하는지를 측정합니다. 두 개의 벤치마크와 독립적으로 공개된 두 개의 학습 파이프라인 전반에서 지도 미세조정(SFT)과 강화학습 체크포인트를 두 역할 모두에 교차 적용한 결과, 해결자를 SFT에서 강화학습으로 전환할 때 얻는 이득은 강화학습이 도달자일 때 TravelPlanner의 세 가지 모델 크기 모두와 ALFWorld의 두 분할(split) 모두에서 일관되게 더 크다는 점을 발견했습니다. ALFWorld에 대한 추가 분석은 강화학습이 Reach와 Solve를 모두 향상시킴을 보여줍니다. 강화학습 도달자 환경에서 해결자 이득이 더 큰 이유는 강화학습이 해결 가능한 상태에 더 자주 도달하기 때문이며, 별도로 측정된 Reach 및 Solve 격차는 이러한 차이의 대부분을 설명합니다. 핸드오프는 한 체크포인트의 히스토리를 다른 체크포인트 아래에서 재생하는 것만을 요구하므로, 에이전트 강화학습 평가는 최종 성공률과 함께 도달률 및 완료율을 함께 보고할 수 있습니다.

arXiv:2609.27532v1cs.LG

ProCredit: 에이전트 강화학습에서 결과 보상에서 진행 크레딧으로

ProCredit: From Outcome Rewards to Progress Credit in Agentic Reinforcement Learning

장기 에이전트 작업은 에이전트가 일련의 도구 호출을 통해 환경을 수정해야 하며, 성공은 최종 상태로 결정된다. 일반적인 방법은 마지막에 단일 결과 보상(outcome reward)을 부여하고 동일한 작업에 대해 샘플링된 궤적(trajectory)들을 비교한다. 그 결과 성공 궤적이 없는 그룹은 학습 신호를 주지 않고, 실패한 시도는 완료에 얼마나 가까웠는지 구분할 수 없으며, 작업을 진전시키는 턴과 환경만 조회하는 턴이 같은 크레딧을 받는다. 선행 연구는 비교 단위를 궤적에서 스텝(step)으로 세분화하거나 중간 신호를 위해 보상 모델을 학습한다. 전자는 여전히 최종 성공만으로 신호를 얻고, 후자는 모델로 이를 추정한다. 우리는 성공을 판정하는 수락 검사(acceptance check)를 중간 상태에서도 실행할 수 있음을 관찰했으며, 따라서 진행(progress)은 결과만큼 검증 가능하다. 우리는 이 검증된 진행을 크레딧으로 전환하는 ProCredit을 제안한다. ProCredit은 각 턴 후 수락 검사를 다시 실행하고, 진행 변화량에 따라 턴에 보상을 부여하며, 이 보상으로 동일 작업에 대한 여러 시도 간과 궤적 내 턴 간 모두에 크레딧을 할당한다. AppWorld에서 세 가지 규모의 Qwen3.5 베이스 모델을 시작점으로 할 때, ProCredit은 두 테스트 세트 모두에서 모든 규모에서 작업 완료율 기준으로 결과 보상 기준선과 진행 기반 기준선을 능가하며, 4B에서는 가장 강한 결과 보상 기준선보다 4.1퍼센트포인트 높고, 두 번째 환경에서도 같은 방향의 개선이 나타난다. ablation은 궤적 점수에 최종 진행만 더하는 것만으로는 성능이 개선되지 않음을 보여 주며, 이득은 진행이 발생한 턴에 크레딧을 부여하는 데서 온다.

arXiv:2607.21653v3cs.LG

Molt: 에이전트 강화학습을 위한 확장 가능한 PyTorch 네이티브 학습 프레임워크

Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning

에이전트 강화학습(RL)은 에이전트 및 학습 알고리즘에 대한 빠른 실험을 필요로 하지만, 대규모 정책과 긴 멀티모달 궤적은 상당한 분산 인프라를 요구합니다. 본 논문에서는 네 가지 기여를 통해 이러한 목표들을 결합한 경량 PyTorch 및 Hugging Face 네이티브 프레임워크인 MOLT를 제시합니다. MOLT는 약 9,200줄의 프레임워크 코드 내에서 Hugging Face 모델의 직접 로딩과 실험적으로 검증된 1조 개 매개변수(parameter) 확장성을 결합합니다. 통합된 OpenAI 및 Anthropic 호환 인터페이스는 컨텍스트 압축의 자동 처리를 통해 기존 에이전트들을 통합합니다. 완전 비동기 학습은 에이전트 롤아웃(rollout)과 정책 최적화를 중첩하여 가변적인 에이전트 실행 시간을 수용합니다. 분산 경험 저장은 긴 멀티모달 궤적에 대한 중앙 집중식 롤아웃 메모리 병목 현상을 제거합니다. 1조 개 매개변수 정책에서 전체 RL 학습 파이프라인을 실험적으로 검증하고 30B 전문가 혼합(MoE) 에이전트를 통해 지속적인 학습을 입증함으로써, MOLT가 대규모 에이전트 RL 연구를 위한 경량 기반임을 확립합니다.

arXiv:2606.31650v4cs.LG

ECHO: 에이전틱 강화학습에서 선택적 턴 메모리를 활용한 행동을 위한 가지치기 및 학습을 위한 추적

ECHO: Prune To Act, Trace To Learn With Selective Turn Memory In Agentic RL

장기 수평 언어 에이전트는 제한된 컨텍스트 윈도우 내에서 도구와 반복적으로 상호작용하고, 증거를 축적하며, 의사결정을 내려야 한다. 컨텍스트 관리 방법은 삭제, 폴딩, 또는 메모리 편집을 통해 과거 상호작용을 단순화함으로써 이러한 롤아웃을 실현 가능하게 만든다. 그러나 유용한 이력이 압축된 상태로 축소되면, 재구성된 컨텍스트는 어떤 이전 관찰이 성공적인 최종 답변을 뒷받침하는지 더 이상 드러내지 못할 수 있다. 이는 제한된 컨텍스트 기반 행동과 결과 기반 강화학습 사이의 불일치를 야기한다: 정책은 재구성된 컨텍스트에서 행동하지만, 학습자는 중요했던 증거에 크레딧을 할당하기 위한 소스 수준의 출처 정보를 갖지 못한다. 우리는 에이전틱 강화학습에서 추적 가능한 컨텍스트 재구성을 위한 선택적 턴 메모리 프레임워크인 ECHO를 제안한다. ECHO는 완료된 각 환경 턴을 소스 인덱싱된 메모리 레코드로 압축하고, 유용한 레코드를 선택하여 제한된 정책 컨텍스트를 재구성하며, 선택된 소스 인덱스를 재사용하여 긍정적 결과 크레딧을 최종 궤적 세그먼트, 재사용된 증거 턴, 메모리 발견 사항, 그리고 메모리 선택 행동에 라우팅한다. BrowseComp-Plus에서 ECHO는 43.4%의 held-out 정확도를 달성하여, GRPO의 28.9% 및 롤링 요약 기준선인 SUPO의 36.1%를 능가하면서 SUPO보다 적은 턴과 낮은 궤적 볼륨을 사용한다. 학습된 정책은 또한 밀집형(dense) 및 전문가 혼합(MoE) 백본 모두에서 다목적 QA, 코드 생성, 심층 정보 탐색 벤치마크에 걸쳐 제로샷 일반화를 향상시킨다.

arXiv:2606.12384v2cs.LG

APPO: 에이전트 절차적 정책 최적화

APPO: Agentic Procedural Policy Optimization

최근 에이전트 강화학습(RL)의 발전으로 대규모 언어 모델 에이전트의 다중 턴 도구 사용 능력이 크게 향상되었다. 그러나 기존 방법 대부분은 도구 호출 경계나 고정된 워크플로와 같은 거친 휴리스틱 단위에 대해 크레딧을 할당하여, 어떤 중간 결정이 하류 결과에 영향을 미치는지 파악하기 어렵다. 본 연구에서는 에이전트 RL을 두 가지 관점에서 살펴본다: \textit{어디에서 분기할 것인가, 분기 후 어떻게 크레딧을 할당할 것인가}. 예비 분석 결과, 영향력 있는 의사결정 지점은 도구 호출에 집중되기보다 생성된 시퀀스 전체에 넓게 분포하며, 토큰 엔트로피만으로는 최종 결과에 대한 그 영향을 신뢰성 있게 반영하지 못한다. 이러한 관찰에 동기를 받아, 본 연구는 분기와 크레딧 할당을 거친 상호작용 단위에서 시퀀스 내 세밀한 의사결정 지점으로 옮기는 \textbf{Agentic Procedural Policy Optimization (APPO)}를 제안한다. APPO는 토큰 불확실성과 이후 연속 생성의 정책 유도 가능도 이득을 결합한 Branching Score를 사용해 분기 위치를 선택하여, 허위의 고엔트로피 위치를 걸러내면서 더 목표 지향적인 탐험을 가능하게 한다. 또한 분기된 롤아웃 전반에 걸쳐 크레딧을 더 잘 분배하기 위해 절차 수준(procedure-level) advantage 스케일링을 도입한다. 13개 벤치마크 실험에서 APPO는 강력한 에이전트 RL 베이스라인을 약 4점 일관되게 향상시키며, 효율적인 도구 호출을 유지하고 행동 해석 가능성을 보존한다.

arXiv:2607.21419v1cs.AI

PATS: 에이전트 강화학습을 위한 정책 인식 학습 스캐폴딩

PATS: Policy-Aware Training Scaffolding for Agentic Reinforcement Learning

장기 지평(long-horizon) LLM 에이전트 강화학습에서 약한 정책은 종종 유사한 실패를 반복하여 정보가 적은 롤아웃 궤적을 만들고, 효과적인 정책 최적화를 제한한다. 기존 스킬 중심 방법들은 재사용 가능한 스킬을 최적화, 필터링, 또는 내재화함으로써 탐험을 개선한다. 그러나 이들은 진화하는 정책에 대한 적응형 학습 시점 지원으로 설계되기보다는 스킬 자체에 중심을 둔다. 이를 해결하기 위해, 우리는 스킬을 동적 학습 스캐폴드로 재구성하는 정책 중심 학습 패러다임을 제안한다. 우리의 프레임워크인 Pats는 최신 정책의 롤아웃 그룹을 증거 카드(evidence cards)로 변환하고, 과제별 평가를 사용하여 이후 롤아웃에 사용되는 컨텍스트를 조정한다. 구체적인 안내는 약한 정책이 어려운 과제를 완수하도록 돕는다. 정책이 개선됨에 따라 불필요한 컨텍스트는 명시적 안내에 대한 의존을 줄이면서 유용한 롤아웃 변이를 보존하도록 수정되거나 제거된다. 정책은 표준 RLVR을 사용하여 환경 보상으로 최적화되며, 학습 스캐폴드는 배포 시 폐기된다. ALFWorld와 WebShop에서 Pats는 강력한 기준선 대비 최대 18.6% 개선을 달성한다. 7개의 검색-증강 QA 벤치마크 전반에서 기준선보다 32.1% 적은 프롬프트 토큰을 사용하면서도 경쟁력을 유지한다.

arXiv:2607.14777v1cs.CL

SEED: 에이전틱 강화학습을 위한 자기 진화 온-정책 증류

SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning

대규모 언어 모델(LLM)은 다중 턴 상호작용, 도구 사용, 환경 피드백을 포함하는 장기(horizon) 작업을 위한 대화형 에이전트로 점점 더 학습되고 있다. 결과 기반 강화학습(RL)은 실용적인 최적화 패러다임을 제공하지만, 희소한 궤적 수준 보상은 중간 결정에 제한적인 지침만을 제공하여, 에피소드 수준 결과와 토큰 수준 정책 학습 사이에 감독(supervision) 공백을 남긴다. 우리는 완료된 온-정책 궤적을 학습 시점의 후견(hindsight) 스킬로 변환하고, 그 행동적 효과를 정책 모델에 다시 증류하는 자기 진화 프레임워크인 SEED(SElf-Evolving On-Policy Distillation)를 제안한다. SEED는 먼저 정책을 파인튜닝하여 완료된 궤적을 분석하고, 재사용 가능한 워크플로, 결정적 관찰, 또는 실패 회피 규칙을 포착하는 자연어 스킬을 생성한다. 강화학습 중 현재 정책은 궤적을 수집하는 동시에 그로부터 후견 스킬을 추출하는 분석기 역할도 한다. 따라서 정책 업데이트는 이후의 의사결정과 스킬 분석을 함께 개선하여, 후견 감독이 정책과 함께 진화하도록 한다. SEED는 이어서 일반 컨텍스트와 스킬 증강 컨텍스트 하에서 샘플링된 행동을 재점수화하고, 스킬에 의해 유도된 확률 변화를 밀집한 토큰 수준 온-정책 증류 신호로 변환한다. 이 신호는 결과 기반 RL과 공동으로 최적화되어, 보조 감독이 현재 궤적 분포와 정렬되도록 유지한다. 텍스트 기반 및 비전 기반 에이전트 작업에 대한 광범위한 실험에서 SEED는 성능과 샘플 효율을 일관되게 향상시키며, 보지 못한 시나리오에 대한 견고한 일반화를 보인다. 코드는 https://github.com/jinyangwu/SEED 에서 제공된다.

arXiv:2509.21842v2cs.AI

DeepTravel: 자율 여행 계획 에이전트를 위한 종단간 에이전틱 강화학습 프레임워크

DeepTravel: An End-to-End Agentic Reinforcement Learning Framework for Autonomous Travel Planning Agents

여행 계획(TP) 에이전트는 최근 외부 도구/자원과 상호작용하여 여행 일정을 생성하고 쾌적한 사용자 경험을 보장하는 새로운 구성 요소로 자리 잡고 있다. 그러나 기존 연구는 수작업 프롬프트와 고정된 에이전트 워크플로에 의존하여, 보다 유연하고 자율적인 TP 에이전트의 발전을 저해하고 있다. 본 논문은 자율적으로 계획하고, 도구를 실행하며, 도구 응답을 검토하여 다단계 추론에서 중간 행동을 탐색·검증·정제할 수 있는 자율 여행 계획 에이전트를 구축하기 위한 종단간 에이전틱 강화학습 프레임워크인 DeepTravel을 제안한다. 이를 위해 먼저 교통, 숙박 및 POI 데이터를 캐싱하여 견고한 여행 샌드박스를 구축하고, 실세계 API의 한계(예: 일관되지 않은 출력)에 구애받지 않고 TP 에이전트 학습을 가능하게 한다. 또한 계층적 보상 모델링 시스템을 개발하는데, 궤적 수준 검증기가 먼저 시공간적 실현 가능성을 확인하고 충족되지 않은 여행 일정을 걸러낸 다음, 턴 수준 검증기가 도구 응답과의 일정 세부 일관성을 추가로 검증하여 효율적이고 정밀한 보상 제공을 가능하게 한다. 마지막으로, TP 에이전트가 실패 경험 버퍼에서 주기적으로 리플레이할 수 있게 하는 응답 증강 강화학습 방법을 제안하여 눈에 띄는 에이전틱 역량을 끌어낸다. 학습된 TP 에이전트를 DiDi Enterprise Solutions 애플리케이션에 배포하였다. 3개월간의 온라인 테스트 결과 여행 일정 생성에서 82%의 정확도를 달성하였다. 포괄적인 오프라인 평가는 DeepTravel이 소형 LLM(예: Qwen3-32B)이 최첨단 LLM(예: OpenAI o1/o3 및 DeepSeek-R1)과 기존 TP 에이전트 프레임워크를 크게 능가하도록 함을 추가로 보여준다.

arXiv:2604.17931v4cs.AI

LiteResearcher: A Scalable Agentic RL Training Framework for Deep Research Agent

Reinforcement Learning (RL) has emerged as a powerful training paradigm for LLM-based agents. However, scaling agentic RL for deep research remains constrained by two coupled challenges: hand-crafted synthetic data fails to elicit genuine real-world search capabilities, and real-world search dependency during RL training introduces instability and prohibitive cost, which limits the scalability of Agentic RL. LiteResearcher is a training framework that makes Agentic RL scalable: by constructing a lite virtual world that mirrors real-world search dynamics, we enable a continuously improving training recipe that empowers a tiny search agent to outperform large-scale open-source and commercial models (e.g., Tongyi DeepResearch and Claude-4.5 Sonnet). Specifically, on common benchmarks such as GAIA and Xbench, our LiteResearcher-4B achieves open-source state-of-the-art results of 71.3% and 78.0% respectively, demonstrating that scalable RL training is a key enabler for Deep Research Agents.

arXiv:2606.17680v1cs.LG

EnvRL: 에이전트 강화학습에서 환경 역학 학습하기

EnvRL: Learn from Environment Dynamics in Agentic Reinforcement Learning

강화학습(RL)은 대규모 언어 모델(LLM)을 에이전트로 학습시키는 강력한 패러다임으로 부상했습니다. 그러나 장기(long-horizon) 에이전트 작업에 대한 기존 RL 방법은 종종 희소한 결과 보상(sparse outcome rewards) 문제로 어려움을 겪습니다. 직관적으로 볼 때, 이는 롤아웃 상호작용 궤적에 포함된 풍부한 환경 역학(environment dynamics) 정보를 간과하는 것입니다. 우리는 상호작용 경험이 본질적으로 암시적 감독 신호로 작용하며, 환경의 기저 전이 메커니즘을 드러내고 에이전트가 더 정확한 환경 내부 모델을 구축할 수 있게 한다고 주장합니다. 따라서 본 연구에서는 정책 학습을 개선하기 위해 이 추가 신호를 활용하는 방법을 탐구합니다. 구체적으로, 우리는 상태 예측과 역동역학(inverse dynamics)이라는 두 가지 보조 목적을 통해 환경 역학 학습을 에이전트 RL에 통합하는 EnvRL 프레임워크를 제안합니다. 주요 RL 목적과 함께 공동 최적화를 수행함으로써, 에이전트가 자신의 상호작용 경험으로부터 환경 역학을 내재화하도록 유도합니다. 두 가지 장기 에이전트 벤치마크에 대한 광범위한 실험을 통해 EnvRL이 RL 전용 기준 모델 대비 성공률에서 유의미한 향상을 달성함을 입증했습니다. 예를 들어, GRPO로 학습했을 때 ALFWorld에서 Qwen-2.5-1.5B-Instruct의 성공률을 72.8%에서 77.4%로, WebShop에서는 56.8%에서 67.0%로 상승시켰습니다.

arXiv:2604.18401v3cs.CL

StepPO: 에이전트 강화학습을 위한 단계 정렬 정책 최적화

StepPO: Step-Aligned Policy Optimization for Agentic Reinforcement Learning

에이전트 강화학습(RL)은 LLM 에이전트의 능력을 향상시키기 위한 중요한 사후 학습 패러다임으로 부상하고 있습니다. 기존 LLM용 RL 알고리즘은 대부분 RLHF와 RLVR에서와 같은 토큰 중심 패러다임을 따르며, 여기서 토큰은 모델링과 최적화의 기본 단위로 사용됩니다. 그러나 이 패러다임은 에이전트 RL에서 세분성 불일치를 야기하는데, 이는 LLM 에이전트가 환경 관찰과 행동의 주기를 통해 단계 수준의 결정을 내리는 동안 토큰 수준의 예측을 최적화하기 때문입니다. 이러한 격차를 해소하기 위해, 우리는 단계 정렬 정책 최적화를 통한 에이전트 RL을 위한 단계 중심 패러다임인 \textbf{StepPO}를 제안합니다. 구체적으로, 우리는 에이전트 RL을 토큰 수준의 마르코프 결정 과정(MDP)에서 상호작용 단계가 기본 궤적 표현으로 사용되는 단계 수준 MDP로 재정의합니다. 또한, 우리는 정책 최적화를 에이전트 결정의 자연스러운 세분성과 정렬하기 위해 단계 수준 신용 할당을 제안합니다. 이를 통해 StepPO는 다중 턴 에이전트-환경 상호작용에 대해 단계 수준에서 에이전트 정책을 최적화합니다. 다중 홉 QA, 학술 논문 검색, 텍스트 월드 행동 작업에 걸친 실험 결과, StepPO가 다양한 RL 알고리즘보다 일관되게 우수한 성능을 보임을 확인했습니다. 추가 분석을 통해 단계 중심 패러다임이 에이전트 학습을 어떻게 향상시키는지에 대한 통찰을 제공합니다. 우리는 이 단계 중심 패러다임이 에이전트 행동을 이해하는 데 유용한 렌즈를 제공하고 더 유능한 LLM 에이전트를 훈련하는 실용적인 경로가 되기를 바랍니다.