PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15772v1cs.CL

RSIPO: 스킬-정책 공진화를 통한 에이전트 강화학습용 재귀적 자기 개선 정책 최적화

RSIPO: Recursive Self-Improving Policy Optimization for Agentic Reinforcement Learning via Skill-Policy Co-Evolution

최근 에이전트(agent) 강화학습(RL) 분야에서는 긴 지평(long-horizon) 과제에서의 신용 할당(credit assignment)을 개선하는 데 집중하고 있습니다. 유망한 방향 중 하나는 검증 가능한 보상을 활용한 강화학습(RLVR)과 온-정책(on-policy) 자기 증류(OPSD)를 결합하여, 궤적 수준(trajectory-level)의 이점(advantage)과 조밀한 토큰 수준의 감독을 통합하는 것입니다. 이러한 일련의 연구는 학생 정책(student policy)이 생성한 토큰을 평가하기 위해 에이전트 스킬과 같은 특권적 문맥(privileged context)에 교사 모델을 조건화하는 경우가 많습니다. 이러한 진전에도 불구하고, 기존 연구들은 에이전트 스킬의 온-정책적 진화와 교사 감독의 신뢰성을 대체로 간과하고 있습니다. 이를 해결하기 위해, 본 논문에서는 학습 과정 전반에 걸쳐 에이전트 스킬과 정책 모델이 함께 공진화(co-evolve)할 수 있도록 하는 자기 진화형 에이전트 강화학습 프레임워크인 재귀적 자기 개선 정책 최적화(RSIPO)를 제안합니다. 구체적으로 RSIPO는 정책 모델 스스로가 완료된 궤적에서 스킬을 추출할 수 있도록 하며, 궤적 리플레이(trajectory replay)를 통해 스킬 생성 역량을 명시적으로 최적화합니다. 또한 스킬로 강화된 교사의 지도가 때로는 신뢰성이 떨어질 수 있다는 점을 고려하여, 경험적 베이즈 축소(empirical Bayes shrinkage)를 적용해 교사 점수에 대한 학생의 신뢰도를 동적으로 보정합니다. 체화된 상호작용(embodied interaction) 및 검색 기반 에이전트 과제에서 Qwen 계열 모델을 사용한 실험 결과, RSIPO가 비교 대상이 된 모든 기준선 접근법을 능가하는 성능을 보였습니다. Qwen2.5-7B를 기본 모델로 사용했을 때 RSIPO는 ALFWorld에서 평균 98.6%의 성공률을 달성하여, 차상위 기준선 및 표준 GRPO 대비 각각 2.5%와 17.4%의 절대적인 성능 향상을 기록했습니다.

arXiv:2610.13438v1cs.AI

롤아웃 시점 개입: 정책의 한계를 넘어 에이전트 강화학습 잠재력 끌어내기

Rollout-Time Intervention: Unlocking Agentic Reinforcement Learning Beyond Policy Limits

강화학습(RL)은 상호작용 환경에서 더 강력한 추론, 계획 및 도구 사용을 가능하게 함으로써 대규모 언어 모델(LLM) 에이전트를 개선하기 위한 핵심 패러다임으로 부상했습니다. 그러나 기존의 에이전트 강화학습 방법은 온-정책(on-policy) 추론 병목 현상으로 인해 근본적인 한계를 지닙니다. 즉, 작업이 모델의 현재 역량 범위를 벗어나면 유효한 궤적이 극도로 희소해져 학습(training)이 붕괴되는 경우가 빈번합니다. 본 연구에서는 정책 고유의 탐험(exploration) 역량을 넘어 성공적인 궤적을 이끌어내도록 설계된 기법인 롤아웃 시점 개입(Rollout-Time Intervention, RTI)을 제안합니다. RTI는 롤아웃 중에 보상 측면의 증거(즉, 평가 루브릭)를 활용하여 오류가 발생한 궤적을 성공적인 궤적으로 변환함으로써, 정책이 자체적으로는 거의 풀지 못하는 작업에 대해 효과적인 학습 신호를 제공합니다. 비록 개입 궤적이 본질적으로 오프-정책(off-policy)에 해당하지만, 과도한 분포 변화(distributional shift)를 보이는 궤적을 걸러내면 정책 최적화(optimization)를 효과적으로 이끌 수 있음을 확인했습니다. 5개 벤치마크에 걸친 광범위한 평가를 통해 RTI가 기존 강화학습 베이스라인을 일관되게 능가하며, 사후학습된 정책이 실질적으로 훨씬 더 강력한 최신 LLM의 성능에 근접하고, 더 중요하게는 기존의 역량 한계를 뛰어넘도록 지원함을 입증했습니다. 코드는 https://github.com/Alibaba-NLP/qqr 에서 이용할 수 있습니다.

arXiv:2507.14897v2cs.AI

AgentFly: 통합 리소스 시스템을 통한 에이전트 강화학습의 스케일링

AgentFly: Scaling Agentic Reinforcement Learning with Unified Resource System

대규모 언어 모델(LLM) 에이전트를 구축하는 방법은 프롬프트 엔지니어링과 지도 미세조정(SFT)에서 에이전트 강화학습(agentic RL)으로 발전해 왔습니다. 그러나 에이전트 강화학습은 주변 시스템으로 인한 병목 현상을 여전히 겪고 있습니다. 에이전트는 샌드박스, 모델 서비스, 외부 API와 같은 이종 환경과 상호작용해야 하며, 이러한 환경의 할당, 재사용 및 수명 주기는 롤아웃(rollout) 비용의 대부분을 차지하고 실질적으로 학습(training) 가능한 규모를 제한합니다. 본 연구에서는 단일 엔진을 통해 스케줄링되는 개별적이고 유형화된 리소스로서 이러한 각 환경을 처리하는 통합 리소스 층(layer) 기반의 에이전트 강화학습 프레임워크인 AgentFly를 제시합니다. 이 프레임워크는 멀티턴 재사용을 위한 도구별 획득, 비동기 배압(backpressure), 롤아웃 범위 대 전역 범위의 수명 주기를 지원합니다. AgentFly는 4개 층 구조 설계를 채택합니다: (I) 에이전트, 도구, 보상 개념을 추상화하여 에이전트 강화학습을 에이전트, 도구 및 보상 함수 정의로 분해하는 에이전트 층; (II) 이들을 에이전트 루프로 구성하고 보상을 계산하는 롤아웃 층; (III) 롤아웃을 구성하고 문맥 정보를 주입하며 리소스를 배치하는 컨텍스트 층; (IV) 리소스 관리를 수행하는 저수준 리소스 층. 우리는 사전 구축된 도구 및 환경 모음을 제공하고, 여러 태스크와 모델에 걸쳐 성공적인 에이전트 학습을 입증하며, 에이전트 강화학습 프레임워크 간 최초의 통제된 처리량 비교 결과를 보고합니다.

arXiv:2607.04242v1cs.AI

에이전틱 강화학습을 위한 진행도 및 신뢰성 지향 그룹 정책 최적화

Progress- and Reliability-Oriented Group Policy Optimization for Agentic Reinforcement Learning

그룹 기반 강화학습(RL)은 장기 상호작용 태스크에서 대규모 언어 모델 에이전트를 개선하는 효과적인 패러다임으로 자리 잡았다. 트래젝토리 수준 최적화보다 세밀한 정책 업데이트를 얻기 위해, 최근 연구들은 롤아웃 배치 내에서 중간 단계들을 그룹화하고 비교하는 단계 수준 그룹 기반 RL로 나아가고 있다. 그러나 단계 수준 어드밴티지 추정은 그룹 구성 방식에 민감하다. 넓은 상태 키로 그룹화하면 커버리지는 향상되지만 서로 다른 히스토리에서 취한 행동을 비교하게 될 수 있고, 히스토리 일관성을 강제하면 비교가 더 공정해지지만 단편적인 그룹과 피어 비교 신호 손실이 발생한다. 본 논문에서는 맥락 일관적인 단계 수준 학습을 위한 학습된 크리틱 불필요 방법인 ProGPO(Progress- and Reliability-Oriented Group Policy Optimization)를 제안한다. ProGPO는 정확한 접두 문맥 행동 비교를 유지하면서, 롤아웃 기반 상태 포텐셜에서 도출한 전이 크레딧으로 희소한 피어 비교를 보완한다. 이 포텐셜을 신뢰성 있게 추정하기 위해, ProGPO는 히스토리 깊이에 따른 역분산 융합과 의미론적 확장을 결합한다. 우리는 Qwen2.5-1.5B-Instruct를 사용하여 ALFWorld와 WebShop이라는 두 가지 도전적인 에이전틱 태스크에서 ProGPO를 평가한다. 실험 결과, ProGPO는 유사한 연산 오버헤드 하에서 동일 조건의 에이전틱 RL 베이스라인 대비 성능이 향상됨을 보여주며, 추가적인 Qwen2.5-3B-Instruct 실험을 통해 제안 방법의 확장성을 추가로 검증한다.

arXiv:2606.29476v1cs.LG

CRAFT: 자기 증류 에이전틱 강화학습을 위한 무비용 형제 롤아웃 기반 반사실적 크레딧 할당

CRAFT: Counterfactual Credit Assignment from Free Sibling Rollouts for Self-Distilled Agentic Reinforcement Learning

CRAFT는 자기 증류 에이전틱 강화학습에서 기존 단일 스칼라 게이팅 방식의 두 한계—회고적 신호와 부호 불감성—를 해결하기 위해, GRPO가 이미 샘플링하는 형제 롤아웃을 재활용한 반사실적 토큰 중요도(CTI), 비대칭 적응형 컨트롤러, 토큰별 방향 양극화 KL 패널티라는 세 기둥으로 구성된 크레딧 할당 방식을 제안한다. 각 기둥은 독립적으로 비활성화 시 기준선과 바이트 단위 동일한 결과를 보장하며, 세 가지 에이전틱 환경과 네 가지 모델 스케일에 걸친 실험을 통해 그 효과를 검증한다.

arXiv:2606.27632v1cs.CL

Yuvion LLM: 콘텐츠 및 AI 안전을 위한 적대적 인식 대규모 언어 모델

Yuvion LLM: An Adversarially-Aware Large Language Model for Content And AI Safety

적대적 입력에서 비롯된 안전성 취약점을 해소하기 위해, Alibaba Security AGI Lab은 적대적 견고성과 에이전트 역량을 핵심 목표로 삼아 지식 강화 지속 사전학습, 정책 기반 다중 과제 안전 사후학습, 안전 인식 에이전트 강화학습의 3단계 파이프라인으로 Yuvion LLM을 개발하였다. 93개 벤치마크로 구성된 YLRE 평가 프레임워크에서 Yuvion-32B는 콘텐츠 안전성 Macro F1 78.2%로 GPT-5.4(72.2%)를 능가하였으며, 8B 규모의 소형 모델도 GPT-5.4 및 Qwen3-MAX를 포함한 대부분의 최신 베이스라인을 여러 안전 과제에서 상회하였다.