arXiv:2603.11351v3 cs.RO

하이브리드 대규모 언어 모델(LLM)-기호 계획 및 LLM 유도 강화학습을 통한 새로움 적응

Novelty Adaptation Through Hybrid Large Language Model (LLM)-Symbolic Planning and LLM-guided Reinforcement Learning

Hong Lu, Pierrick Lorang, Timothy R. Duggan, Jivko Sinapov, Matthias Scheutz

제출 2026-03-11

저자 비고

arXiv Comments

Accepted at IEEE/RSJ International Conference on Intelligent Robots & Systems (IROS) 2026

한국어 초록

동적인 개방형 환경(open-world environments)에서 자율 에이전트(agent)는 목표를 달성하기 위한 계획을 수립하는 데 방해가 되는 새로운 상황이나 대상(novelty)에 자주 직면합니다. 구체적으로, 환경 내의 새로운 객체와 적절하게 상호작용할 수 있도록 하는 연산자(operator)가 로봇의 계획 도메인에 결여되어 있을 때 전통적인 기호 계획기(symbolic planner)는 계획 생성에 실패합니다. 본 논문에서는 새로운 객체를 다루는 방법을 학습하기 위해 기호 계획, 강화학습(reinforcement learning), 그리고 대규모 언어 모델(LLM)을 통합하는 신경-기호(neuro-symbolic) 아키텍처를 제안합니다. 특히, LLM의 상식 추론(common sense reasoning) 능력을 활용하여 누락된 연산자를 식별하고, 기호 AI 계획기를 통해 계획을 생성하며, 새로 식별된 연산자에 대한 제어 정책(control policy)을 학습하도록 강화학습 에이전트를 유도하는 보상(reward) 함수를 작성합니다. 제안하는 방법은 연속적인 로봇 도메인에서 연산자 발견 및 연산자 학습 모두에서 최고 수준(state-of-the-art)의 방법들을 능가합니다. 웹페이지와 코드는 https://helenlu66.github.io/hybridLLMguided/ 에서 확인할 수 있습니다.

원문 초록

In dynamic open-world environments, autonomous agents often encounter novelties that hinder their ability to find plans to achieve their goals. Specifically, traditional symbolic planners fail to generate plans when the robot's planning domain lacks the operators that enable it to interact appropriately with novel objects in the environment. We propose a neuro-symbolic architecture that integrates symbolic planning, reinforcement learning, and a large language model (LLM) to learn how to handle novel objects. In particular, we leverage the common sense reasoning capability of the LLM to identify missing operators, generate plans with the symbolic AI planner, and write reward functions to guide the reinforcement learning agent in learning control policies for newly identified operators. Our method outperforms the state-of-the-art methods in operator discovery as well as operator learning in continuous robotic domains.Our webpage and code can be access here: https://helenlu66.github.io/hybridLLMguided/

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.11351v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02545v2cs.LG공통 태그 Continuous Control, reinforcement learning rl

보상 인플레이션: 강화학습을 위한 건강한 자극

Reward Inflation: A Healthy Stimulus for Reinforcement Learning

보상은 강화 학습(RL)의 주된 학습 신호이다. 그러나 보상의 크기는 보통 학습 내내 고정되는 반면, 그 시간적 조절은 아직 충분히 탐구되지 않았다. 본 논문은 학습이 진행되는 동안 보상을 점진적으로 스케일링하는 보상 인플레이션(reward inflation)을 제안하고, 이것이 RL에 건강한 자극으로 작용할 수 있음을 보인다. 이론적으로 보상 인플레이션은 정책 갱신 중 최근 전이에 더 큰 가중을 두는 암묵적 최신성 가중을 유도하여 더 빠른 적응을 가능하게 한다. 또한 보상 인플레이션이 정책이 포화될 때 그래디언트 신호를 유지함으로써 휴면 뉴런의 출현을 억제함을 보이며, 이는 가소성 보존에 기여할 가능성을 시사한다. ALE 게임과 MuJoCo 과제에 대한 실험 결과는 이러한 발견을 뒷받침하며, 적절한 수준의 보상 인플레이션이 광범위한 과제에 이롭다는 것을 보여 준다. 마지막으로 인플레이션 수준을 즉석에서 조정하는 적응형 변형인 Fed를 도입하며, 이것이 고정된 인플레이션보다 자주 성능을 향상시킨다는 것을 확인한다. 소스 코드는 https://github.com/northadventure/RewardInflation 에서 이용할 수 있다.

arXiv:2610.01548v2cs.LG공통 태그 Large Language Model, reinforcement learning rl

Range-GRPO: 보상 구간 간 쌍별 관계를 통한 정책 최적화

Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals

대규모 언어 모델(LLM)의 활용이 확대됨에 따라, 이를 다운스트림 작업에 적응시키기 위한 사후 학습의 중요성이 점점 커지고 있다. 그러나 특히 참조 정답이나 실행 가능한 검증기가 없는 분야에서는 신뢰할 수 있는 감독(supervision)을 확보하는 데 여전히 많은 비용이 든다. LLM-as-a-judge는 레이블이 없는 응답에 대해 확장 가능한 유사 보상(pseudo-reward)을 제공하지만, 단일 점수(point score)는 보상의 불확실성을 명시적으로 나타내지 못한다. 이는 유사 보상을 콘포멀하게 보정된(conformally calibrated) 보상 구간으로 표현하려는 동기가 된다. 우리는 제한된 레이블 데이터와 레이블이 없는 프롬프트를 결합하는 반지도(semi-supervised) 사후 학습 프레임워크인 Range-GRPO를 제안한다. Group Relative Policy Optimization(GRPO)에서는 학습 신호가 각 롤아웃 그룹 내에서의 상대적 보상 비교에 의존한다. 제안하는 목적 함수는 보상 구간을 점 보상(point reward)으로 축소하는 대신 쌍별(pairwise)로 비교함으로써, 구간 불확실성이 이러한 신호의 크기와 방향 모두에 영향을 미칠 수 있도록 한다. 이론적 분석을 통해 이러한 차이를 규명하고, 모든 보상 구간이 점으로 축소될 때 제안된 목적 함수가 Dr.GRPO의 어드밴티지(advantage)로 환원됨을 보인다. 실험적으로 Range-GRPO는 평가된 반지도 학습 방법들 중에서 분포 내(in-distribution) 및 분포 외(out-of-distribution) 평균 성능이 가장 높으면서도 더 적은 학습 자원을 필요로 한다.

arXiv:2610.02366v1cs.LG공통 태그 Continuous Control, reinforcement learning rl

Co-Design Gym: 신체 구조-정책 공동최적화를 위한 통합 벤치마크

Co-design Gym: A Unified Benchmark for Embodiment-Policy Co-optimization

주어진 환경(environment) 내에서 최적의 행동 정책(policy)을 찾는 것은 게임, 로보틱스, 에너지 인프라, 통신 네트워크, 다중 에이전트(agent) 시스템 등 다양한 분야에서 널리 연구되어 온 문제이다. 이러한 연구를 지원하기 위해 수많은 벤치마크가 개발되었지만, 대다수는 에이전트의 신체 구조(embodiment, 설계)가 고정되어 있다고 가정하고 정책 학습(policy learning)에만 초점을 맞춘다. 이 가정을 제거하면, 신체 구조와 정책을 개별적으로 최적화하는 것이 최적에 크게 못 미치는(highly suboptimal) 더 넓은 범주의 문제들이 드러난다. 에이전트의 신체 구조는 어떤 제어 정책을 발견할 수 있는지를 강하게 좌우하며, 반대로 최적의 신체 구조는 그것이 허용하는 정책들에 의해 정의된다. 연구 커뮤니티가 이러한 범주의 문제를 명시적이고 체계적으로 연구할 수 있도록 돕기 위해, 우리는 신체 구조와 정책을 공동으로 최적화하기 위한 벤치마크 환경 모음인 Co-Design Gym을 소개한다. 우리의 환경은 로봇 조작(manipulation) 및 이동(locomotion), 다중 로봇 협력, 변형 가능하고 유연한(deformable and soft) 동역학, 비디오 게임, 전력망, 무선 네트워크, F1 레이싱, 다중 에이전트 창고, 최적 제어(optimal control) 등의 분야를 포괄하며, 총 20개의 환경 군(도메인)에서 85개 이상의 서로 다른 공동 설계(co-design) 프리셋을 제공한다. 우리는 또한 대표적인 공동 설계 알고리즘들에 대한 체계적인 평가를 수행하여 현재 기술 수준(state of the art)을 규명한다. 이러한 기여들은 공동 설계 분야에서 누적적이고 비교 가능한 발전을 위한 토대를 마련한다.

arXiv:2610.02700v1cs.LG공통 태그 Large Language Model, reinforcement learning rl

진화하는 오류로부터의 학습: 온-정책 증류를 위한 적응형 반복 복구

Learning from Evolving Errors: Adaptive Iterative Repair for On-Policy Distillation

온-정책 자가 증류(OPSD)는 학생 모델 자신의 정책에서 샘플링된 궤적에 대해 조밀한 토큰(token) 수준의 피드백을 제공하며, 이는 강화학습(RL)의 결과 수준 보상보다 더 풍부한 학습(training) 신호가 됩니다. 이 피드백은 학생에게는 주어지지 않는 완전한 참조 해법을 조건으로 하는 교사 모델로부터 생성됩니다. 그러나 참조 해법은 목표를 명시할 뿐 학생의 현재 오류에서 목표로 나아가는 방법을 알려주지는 않으므로, 해법 조건부 지름길 위험(solution-conditioned shortcut risk)을 초래합니다. 본 논문에서는 오류에서 복구로 이어지는 지도(supervision)를 제공하는 온-정책 증류 프레임워크인 적응형 반복 복구 AIR-OPD를 제안합니다. 실패한 응답이 주어지면 가이던스 생성기는 현재 오류에 대한 복구 가이던스를 합성합니다. 학생은 이 가이던스를 바탕으로 온-정책(on-policy) 재시도를 샘플링합니다. 재시도가 여전히 틀릴 경우, 생성기는 새롭게 관찰된 오류에 대한 새로운 복구 가이던스를 생성합니다. 각 라운드마다 고정된 교사는 특권 문맥(privileged context)으로 가이던스를 받아 최신 실패 응답 중 오류와 일치하는 영역에 대해 학생을 지도합니다. 결과 인식 단계별 가중치(Outcome-aware stage weighting)는 초기 복구 단계를 선호하며, 즉각적인 재시도가 검증을 통과한 단계에 가중치를 부여합니다. DAPO-Math-17K 데이터셋으로 AIR-OPD를 학습하고 AIME24, AIME25, HMMT25 및 분포 외(out-of-distribution) 테스트인 MMLU-Pro와 GPQA에서 평가를 진행합니다. 현재 학생 정책의 자체 가이던스와 더 큰 모델(model)의 외부 가이던스라는 두 가지 가이던스 소스를 검토합니다. Qwen3-4B와 Qwen3-8B 모두에서 AIR-OPD는 가장 높은 수학적 추론 평균을 달성하여 가장 강력한 기준선(baseline) 대비 최대 3.6점을 개선하는 동시에, 분포 외 벤치마크에서 기본 모델의 성능을 유지합니다.

arXiv:2609.40134v2cs.RO공통 태그 Continuous Control, reinforcement learning rl

촉각적 호기심을 통한 로봇 상호작용 유도

Tactile Curiosity Drives Robot Interaction

강화학습(RL)을 통해 로봇 조작 기술을 습득하는 것은 여전히 표본 효율성(sample efficiency)이 크게 떨어집니다. 가장 일반적인 강화학습 알고리즘은 새로운 전략을 발견하기 위해 무작위 행동 샘플링에 의존하므로, 조작 기술이 발현되는 접촉과는 거리가 먼 자유 공간에서의 움직임에 학습 예산의 대부분을 할당하게 됩니다. 모델 불일치나 인식론적 불확실성(epistemic uncertainty)에 기반한 기존 내재적 동기 부여 방법들은 등방성 노이즈보다 개선되었으나, 자유 공간에서의 불규칙한 움직임과 같이 기능적으로 무관한 전이의 불확실성에 대해서도 보상을 제공할 수 있습니다. 본 연구에서는 촉각 피드백이 탐험을 위한 자연스러운 신호를 제공한다고 주장하며, 감각 양식(sensory modalities) 전반에 걸쳐 모델 불확실성을 분해하고 호기심을 촉각 채널로 유도함으로써 촉각을 인식론적 불확실성 기반 탐험에 통합하는 프레임워크인 TacEx를 소개합니다. TacEx는 호기심을 촉각에 고정함으로써 로봇이 복잡한 접촉 동역학을 발견하도록 유도하여, 탐험 과정에서 과제 보상이나 전문가 시연 없이도 물체를 조작하고 파지(grasping)하는 법을 학습하도록 합니다. 이러한 촉각 주도형 호기심을 통해 수집된 상호작용 밀집 데이터셋은 추가적인 환경 상호작용 없이도 다운스트림 집기 및 놓기(pick-and-place) 정책의 오프라인 학습을 지원합니다. 나아가 우리는 촉각 주도형 탐험을 활용하여 비전-언어-행동(VLA) 모델을 사후 학습합니다. VLA는 초기에 촉각 피드백 없이 사전학습되었음에도 불구하고, TacEx를 통한 사후 학습은 매우 높은 표본 효율성을 유지하면서 다운스트림 성능을 실질적으로 향상시킵니다.

arXiv:2610.01458v2cs.AI공통 태그 Large Language Model, reinforcement learning rl

사후 집중 관점에서 본 확률 기반 강화학습의 재고

Rethinking Probability-Based Reinforcement Learning From Posterior Concentration

확률 기반 보상을 활용한 검증기 없는(verifier-free) 강화학습(RL)은 외부 검증기를 사용할 수 없는 일반 추론 태스크에서 대규모 언어 모델(LLM)을 학습(training)하기 위한 유망한 방식을 제공합니다. 그러나 특히 긴 호흡의 추론(long-horizon reasoning)에서 이러한 보상의 신뢰성은 아직 충분히 연구되지 않았습니다. 본 연구는 확률 보상에서 길이에 의존하여 발생하는 실패 모드를 규명하고, 이를 사후 집중 현상(Posterior Concentration Phenomenon, PCP)이라 명명합니다. 우리는 추론 과정(reasoning trace)이 길어짐에 따라 추론 과정을 조건부로 하는 참조 답변의 확률이 분산이 낮은 구간으로 축소되는 경우가 빈번함을 보입니다. 이 현상은 거의 구별할 수 없는 보상으로 이어져, GRPO 기반 설정에서 확률 기반 정책 최적화(policy optimization)를 불안정하고 비효율적으로 만듭니다. 이에 착안하여, 우리는 더 나은 최적화 안정성과 토큰(token) 효율성을 위해 PCP를 명시적으로 고려하는 검증기 없는 강화학습 프레임워크인 집중 인식 사후 보상 기반 강화학습(Reinforcement Learning with Concentration-aware Posterior Rewards, RLCPR)을 제안합니다. 이 프레임워크는 두 가지 구성 요소를 가집니다. 첫째는 생성 전에 집중이 발생하기 쉬운 롤아웃을 줄이는 불확실성 인식 데이터 샘플링이며, 둘째는 사후 보상이 붕괴될 때 불필요하게 긴 추론 과정에 페널티를 부여하는 집중 인식 정규화(regularization)입니다. 광범위한 실험 결과, RLCPR은 더 높은 토큰 효율성과 더불어 일반 영역 및 수학적 추론 과제를 포함한 7개 벤치마크(benchmark) 중 6개에서 기존 최고 수준의 검증기 없는 강화학습 기준선(baseline) 대비 최대 4.0% 우수한 성능을 보였습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.