Hamilton-Jacobi Reachability in Reinforcement Learning: A Survey
원문 초록
Recent literature has proposed approaches that learn control policies with high performance while maintaining safety guarantees. Synthesizing Hamilton-Jacobi (HJ) reachable sets has become an effective tool for verifying safety and supervising the training of reinforcement learning-based control policies for complex, high-dimensional systems. Previously, HJ reachability was restricted to verifying low-dimensional dynamical systems primarily because the computational complexity of the dynamic programming approach it relied on grows exponentially with the number of system states. In recent years, a litany of proposed methods addresses this limitation by computing the reachability value function simultaneously with learning control policies to scale HJ reachability analysis while still maintaining a reliable estimate of the true reachable set. These HJ reachability approximations are used to improve the safety, and even reward performance, of learned control policies and can solve challenging tasks such as those with dynamic obstacles and/or with lidar-based or vision-based observations. In this survey paper, we review the recent developments in the field of HJ reachability estimation in reinforcement learning that would provide a foundational basis for further research into reliability in high-dimensional systems.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Reinforcement Learning: A Survey
거래 비용 인식 LLM 에이전트를 활용한 에너지 정책 개입에 대한 세입자 반응 시뮬레이션
Simulating Tenant Responses to Energy Policy Interventions with Transaction-Cost-Aware LLM Age
최근 연구들은 인구통계적, 태도적 또는 페르소나 기반 설명으로 모델에 프롬프트를 제공하여 대규모 언어 모델(LLM)로 인간의 의견과 의사결정을 시뮬레이션한다. 그러나 이러한 시뮬레이션은 사람들이 정책 개입에 어떻게 반응하는지를 형성하는 실무적, 인지적 또는 사회적 마찰을 거의 모델링하지 않는다. 지각된 거래 비용(perceived transaction cost, PTC)은 정보 부담, 행정적 노력, 조정(coordination) 요구, 지각된 불확실성 등 정책 반응을 형성하는 실무적 마찰을 모델링하는 데 유용한 렌즈를 제공한다. 우리는 이 렌즈를 사용하여 LLM 기반 시뮬레이션을 위한 마찰 인식(friction-aware) 페르소나 모델링 접근법을 개발한다. 에너지 효율 리노베이션(energy-efficient renovation, EER) 맥락에서 세입자는 인구통계적으로 누구인지뿐만 아니라, 제안된 리노베이션 계획과 관련된 비용, 이익, 장벽, 불확실성을 어떻게 지각하는지에 의해 표현된다. 네덜란드에서 1,068명의 시민으로부터 수집하고 약 40,548개의 설문 질문-답변 쌍으로 구성된 설문 데이터를 사용하여, GPT-3.5-turbo, Ministral-8B-Instruct, Llama-3.1-8B-Instruct에 걸쳐 프롬프트 전용(prompt-only) 및 미세조정(fine-tuned) 설정을 비교하고, 로컬 오픈 가중치(open-weight) 모델에 대해 지도 미세조정(SFT) 및 Group Relative Policy Optimization(GRPO)을 평가한다. 결과는 PTC 기반 페르소나와 추론(reasoning)을 통합하면 프롬프트 전용 및 미세조정 설정 모두에서 모델 성능이 일관되게 향상됨을 보여주며, PTC 기반 페르소나 설계가 제도적 정책 이론과 해석 가능한 LLM 기반 정책 시뮬레이션 사이의 유용한 가교를 제공함을 시사한다. 코드는 https://github.com/xiaweijie1996/socialagent 에서 제공된다.
Reasoning on a Budget: Miniaturizing DeepSeek R1 with SFT-GRPO Alignment for Instruction-Tuned LLMs
Meta Reinforcement Learning for Multi-Task Offloading in Vehicular Edge Computing
Investigating the Performance and Reliability, of the Q-Learning Algorithm in Various Unknown Environments
Margin Trader: A Reinforcement Learning Framework for Portfolio Management with Margin and Constraints
토론
이 논문과 연결된 포럼 글이 아직 없습니다.