arXiv:2001.07679

Stochastic Finite State Control of POMDPs with LTL Specifications

Mohamadreza Ahmadi, Rangoli Sharan, Joel W. Burdick

제출 2020-01-21

원문 초록

Partially observable Markov decision processes (POMDPs) provide a modeling framework for autonomous decision making under uncertainty and imperfect sensing, e.g. robot manipulation and self-driving cars. However, optimal control of POMDPs is notoriously intractable. This paper considers the quantitative problem of synthesizing sub-optimal stochastic finite state controllers (sFSCs) for POMDPs such that the probability of satisfying a set of high-level specifications in terms of linear temporal logic (LTL) formulae is maximized. We begin by casting the latter problem into an optimization and use relaxations based on the Poisson equation and McCormick envelopes. Then, we propose an stochastic bounded policy iteration algorithm, leading to a controlled growth in sFSC size and an any time algorithm, where the performance of the controller improves with successive iterations, but can be stopped by the user based on time or memory considerations. We illustrate the proposed method by a robot navigation case study.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01939v1cs.CV공통 태그 Decision Making, Robot Manipulation

더 적은 토큰으로 더 나은 행동을: 14% 더 높은 성공률과 65% 더 적은 토큰을 달성한 GPT-6 Astra 로봇 에이전트

Fewer Tokens, Better Action: GPT-6 Astra Robot Agents with 14% Higher Success Rate but 65% Fewer Tokens

비전-언어 모델(VLM) 에이전트는 시각적 피드백과 행동 프리미티브를 통해 로봇을 제어할 수 있지만, 반복적인 모델 호출과 불필요한 관측으로 인해 상당한 토큰 오버헤드가 발생합니다. 본 논문에서는 피드백 기반 프리미티브 구성과 선택적 관측을 결합한 대화형 코드 실행 프레임워크인 PyRUA-Lean을 제안합니다. 이 에이전트는 고전적인 로봇 프리미티브와 학습된 비전-언어-행동(VLA) 정책을 조건부 확인 및 로컬 재시도를 수행하는 Python 셀로 구성하며, 재계획을 위해 명시적으로 요청된 이미지와 상태 피드백만을 반환합니다. LIBERO-PRO, RoboTwin 2.0 및 RoboCasa365의 700개 시뮬레이션 작업 인스턴스에 걸쳐, 동일한 GPT-6 Astra 플래너와 기반 로봇 프리미티브를 사용하는 도구 호출 기준선과 PyRUA-Lean을 비교합니다. 동일한 대규모 언어 모델(LLM) 호출 예산 하에서, PyRUA-Lean은 전체 성공률을 63.1%에서 71.7%로 향상시킵니다. 두 에이전트가 모두 해결한 인스턴스에서 PyRUA-Lean은 LLM 호출을 49% 적게 사용하고 입력 토큰을 65% 적게 사용합니다.

arXiv:2609.22285v1cs.RO공통 태그 Decision Making, Robot Manipulation

ORDER: 도메인 적응형 체화 AI(Embodied AI)를 위한 허구 세계 벤치마크

ORDER: A Fictitious-World Benchmark for Domain-Adaptive Embodied AI

연속 사전학습(continual pre-training)으로 언어 모델을 새 도메인에 적응시키면 근본적인 평가 문제가 생긴다. 학습 코퍼스가 모델이 이미 알고 있는 내용과 겹치면, 성능 향상을 새로운 학습이 아니라 기존 지식 탓으로 깔끔하게 구분할 수 없기 때문이다. 이는 지식 집약·과업 경량(knowledge-intensive, task-light, KHTL) 로봇 배치—의약품 조제, 유해 물질 취급, 시설별 규정 등—에서 특히 중요하다. 여기서 물리적 과업은 단순하지만 적용 규칙은 독점적이며 안전에 critical하고, 광범위한 현장 시험은 비용이 크거나 위험하다. 본 논문은 ORDER(Ontology-driven Decision-making for Embodied Reasoning)를 제안한다. ORDER는 허구 세계 위에 구축된 벤치마크로, 어떤 모델의 사전학습 데이터에도 등장할 수 없는 자기 일관적 물리를 정의하는 342,069토큰 규모의 합성 코퍼스를 바탕으로 한다. ORDER는 500문항 지식 시험(ORDER-BENCH)과 더 어려운 구성(compositional) 과업 ORDER-SPATIAL—익숙한 장면과 완전히 새로운 장면 모두에서 안전한 조작을 위한 객체 순서 정하기—to 짝지운다. 적응 없이 GPT-4.1은 ORDER-SPATIAL에서 우연 수준 이하(Kendall's tau = 0.441)를 기록하며, 선험(prior)이 발명된 물리와 적극적으로 충돌함을 보여준다. 연속 사전학습 이후 소형 모델은 익숙한 장면과 새로운 장면 모두에서 크게 향상되어, 암기가 아닌 진정한 세계 모델 유도(world-model induction)의 증거를 제공한다. 이어 로봇 파이프라인까지 확장한다. 지식 시험을 잘 통과하는 모델도 추가 스킬 적응(skill-adaptation) 단계 없이는 유효하고 실행 가능한 계획을 종종 만들지 못한다. 그 단계 이후 완전 오프라인 소형 모델은 GPT-4.1이 동일 규칙에 대한 검색(retrieval) 접근을 제공받는 경우에도 GPT-4.1을 능가한다(Kendall's tau = 0.848 대 0.606). 이는 human-in-the-loop 보정이 포함된 시뮬레이션 iiwa7 팔에서 지각부터 실행까지의 전체 루프로 시연된다. 전반적으로 실제 계획 품질을 예측하는 것은 지식 시험 정확도가 아니라 ORDER-SPATIAL 성능이다.

arXiv:2607.23132v2cs.CV공통 태그 Decision Making

DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩

DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video

교통사고 상황의 심각도를 평가하는 것은 어떤 응급 서비스를 출동시킬지 결정하는 데 중요하다. 보행자 사고에서 구급차 출동을 놓치는 것은 사망으로 이어질 수 있는 치명적인 문제이다. 최근 시각-언어 모델(VLM)은 사고 추론을 위한 유망한 도구이나, 많은 VLM이 실제 사고 대응 프로토콜에 기반하지 않아 사고 심각도 평가에 그대로 사용하기 어렵다. 본 논문은 실제 일본의 교통사고 대응 프로토콜에 기반한 의사결정 지원 프레임워크 DispatchRAG를 제안하며, 이는 응급 상황에서 VLM을 사용해 적절한 응급 대응 권고를 생성함으로써 응급 출동 요원을 지원하도록 설계되었다. RAG 기반 검색 메커니즘으로 가장 관련성 높은 사고 프로토콜을 검색하고, LLM 기반 추론기로 가장 적절한 대응을 제안한다. 평가를 지원하기 위해, MM-AU 데이터셋을 바탕으로 일본의 사고 대응 프로토콜에 따른 사고 평가와 응급 대응을 담은 포괄적 데이터셋인 Accident Dispatch Dataset을 소개한다. 이 데이터셋에서 프레임워크를 검증한 결과, 기준 VLM과 비교하여 다양한 사고 시나리오 전반에서 강한 성능을 보였으며, 이는 자율주행차와 인간 출동 요원이 자신과 인근의 사고에 더 빠르게 대응하도록 도울 수 있는 의사결정 지원 도구의 가능성을 시사한다.

arXiv:2608.16666v3cs.AI공통 태그 Decision Making

Chronocooked: 강화학습 에이전트의 시간 간격 측정 능력을 위한 벤치마크

Chronocooked: A Benchmark for Interval Timing in Reinforcement Learning Agents

구간 시간 지각(interval timing)은 인간 인지의 중요한 측면으로 여겨진다. 인공 에이전트가 인간과 함께 기능하는 경우가 늘어나면서 이들의 구간 시간 지각 능력을 연구할 필요가 있다. 그러나 이 분야의 연구는 아직 제한적이고 산재해 있다. 본 논문은 강화학습(RL) 에이전트의 구간 시간 지각 능력을 체계적으로 연구할 수 있는 RL 벤치마크 환경 Chronocooked를 제시한다. 이 제품군은 심리학 문헌에서 착안한 구간 시간 지각 과제를 포함하는 요리 시나리오로 구성된다. 각 과제에는 RL 에이전트의 구간 시간 지각의 여러 측면, 즉 과제 성능, 인간과 유사한 시간 지각, 확장성을 연구하기 위한 평가 지표가 함께 제공된다. 비순환 모델(CNN), 순환 모델(LSTM), 생물학적으로 영감을 받은 순환 모델(CTRNN)을 사용한 기준선을 보고한다. CNN 모델은 기본적인 시간 지각 과제를 수행하는 능력이 제한적이었다. 반면 충분한 메모리를 갖춘 두 순환 모델은 시간 지각 과제를 성공적으로 수행했고, 고정 간격(FI) 과제에서 시간적 통제를 보였으며, 시간 이분(Temporal Bisection) 과제에서 인간과 유사한 심리측정 곡선을 정성적으로 재현했다. 그러나 인간과 유사한 시간 지각 행동에 대한 정량적 증거는 발견되지 않았다. 인공 에이전트의 구간 시간 지각에 대한 체계적인 연구는 인간-로봇 상호작용(HRI)과 같은 분야에서 과제 성능을 개선하기 위한 보완적 관점을 제공할 수 있으며, 시간 지각에 관한 더 넓은 연구에도 기여할 수 있다.

arXiv:2610.03391v2cs.CV공통 태그 Robot Manipulation

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.