arXiv:2503.05030

ISC-POMDPs: Partially Observed Markov Decision Processes with Initial-State Dependent Costs

Timothy L. Molloy

제출 2025-03-06

원문 초록

We introduce a class of partially observed Markov decision processes (POMDPs) with costs that can depend on both the value and (future) uncertainty associated with the initial state. These Initial-State Cost POMDPs (ISC-POMDPs) enable the specification of objectives relative to a priori unknown initial states, which is useful in applications such as robot navigation, controlled sensing, and active perception, that can involve controlling systems to revisit, remain near, or actively infer their initial states. By developing a recursive Bayesian fixed-point smoother to estimate the initial state that resembles the standard recursive Bayesian filter, we show that ISC-POMDPs can be treated as POMDPs with (potentially) belief-dependent costs. We demonstrate the utility of ISC-POMDPs, including their ability to select controls that resolve (future) uncertainty about (past) initial states, in simulation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2403.01977v5cs.RO공통 태그 Robot Navigation공식 코드 · Papers with Code

불확실성을 꿰뚫어 보기: 강건한 시각 내비게이션을 위한 자유 에너지 기반 실시간 적응

Seeing Through Uncertainty: Free-Energy-Inspired Real-Time Adaptation for Robust Visual Navigation

자연 세계에서의 내비게이션은 적응적 추론의 한 결과물이며, 생물은 노이즈가 있고 불완전한 감각 입력 스트림에도 불구하고 목표 지향적 행동을 유지한다. 이 능력의 핵심은 자유 에너지 원리(FEP)로, 지각은 뇌가 변분 자유 에너지(VFE)를 최소화하여 세상에 대한 정확한 내부 모델을 유지하는 생성 과정이라고 본다. 딥 신경망(DNN)은 생물학적 뇌의 강력한 유사 모델 역할을 해왔지만, 갑작스러운 감각 변화를 다루는 데 필요한 실시간 가소성은 일반적으로 부족하다. 본 연구는 강건한 시각 내비게이션에서 실시간 지각 적응을 위한 생물학적 영감 기반 프레임워크인 FEP-Nav를 제안한다. VFE를 예측 오차와 베이지안 서프라이즈로 분해한 구조에 영감을 받아, FEP-Nav는 손상되지 않은 감각 입력에 대한 내부 기댓값을 제공하는 하향식 디코더(Top-down Decoder)와, 편향된 특징 분포를 사전 통계에 맞게 조정하는 적응형 정규화(Adaptive Normalisation)를 결합한다. 재구성과 정규화를 그래디언트 기반 업데이트 없이 추론 중 해당 VFE 관련 항을 줄이는 근사 메커니즘으로 해석한다. 시뮬레이션 및 실제 시각 손상 환경에서의 실험은 FEP-Nav가 시각 손상으로 인한 성능 저하를 회복하며, 비적응 기준선과 강한 적응 방법보다 우수함을 보여준다. 이러한 결과는 변분 원리가 열악한 감각 조건에서 강건한 자율 행동을 위한 유용한 설계 관점을 제공할 수 있음을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.