arXiv:2611.15389v1 cs.AI

타이탄 심우주 탐사선의 자율 임무 계획을 위한 물리 제약 심층 강화학습 방법

A physics-constrained deep reinforcement learning method for autonomous mission planning of Titan deep space probes

Hanmin Li, Tao Wang, Shuangliang Liu, Zhe Zhang, Maodeng Li

제출 2026-11-11

한국어 초록

타이탄은 향후 심우주 탐사의 매력적인 대상이지만, 지구와 타이탄 사이의 극단적인 거리와 복잡한 환경 때문에 지상 개입을 전제로 한 연속적인 계획은 현실적으로 불가능하다. 주로 지구 관측 시나리오를 위해 개발된 기존 계획 방법은 불확실한 심우주 조건에 대한 일반화 능력과 시간에 따라 변하는 임무 상태에 대한 적응성이 제한적이다. 이러한 문제를 해결하기 위해 본 논문은 타이탄 자율 임무 계획을 위한 물리 제약 마스크 가능 근위 정책 최적화(PCM-PPO) 방법을 제안한다. 임무 실행 가능성과 자원 제약을 기술하기 위해 타이탄 특화 이산 시간 마르코프 결정 과정을 구축한다. 중심 중력, J2 섭동, 제3체 인력, 하향링크 엄폐를 포함한 시스템 동역학 및 기하 모델을 도입하여 물리적 표현력을 강화한다. 제한된 행동 차원에서 기회 표적을 수용하기 위해 PCM-PPO는 사전 정의된 표적과 기회 표적을 고정 용량의 표적 풀로 조직하고, 임무 상태를 표적별 상태 행렬과 전역 상태 벡터로 표현한다. 물리 제약 행동 마스크는 현재 임무 상태로부터 허용 가능한 결정 영역을 구성하여, 정책 학습이 물리적으로 실행 가능한 결정을 향하도록 유도하고 실행 불가능한 탐색을 방지한다. 통합 학습 전략은 결합된 제약 아래에서 정책 최적화를 촉진한다. 비교, 제거, 불확실성 실험을 통해 PCM-PPO의 효과를 검증한다. PCM-PPO는 타이탄 심우주 탐사선의 자율 임무 계획을 위한 실현 가능하고 해석 가능한 방안을 제공한다.

원문 초록

Titan is a compelling target for future deep space exploration, while its extreme Earth-Titan distance and complex environment make continuous ground-in-the-loop planning impractical. Existing planning methods, primarily developed for Earth-observation scenarios, have limited generalizability to uncertain deep space conditions and adaptability to time-varying mission states. To address these challenges, this paper proposes a physics-constrained maskable proximal policy optimization (PCM-PPO) method for Titan autonomous mission planning. A Titan-specific discrete-time Markov decision process is established to characterize mission feasibility and resource constraints. A system dynamics and geometric model is incorporated to enhance physical representation, including central gravity, J2 perturbation, third-body attraction, and downlink occultation. To accommodate opportunity targets under a bounded action dimension, PCM-PPO organizes predefined and opportunity targets through a fixed-capacity target pool and represents the mission state with a target-wise state matrix and a global state vector. A physics-constrained action mask constructs an admissible decision domain from current mission states, guiding policy learning toward physically executable decisions and avoiding infeasible exploration. An integrated training strategy facilitates policy optimization under coupled constraints. Comparative, ablation, and uncertainty experiments validate the effectiveness of PCM-PPO. PCM-PPO provides a feasible and interpretable scheme for autonomous mission planning of Titan deep space probes.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.15389v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.