적대적 우주선 근접 작전에서의 적응형 안전 중심 제어를 위한 메모리 효율적인 메타 강화학습
Memory-Efficient Meta-Reinforcement Learning for Adaptive Safety-Critical Control in Adversarial Spacecraft Proximity Operations
자율 우주선 랑데부 및 근접 작전(RPO)은 연료 소비를 최소화하는 동시에 추력 제약 조건 하에서 안전성을 보장하는 제어기를 필요로 합니다. 입력 제약 제어 장벽 함수(ICCBFs)는 전방 불변(forward-invariant) 안전 집합을 구성하여 구동 제약이 있는 비선형 시스템에 대한 제어 방법을 제공합니다. 기존 연구에서는 메타 강화학습(meta-RL)을 통해 ICCBF 재귀를 정의하는 클래스-$\mathcal{K}$ 함수를 학습하면 RPO의 안전 중심 제어에 대해 강건하고 비탐욕적(non-greedy)인 접근 방식이 제공됨을 보여주었습니다. 본 논문은 메타 강화학습을 통한 ICCBF 클래스-K 함수 튜닝을 위한 최적의 설정을 식별하기 위해 세 가지 순환 네트워크 아키텍처(LSTM, GRU, 선택적 상태 공간 모델(Mamba))와 두 가지 학습 알고리즘(근접 정책 최적화(PPO) 및 소프트 액터-크리틱(SAC))의 성능을 조사하여 해당 프레임워크를 더욱 확장합니다. 협력적 테스트 케이스 외에도, 목표 우주선이 추격 우주선의 안전성을 저해하는 방식으로 행동하는 적대적 행동이 존재하는 상황에서 성능을 평가합니다. 결과에 따르면, PPO와 함께 사용된 Mamba와 같은 상태 공간 모델은 테스트된 모든 협력적 및 비협력적 시나리오에서 다른 아키텍처와 비교하여 우수한 작업 완료율, 안전성 및 연료 절감 효과를 달성하는 것으로 나타났습니다.