OnDeFog: 프레임 드롭 환경에서의 온라인 의사결정 트랜스포머
OnDeFog: Online Decision Transformer under Frame Dropping
현실의 강화학습 적용 환경에서 통신 지연이나 센서 오류는 종종 프레임 드롭(frame dropping)을 유발하며, 이 경우 에이전트는 손실된 상태(state)와 그에 연관된 보상(reward)을 수신할 수 없게 됩니다. 프레임 드롭으로 인한 성능 저하를 해결하기 위해, 의사결정 트랜스포머(decision transformer)에 프레임 드롭 처리를 위한 추가 메커니즘을 통합하여 DeFog(Decision Transformer under Random Frame Dropping)가 개발되었습니다. DeFog는 프레임 드롭 환경에서의 성능 저하를 완화할 수 있지만, 오프라인 학습(offline learning) 방식이기 때문에 학습 데이터셋(dataset)에 충분히 표현되지 않은 새로운 상태(state)로 효과적으로 일반화하는 데 어려움을 겪습니다. 본 연구에서는 환경과 직접 상호작용하며 정책(policy)을 학습하는 온라인 강화학습(online reinforcement learning) 방법인 온라인 의사결정 트랜스포머(ODT)에 DeFog의 메커니즘을 통합한 OnDeFog를 제안합니다. 포괄적인 실험 평가를 통해 제안한 OnDeFog는 높은 프레임 드롭률을 특징으로 하는 환경에서 ODT 대비 우수한 성능을 달성하며, 낮은 보상(reward) 데이터를 다량 포함하는 데이터셋(dataset)에서는 DeFog를 능가함을 입증했습니다.