시간 스케일 분리를 통한 회전 유폭 엔진 모드 전환의 심층 강화학습 제어
Timescale Separation Enables Deep Reinforcement Learning Control of Rotating Detonation Engine Mode Transitions
회전 유폭 엔진(RDE)은 기존 시스템보다 더 높은 열역학적 효율과 비추력을 제공할 수 있는 유망한 추진 개념이지만, 진동 또는 혼돈 전파 모드로의 전환을 포함한 비선형 현상으로 인해 실용적 운용에 어려움이 따를 수 있습니다. 심층 강화학습(DRL)은 RDE에서 관찰되는 것과 같은 복잡한 비선형 동역학을 제어하기 위한 유망한 방법으로 부상했습니다. 그러나 RDE 시스템의 다중 시간 스케일(multi-timescale) 특성으로 인해 DRL을 직접 적용하기는 까다롭습니다. 본 연구에서는 데토네이션 파동(detonation-wave) 패턴을 따르는 이동 기준틀(moving reference frame)에서 DRL 문제를 재구성하여 파동 구조가 에이전트(agent)에게 준정상(quasi-steady) 상태로 보이도록 함으로써 이 문제를 해결합니다. 이러한 재구성을 통해 빠른 데토네이션 전파와 더 느린 작동 모드 동역학 간의 스케일 분리가 가능해집니다. 저자들은 1차원 축소 차수 RDE 모델에서 공간적으로 분할된 분사 압력을 조절하고 서로 다른 모드 고정(mode-locked) 상태 간의 빠른 전환을 유도하도록 DRL 제어기를 학습시킵니다. 다양한 구동 주기, 초기 상태, 목표 모드 전반에서 이동 기준틀에서 학습된 제어기는 정지 기준틀에서 학습된 제어기보다 더 안정적으로 학습하며 더 넓은 구동 주기 범위에서 효과를 유지합니다. 이러한 결과는 대칭성을 고려한 이동 기준틀 공식화가 관련 다중 스케일 유동 제어 문제에 유용할 수 있으며, 다중 시간 스케일 시스템의 DRL 제어를 가능하게 하기 위해 스케일 분리를 가능한 한 적극적으로 활용해야 함을 시사합니다.