PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.14398v2physics.flu-dyn

시간 스케일 분리를 통한 회전 유폭 엔진 모드 전환의 심층 강화학습 제어

Timescale Separation Enables Deep Reinforcement Learning Control of Rotating Detonation Engine Mode Transitions

회전 유폭 엔진(RDE)은 기존 시스템보다 더 높은 열역학적 효율과 비추력을 제공할 수 있는 유망한 추진 개념이지만, 진동 또는 혼돈 전파 모드로의 전환을 포함한 비선형 현상으로 인해 실용적 운용에 어려움이 따를 수 있습니다. 심층 강화학습(DRL)은 RDE에서 관찰되는 것과 같은 복잡한 비선형 동역학을 제어하기 위한 유망한 방법으로 부상했습니다. 그러나 RDE 시스템의 다중 시간 스케일(multi-timescale) 특성으로 인해 DRL을 직접 적용하기는 까다롭습니다. 본 연구에서는 데토네이션 파동(detonation-wave) 패턴을 따르는 이동 기준틀(moving reference frame)에서 DRL 문제를 재구성하여 파동 구조가 에이전트(agent)에게 준정상(quasi-steady) 상태로 보이도록 함으로써 이 문제를 해결합니다. 이러한 재구성을 통해 빠른 데토네이션 전파와 더 느린 작동 모드 동역학 간의 스케일 분리가 가능해집니다. 저자들은 1차원 축소 차수 RDE 모델에서 공간적으로 분할된 분사 압력을 조절하고 서로 다른 모드 고정(mode-locked) 상태 간의 빠른 전환을 유도하도록 DRL 제어기를 학습시킵니다. 다양한 구동 주기, 초기 상태, 목표 모드 전반에서 이동 기준틀에서 학습된 제어기는 정지 기준틀에서 학습된 제어기보다 더 안정적으로 학습하며 더 넓은 구동 주기 범위에서 효과를 유지합니다. 이러한 결과는 대칭성을 고려한 이동 기준틀 공식화가 관련 다중 스케일 유동 제어 문제에 유용할 수 있으며, 다중 시간 스케일 시스템의 DRL 제어를 가능하게 하기 위해 스케일 분리를 가능한 한 적극적으로 활용해야 함을 시사합니다.

arXiv:2607.12626v1physics.flu-dyn

난류 항력 감소를 위한 폐루프 벽면 제어기의 그래디언트 없는 학습

Gradient-free learning of a closed-loop wall controller for turbulent drag reduction

다중 에이전트 강화학습으로 학습한 폐루프 벽면 제어는 난류 채널에서 표면 마찰 항력을 낮출 수 있지만, 이러한 그래디언트 기반 정책은 작은 주기적 박스에서 학습되며 더 큰 영역으로 이전할 때 성능이 저하된다. 최근 우리는 이러한 정책이 또한 포화된 뱅-뱅(bang-bang) 작동에 취약하여, 스케일이 근벽 주기에 의해 설정되는 것이 아니라 계산 박스에 의해 설정되는 정상류 방향 정상파로 붕괴한다는 것을 보였으며, 이러한 퇴화를 피하는 구조적 수정을 제안했다. 여기서 우리는 Evolution Strategy(ES)를 사용하여 $\mathit{Re}_τ\simeq180$의 대규모 난류 채널에서 순환 폐루프 제어기를 직접 최적화하며, 에너지 인지 기준을 사용하여 전체 유동 에피소드에 걸쳐 정책 성능을 평가하고 후보 정책을 병렬로 처리한다. 우리가 아는 한, 이것은 난류 유동 제어에 진화 전략(evolution strategy)을 적용한 첫 사례이다. ES 제어기는 표면 마찰을 약 $26\%$ 감소시키며, 최소 박스에서 학습된 그래디언트 기반 다중 에이전트 제어기인 Cavallazzi et al. (2026)의 GRU-MARL($17\%$)을 능가하고, 고전적인 opposition control(OC, $22\%$)을 소폭 능가한다. 마찰, Reynolds stress 프로파일, 이방성 불변량의 벽면 법선 방향 분해는 ES와 opposition control이 적용된 유동이 버퍼 층을 통해 서로 다른 궤적을 따르며, 근벽 난류의 서로 다른 재구성을 통해 비슷한 항력 감소에 도달함을 보여준다. 특히 ES 작동은 고전적 OC가 목표로 하는 벽면 법선 방향 속도보다는 주류 방향 속도 요동과 주로 상관된다.