다중 에이전트 시스템에서 효율적인 자원 할당은 자율 에이전트가 개별 비용과 시스템 전반의 목표 사이에서 균형을 맞추며 의사결정을 조율할 것을 요구합니다. 이러한 문제는 시간 범위가 길어질수록 더욱 어려워지는데, 탈중앙화된 에이전트가 전체 시스템에 대한 제한된 관측만을 가지는 상황에서 현재의 할당을 개선하는 결정이 미래의 자원 할당을 저해할 수 있기 때문입니다. 다중 에이전트 강화학습(MARL)은 국소적 관측을 통해 이러한 장기적 의존성을 학습할 수 있지만, 대규모 조율에 직접 적용할 경우 결정 공간이 급격히 증가하고 비효율적인 학습으로 이어집니다. 이를 해결하기 위해, 본 논문에서는 탈중앙화된 다중 에이전트 조율을 대체하기보다는 MARL을 활용하여 이를 안내하는 계층적 프레임워크인 계층적 강화 및 집합 통신 학습(HRCL)을 제안합니다. 상위 수준에서 MARL은 조율 과정 중 고려되는 대안들을 제한하고 에이전트가 시스템 전반 및 개별 목표의 균형을 맞추도록 안내하는 전략을 학습합니다. 하위 수준에서는 에이전트가 이러한 전략적 안내에 따라 효율적인 탈중앙화 조율을 수행합니다. 이러한 분리를 통해 학습 공간이 축소되고 단기적인 조율 트레이드오프를 장기적 영향에 따라 평가할 수 있게 됩니다. 합성 벤치마크에 대한 실험 결과, HRCL은 단독 MARL보다 상당히 빠르게 수렴하며 시스템 전반 및 개별 비용을 각각 35.53%와 27.05% 절감함을 보여줍니다. 또한 에너지 자체 관리 및 드론 군집 감지에 대한 평가를 통해 향상된 자원 할당, 전력 피크 조절, 감지 효율성을 추가로 입증합니다. 이러한 결과는 기존 조율 프로세스에 대한 전략적 안내를 학습함으로써 단기적인 결정이 미래의 자원 할당을 저해하지 않으면서도 확장 가능한 탈중앙화 조율을 유지할 수 있음을 보여줍니다.
The use of dedicated corridors for Advanced Air Mobility (AAM) traffic is one of the most commonly proposed pathways to integrating them into existing airspace operations. Most prior research has focused on the design of networks of AAM corridors and conflict resolution for aircraft within corridors. It is also generally believed that while attractive from an implementation perspective, corridor-based operations may be inefficient, especially in the absence of centralized traffic management. In this paper, we show that contrary to this belief, it is possible for autonomous aircraft to learn to self-organize into corridor flows in decentralized settings. We illustrate our approach using scenarios in which fixed-wing aircraft need to safely and efficiently traverse (1) a single corridor with metering after the exit, (2) a sequence of two consecutive corridors, and (3) a corridor that splits into two. We find that in decentralized settings with only local information, the aircraft are able to conform to the corridor boundaries more than 94% of the time and reach their goal in a relatively efficient manner. Furthermore, tactical interventions to handle violations of the separation minimum are needed only infrequently in low- and medium-density settings. However, such tactical interventions become more frequently necessary only when traffic density is high.