arXiv:2310.12359

MARVEL: Multi-Agent Reinforcement-Learning for Large-Scale Variable Speed Limits

Yuhang Zhang, Marcos Quinones-Grueiro, Zhiyao Zhang, Yanbing Wang, William Barbour, Gautam Biswas, Daniel Work

제출 2023-10-18

원문 초록

Variable Speed Limit (VSL) control acts as a promising highway traffic management strategy with worldwide deployment, which can enhance traffic safety by dynamically adjusting speed limits according to real-time traffic conditions. Most of the deployed VSL control algorithms so far are rule-based, lacking generalizability under varying and complex traffic scenarios. In this work, we propose MARVEL (Multi-Agent Reinforcement-learning for large-scale Variable spEed Limits), a novel framework for large-scale VSL control on highway corridors with real-world deployment settings. MARVEL utilizes only sensing information observable in the real world as state input and learns through a reward structure that incorporates adaptability to traffic conditions, safety, and mobility, thereby enabling multi-agent coordination. With parameter sharing among all VSL agents, the proposed framework scales to cover corridors with many agents. The policies are trained in a microscopic traffic simulation environment, focusing on a short freeway stretch with 8 VSL agents spanning 7 miles. For testing, these policies are applied to a more extensive network with 34 VSL agents spanning 17 miles of I-24 near Nashville, TN, USA. MARVEL-based method improves traffic safety by 63.4% compared to the no control scenario and enhances traffic mobility by 58.6% compared to a state-of-the-practice algorithm that has been deployed on I-24. Besides, we conduct an explainability analysis to examine the decision-making process of the agents and explore the learned policy under different traffic conditions. Finally, we test the response of the policy learned from the simulation-based experiments with real-world data collected from I-24 and illustrate its deployment capability.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02378v1cs.AI공통 태그 Decision Making, Management

THPL: 순환여과양식시스템(RAS) 내 무지개송어 급이 관리를 위한 비전-언어 의사결정 지원 프레임워크

THPL: A Vision-to-Language Decision Support Framework for Rainbow Trout Feeding Management in RAS

순환여과양식시스템(RAS)에서 정밀(precision) 급이는 사료 비용을 최소화하고 어류 복지를 향상시키는 데 매우 중요합니다. 그러나 기존 방식은 어류 행동과 관리 지식 간의 인지적 정렬(alignment)이 부족하여, 이를 실행 가능하고 해석 가능한 급이 결정으로 전환하는 데 한계가 있었습니다. 이를 해결하기 위해 본 논문에서는 RAS 환경의 무지개송어(Oncorhynchus mykiss)를 위해 설계된 생성형 급이 의사결정 프레임워크인 THPL을 제안합니다. 첫째, Fishsort가 궤적을 추출하여 급이 강도를 정량화하는 활동 계수(AC)를 산출합니다. 둘째, 계층적 행동 인코더(HBE)가 Temporal Transformer 및 Set Transformer를 활용해 개별 시간적 변화와 집단적 역학을 모델링함으로써, 궤적 텐서를 명시적 물리 토큰과 암시적 소프트 토큰의 이중 근거 표현으로 변환합니다. 마지막으로, 이러한 토큰들을 환경 파라미터, 메타데이터, 전문가 규칙과 통합하여 LoRA 기반으로 대규모 언어 모델(LLM)을 파인튜닝(fine-tuning)하고, 반사실적 멀티모달 직접 선호 최적화(mDPO)를 적용해 인과 추론 능력을 강화합니다. 실험 결과, AC는 전문가가 레이블링한 급이 강도와 통계적으로 유의미한 단조 양의 상관관계를 나타냈습니다(Spearman $ρ= 0.925$, $p < 0.001$). 절제 연구(ablation study)에서는 의사결정 정확도가 텍스트 전용 베이스라인(baseline)의 33.33%에서 이중 근거 토큰 적용 시 93.33%로 향상되어, 연속적인 시공간 토큰이 LLM에 필수적인 물리적 그라운딩(grounding)을 제공함을 확인했습니다. 또한 표준 LoRA 대비 반사실적 mDPO는 의사결정 정확도를 93.33%에서 96.67%로 향상시켰고, METEOR를 58.10%에서 85.30%로 끌어올렸으며, Self-BLEU-2를 58.79%에서 52.88%로 감소시키고 Distinct-3을 6.68%에서 7.81%로 증가시켜 템플릿화 및 작동 편향을 억제하는 동시에 인과적 일관성과 운영 안전성(safety)을 강화했습니다. 전반적으로, 본 연구는 연속적인 기구학(kinematics)과 LLM 추론을 결합함으로써 정밀 양식을 위한 새로운 의사결정 지원 패러다임을 제시합니다.

arXiv:2609.35835v2cs.MA공통 태그 Decision Making, Multi-agent Reinforcement Learning

Amadeus: 인간 모델들이 만날 때

Amadeus: When Models of People Meet

AI의 지속적인 발전 속에서, 인간을 본떠 에이전트(agent)를 모델링하고 이 에이전트들을 활용해 합성 상호작용(synthetic interaction)을 수행하는 가능성이 주목받고 있습니다. 이러한 모델은 실제 대응 인물 간의 상호작용이나 잠재적으로 더 큰 규모의 상호작용을 예측하는 데 사용될 수 있습니다. 본 논문에서는 체스를 통해 통제된 환경에서 이 질문을 검증합니다. 8명의 엘리트 체스 선수를 대상으로 직접적인 일대일 대국을 제외(seal)한 뒤, 서로 다른 방식을 사용하여 각 선수를 독립적으로 학습하고, 유보된 2인 대국(dyad)에서 결과 모델들을 결합합니다. 생성된 상호작용을 평가하기 위해 오프닝 계열(opening-family) 총변동거리(total variation distance)와 승-무-패(win-draw-loss, WDL) 총변동거리라는 두 가지 측정 지표를 사용합니다. M1은 주로 WDL 충실도를 향상시키는 반면 오프닝 계열 개선 폭은 작은 반면, M2는 WDL-TV에 거의 영향을 미치지 않으면서 훨씬 더 큰 오프닝 계열 개선을 이끌어냅니다. M2 환경의 오프닝 계열 행동에서, 학습된 8명의 선수 정체성을 올바르게 할당했을 때 가능한 모든 $8! = 40{,}320$개의 할당 중 가장 근접하게 일치했습니다. 이러한 결과는 이전에 본 적 없는 상호작용의 일부 특성을 독립적으로 학습된 개인들로부터 복원할 수 있음을 보여줍니다. 여기서 관찰된 부분적인 복원은 결합적 상호작용 복원의 근본적인 한계라기보다는 현재의 개별 모델링 방식이 지닌 한계를 반영한 것일 수 있습니다. 두 메커니즘을 결합한 추가적인 사후(post-hoc) 방법은 두 측정 지표를 모두 향상시켰으며, 이는 이러한 행동 특성에 걸친 복원이 반드시 상호 배타적인 것은 아님을 시사합니다.

arXiv:2610.01231v1cs.CY공통 태그 Decision Making, Management

Jev 시대의 판단: 평가 희소성에서 평가 풍요로

Judgement in the Age of Jev: From Evaluation Scarcity to Evaluation Abundance

생성형 인공지능이 그럴듯한 기호적 인공물(symbolic artefact)의 생성 비용을 낮춤에 따라, 최근 조직학 연구에서는 생산 풍요의 조건 하에서 평가와 식별을 제약 요인으로 주목해 왔다. 본 연구는 여기서 한 걸음 더 나아가, 기계 평가 자체가 일상적이면서도 대규모로 배포될 수 있을 만큼 저렴해지는 또 다른 가능성을 검토한다. 이 조사는 타입화된 확률적 의사결정을 위한 TypeSafe AI의 특화 모델(model)인 Jev에서 촉발되었다. TypeSafe는 윌리엄 스탠리 제번스(William Stanley Jevons)를 명시적으로 인용하며, 더 저렴해진 기계 지능이 이전에는 비경제적이었던 활용처를 열어젖힐 수 있다고 주장한다. 본 논문은 이를 확립된 실증적 결과라기보다는 기술적 도발로 다루며, 기계 평가에 대한 조건부 제번스 역설 가설을 수립한다. 즉, 잠재 수요가 상당하고 보완적 비용이 지배적이지 않은 경우, 활용 가능한 기계 평가의 총 한계 비용이 충분히 크게 감소하면 조직 내 소비가 증가할 수 있다는 것이다. 본 논문은 이러한 잠재적 희소성 전환을 조사하기 위해 반등 효과 경제학과 저비용 예측, 생산 풍요, 기계 평가, 의사결정 배분, 권한, 의존성 및 경영 판단(Executive Judgement)에 관한 연구를 통합한다. 또한 예측, 기계 평가, 조직적 판단, 권한 부여를 비용이 반드시 함께 하락하지는 않는 기능적 활동으로 구분한다. 평가는 증거, 기준, 오류를 공유할 수 있고, 잘못 명시된 루브릭을 확장할 수 있으며, 중대한 단서 조항이 사라진 표현을 기반으로 작동할 수 있고, 임계값과 예외 라우팅을 통해 실질적인 의사결정 권한을 변화시킬 수 있다. 이에 따른 연구 과제는 저렴한 기계 평가가 언제 인간의 평가 업무를 대체하는지, 언제 판단에 대한 수요를 재분배하거나 새로 창출하는지, 그리고 중대한 조직적 의사결정 시점에 활용 가능한 근거에 어떤 영향을 미치는지 규명하는 것이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.