arXiv:2308.14111

MARL for Decentralized Electric Vehicle Charging Coordination with V2V Energy Exchange

Jiarong Fan, Hao Wang, Ariel Liebman

제출 2023-08-27

원문 초록

Effective energy management of electric vehicle (EV) charging stations is critical to supporting the transport sector's sustainable energy transition. This paper addresses the EV charging coordination by considering vehicle-to-vehicle (V2V) energy exchange as the flexibility to harness in EV charging stations. Moreover, this paper takes into account EV user experiences, such as charging satisfaction and fairness. We propose a Multi-Agent Reinforcement Learning (MARL) approach to coordinate EV charging with V2V energy exchange while considering uncertainties in the EV arrival time, energy price, and solar energy generation. The exploration capability of MARL is enhanced by introducing parameter noise into MARL's neural network models. Experimental results demonstrate the superior performance and scalability of our proposed method compared to traditional optimization baselines. The decentralized execution of the algorithm enables it to effectively deal with partial system faults in the charging station.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13923v1cs.NI공통 태그 Fairness, Management

강화학습을 통한 심우주 통신용 목표 지향적 번들 관리 및 흐름 제어

Goal-Oriented Bundle Management and Flow Control for Deep-Space Communications via Reinforcement Learning

심우주 통신은 간헐적인 연결성, 긴 전파 지연, 중계 노드의 저장 용량 제약 하에서 동작합니다. 이러한 네트워크에서 번들 프로토콜(Bundle Protocol)은 저장-운반-전달(store-carry-forward) 통신을 가능하게 하며, 중계 노드가 제한된 저장 공간과 희소한 접촉 기회를 관리하도록 요구합니다. 중계기 측의 스케줄링 및 폐기(dropping) 결정은 본질적으로 목표 지향적입니다. 즉, 다운스트림 임무 목표에 가장 가치 있는 번들에 전송 자원이 할당되어야 합니다. FIFO와 같은 기존 스케줄러는 작업 효용을 명시적으로 최적화하지 못하며, 이기종 행성 소스 간에 불공정한 서비스를 제공할 수 있습니다. 본 논문에서는 달과 화성의 업데이트가 공유 버퍼 중계기를 통해 지구로 전달되는 접촉 기반 심우주 네트워크에서 중계기 측 번들 및 흐름 관리를 위한 폐루프 모델링 및 학습 프레임워크를 제시합니다. 목적지 측의 정보 신선도를 초과 수명(excess age) $Δ_i^e(t)=[Δ_i(t)-d_i(t)]^+$를 사용하여 정량화합니다. 여기서 $Δ_i(t)$는 소스 $i$의 정보 수명(Age of Information)을 나타내고 $d_i(t)$는 소스에 따른 지연 기준선입니다. 이 지표를 바탕으로 소스별 비선형 페널티를 지원하는 목표 지향적 손실을 정의하여 임무 관련성에 따른 우선순위 지정을 가능하게 합니다. 중계기 제어를 제약 조건이 있는 준 마르코프 결정 과정(CSMDP)으로 정식화하고, 마스킹된 라그랑주 근접 정책 최적화(PPO)를 사용하여 이를 해결합니다. 실행 가능성 인식 액션 마스킹은 남은 접촉 윈도우 내에 완료할 수 있는 번들로 전송을 제한합니다. DTNSim 시뮬레이션 결과, 기존 기준선 스케줄러 대비 수명 기반 효용 및 흐름 간 공정성이 향상됨을 보여줍니다. 제안된 프레임워크는 이기종 소스 간의 명시적인 공정성을 고려하면서 접촉 기반 역학 하에서 중계기 측 번들 스케줄링, 폐기 및 흐름 제어를 공동으로 최적화합니다.

arXiv:2609.27309v1cs.SE공통 태그 Fairness, Multi-agent Reinforcement Learning

FairTest: 다중 에이전트 강화학습 시스템을 위한 탐색 기반 공정성 테스트

FairTest: Search-Based Fairness Testing for Multi-Agent Reinforcement Learning Systems

다중 에이전트 강화학습(MARL)은 하나의 환경을 공유하는 에이전트 팀을 학습시키며, 에이전트들이 정책을 함께 학습한다. 학습은 팀 return을 최대화하지만, 높은 return이 모든 에피소드에서 에이전트 간 보상이 공정하게 분배된다는 뜻은 아니다. 테스트는 심층 강화학습의 실패를 찾아내는 확립된 방법이지만, MARL의 공정성을 다루는 방법은 거의 없다. 본 연구에서는 MARL 정책의 불공정한 실행을 찾는 탐색 기반 테스트 접근법 FairTest를 제안한다. 설계는 탐색 안내(search guidance)와 테스트 우선순위화를 결합한다. 안내는 세 가지 적합度(fitness) 함수로 각 후보를 점수화한다. 하나는 이미 수행된 실행의 공정성을 측정하고, 다른 하나는 추상 상태와 공정성 특징으로부터 공정성을 예측하며, 세 번째는 정책에서 의사결정 불확실성을 읽는다. 교차(crossover)와 변이(mutation)는 관측된 실행으로부터 추가 후보를 도출한다. 우선순위화는 예측된 공정성과 의사결정 불확실성으로 후보를 순위화하여, 실행이 실패가 예상되는 후보에 도달하도록 한다. FairTest는 세 가지 환경과 두 가지 MARL 알고리즘에서 평가되며, 네 가지 기준선에 동일한 예산을 부여한다. 통계적 유의성과 큰 효과 크기(effect size)를 가진 세 가지 기준선 대비 가장 많은 공정성 실패를 탐지한다. 실패 횟수는 평균적으로 가장 강한 기준선보다 221% 더 많으며, 커버리지(coverage)는 평균 23% 개선된다.

arXiv:2609.27994v1cs.MA공통 태그 Fairness, Multi-agent Reinforcement Learning

개별 규제는 준수하지만 집단적으로는 차별적인: 규제 금융 환경에서 멀티 에이전트 AI를 위한 거버넌스 아키텍처

Compliant with Local Controls, Collectively Discriminatory. A Governance Architecture for Multi-Agent AI in Regulated Finance

금융 기관들은 신용, 이상 거래 탐지(fraud), 채권 추심, 규제 준수(compliance) 및 운영 제어 분야에 에이전트 기반 워크플로를 배포하기 시작하고 있습니다. 그러나 거버넌스는 여전히 구성요소 중심적(component-centric) 수준에 머물러 있어, 각 모델(model)이나 에이전트(agent)는 개별적으로 명세화, 테스트, 승인 및 모니터링됩니다. 이러한 방식은 기관 차원의 리스크가 개별적으로는 수용 가능한 다수 구성요소의 결합된 동작에서 비롯될 때 불충분합니다. 본 논문에서는 이러한 격차를 '구조적 비합성성(constitutional non-compositionality)'이라고 부릅니다. 즉, 개별 컴플라이언스 점검 결과가 제한된 차등 영향(bounded disparate impact), 시장 건전성, 추적 가능한 책임성 등과 같이 허용 가능한 집단적 결과로 반드시 종합되는 것은 아닙니다. 이에 본 논문에서는 에이전트 집단 거버넌스를 위한 금융 특화 참조 아키텍처이자 반증 가능한 연구 과제로 ARIA를 제안합니다. ARIA는 규범-책임, 실행-제어, 보증-학습의 세 가지 영역에 걸쳐 정책 명세, 집단 수준의 관측 대비 예상 동작 모니터링(M2), 제한적 권한, 런타임 격리, 적응형 정책 변경, 인간 감독 역량 보존이라는 6가지 기능을 체계화합니다. 두 가지 시뮬레이션을 통해 개별 통제 환경에서의 공유 신호 기반 금융이력 부족자(thin-file) 배제 현상과, 인위적으로 조성된 드리프트 환경에서 관측 대비 예상 분포 모니터링을 통한 조기 경보 가능성을 입증합니다. 본 연구는 이러한 통제 기법을 공정 대출, EU AI 법(EU AI Act), 모델 리스크 및 영업행위 감독 증빙 요건과 연계하며, 즉각적인 운영 효과성을 주장하기보다는 향후 검증(validation) 과제를 제시하며 마무리합니다.

arXiv:2609.24784v1cs.AI공통 태그 Fairness, Management

볼록 AI 합성성과 AI 시스템 집단 거버넌스

Convex AI Compositionality and the Governance of AI System Populations

AI 거버넌스는 점점 더 제공자와 공공 당국이 여러 AI 시스템에 대한 다수의 인스턴스화, 대안 버전, 배포 구성을 함께 추론하도록 요구한다. 그러나 현재 규제는 여전히 주로 단일 시스템 중심이며, 이러한 다중성을 드물게만 인정할 뿐 관련 AI 시스템의 집합을 거버넌스 대상으로 다루지 않는다. 이는 AI 집단 거버넌스 문제를 만든다. 즉, 어떤 인스턴스화를 의미 있게 함께 고려할 수 있는지, 그리고 변화하는 구성을 어떻게 표현하고 모니터링할 수 있는지를 결정하는 문제이다. 첫 번째 요구사항은 최근 신뢰성(trustworthiness) 기반 AI 정체성 논의를 통해 다루어졌다. 우리는 두 번째를 볼록 AI 합성성(convex AI compositionality)을 도입함으로써 다룬다. 이는 볼록 공간(convex spaces)을 사용하는, 유한 AI 시스템 집단이 생성하는 구성에 대한 형식적 표현이다. 핵심 아이디어는 AI 시스템 인스턴스 집단이 시간에 걸쳐 점유할 수 있는 운영 상태(operational states)의 볼록 합성이 집단 전체에 걸친 수명 주기 도달 가능성(lifecycle reachability)과 양립하며, 이러한 시스템들 사이의 형식적 정체성 관계를 보존할 수 있다는 것이다. 가중 상태 분포(weighted state distributions)와 볼록 껍질(convex hulls) 같은 잘 알려진 통계·기하 구성은, 명시된 조건 하에서 수명 주기 도달 가능성 및 AI 정체성과 양립하는 한, 운영 상태, 집단 가중치, 이질성(heterogeneity), 서로 다른 거버넌스 모드에 걸친 AI 구성 변화를 구별하는 AI 거버넌스 도구가 된다. 우리는 분산 헬스케어 배포와 채용 AI 변형의 통제된 배포를 통해 AI 집단 거버넌스 프레임워크를 설명한다.

arXiv:2607.20542v1cs.LG공통 태그 Fairness, Management

의사결정 인식 기계학습을 통한 필수 의약품 접근성 개선

Improving Access to Essential Medicines via Decision-Aware Machine Learning

저소득 및 중간소득 국가(LMIC)의 의료 시스템에서 중요한 과제는 희소 자원, 특히 필수 의약품의 효율적이고 공평한 배분이다. 이 문제는 고품질 데이터가 제한되어 전통적인 데이터 기반 기법의 적용 가능성을 제약한다는 점에서 더욱 복잡하다. 우리는 필수 의약품 배분을 위한 새로운 의사결정 인식 기계학습 프레임워크를 제안하며, 이는 샘플 효율성(sample efficiency)을 보장하기 위해 다중 작업 학습(multi-task learning)을, 공평한 배분을 보장하기 위해 촉매적 사전분포(catalytic priors)를 추가로 활용한다. 시에라리온(Sierra Leone) 정부와 협력하여, 우리는 의사결정 지원 도구로서 우리 시스템의 단계적 전국 배포를 수행했다. 우리의 계량경제학적 평가(econometric evaluation)는 처리군 지역에서 배분된 제품의 소비가 약 19% 증가한 것으로 추정되며, 이는 필수 의약품 접근성 개선에 대한 효과를 보여준다. 우리 도구는 이후 전국으로 확대되어 약 200만 명의 여성과 5세 미만 아동을 대상으로 하였다. 본 연구는 자원이 제한된 글로벌 보건 환경에서 기계학습 방법이 매우 낮은 비용으로 효율성을 개선할 수 있음을 보여준다.

arXiv:2607.13839v1cs.CY공통 태그 Fairness, Management

AI 증강 인적 자원 관리? 독일 기업으로부터의 통찰

AI-Augmented Human Resource Management? Insights from German companies

본 연구는 독일 기업에서 인적 자원 관리(Human Resource Management)에 AI를 통합하는 과정을 조사한다. AI 기반 기술이 인적 자원 관리를 실제로 어떻게, 그리고 '증강(augmenting)'하고 있는지를 묻는다. 조직은 생성형 AI(generative AI) 또는 예측 분석(predictive analytics)을 활용해 전통적인 인적 자원 기능을 변화시키고, 일상 업무를 간소화하며, 자원을 전략적이고 사람 중심의 활동으로 재배치한다. 인터뷰, 집단 토론, 설문조사(N=410)를 통해 얻은 결과는 AI 도구가 HR 분석 역량을 강화하는 한편, 도입은 주로 효율성 및 합리화(rationalising) 목표를 위해 이루어진다는 점을 보여준다. AI 도구의 도입은 디지털 인프라, 공동결정(co-determination) 체계, 윤리적 함의와 같은 조직 변혁 요인에 의해 형성된다. 본 연구는 인재 개발 개선을 위한 전략적 잠재력과 데이터 거버넌스(data governance) 및 알고리즘 투명성(algorithmic transparency)이 제기하는 과제를 모두 조명한다. 전반적으로, 이 연구는 HR에서 기술 변화의 모호한 역할을 이해하는 데 기여하며, 예측 역량을 증강할 것을 약속하면서도 효율성과 합리화(rationalisation)의 목적에 기여한다는 점을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.