arXiv:2307.10704

Decentralized Smart Charging of Large-Scale EVs using Adaptive Multi-Agent Multi-Armed Bandits

Sharyal Zafar, Raphaël Feraud, Anne Blavette, Guy Camilleri, Hamid Ben

제출 2023-07-20

원문 초록

The drastic growth of electric vehicles and photovoltaics can introduce new challenges, such as electrical current congestion and voltage limit violations due to peak load demands. These issues can be mitigated by controlling the operation of electric vehicles i.e., smart charging. Centralized smart charging solutions have already been proposed in the literature. But such solutions may lack scalability and suffer from inherent drawbacks of centralization, such as a single point of failure, and data privacy concerns. Decentralization can help tackle these challenges. In this paper, a fully decentralized smart charging system is proposed using the philosophy of adaptive multi-agent systems. The proposed system utilizes multi-armed bandit learning to handle uncertainties in the system. The presented system is decentralized, scalable, real-time, model-free, and takes fairness among different players into account. A detailed case study is also presented for performance evaluation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22935v1cs.LG공통 태그 Fairness, Multi-Armed Bandits

정적·시간 가변 노출 하한을 갖는 불일치 반올림 공정 밴딧

Discrepancy-Rounded Fair Bandits with Static and Time-Varying Exposure Floors

최소 노출 제약은 추천, 콘텐츠 큐레이션, 규제된 할당에서 각 공급자, arm, 또는 그룹이 집계적으로만이 아니라 기간 내에 보장된 노출을 받아야 할 때 발생한다. 우리는 정확한 노출 하한을 갖는 확률적 밴딧(stochastic bandits)을 연구하고, 핵심 대상은 반올림 문제임을 보인다. 분수 공정 스케줄이 정수 pull로 실현되며, 노출 오차는 정확히 불일치 벡터(discrepancy vector)이다. 주요 기여는 시간 가변 하한을 갖는 블록 단위 모델이다. BDQ-UCB는 모든 블록 하한을 결정적으로 만족하며, horizon $T$가 아닌 비필수 예산 $R$에 의해 지배되는 공정 regret을 갖고, 높은 확률에서 regret $O(\sqrt{KR\log(KT)})$를 달성한다. MOSS 잔차(residual) 변형은 $O(\sqrt{KR})$를 달성하고, 일치하는 하한이 양의 필수 노출(mandatory exposure)에서도 minimax rate $Θ(\sqrt{KR})$를 제공한다. kl-UCB$^{++}$ 잔차 규칙은 instance-dependent 최적성을 추가한다. 이 정식화는 겹치는 그룹 하한에 필수적이다. arm별 반올림은 그룹 크기에 대해 $Ω(s)$만큼 그룹 제약을 위반할 수 있는 반면, Beck--Fiala 영공(null-space) 반올림은 블록 예산 내에서 모든 그룹 하한을 만족하며 위반을 arm degree $t$ 미만으로 유지하고, 동일한 $R$-매개변수 regret과 UCB를 결합한다. 학습된 그룹 계획에 대해, 우리는 disjoint system을 $\widetildeΘ(\sqrt{KT})$에서 닫고, 겹침 하에서 naive index 규칙이 실패하는 이유를 설명하는 이중 원장(dual-ledger) 분해를 제시하며, 초기 cover-slack 조건 하에서 pathwise feasible한 plan-sampling 규칙을 증명하고 조건부 $\widetilde O(\sqrt{KT})$ 보장을 달성하되, 조건 없는 겹침 rate는 열어둔다. 합성 하한, MovieLens-100k 장르 노출, 배포 스트레스 테스트에 대한 실험은 penalty tuning 없이 정확한 feasibility를 보여주며, tuned Lagrangian baseline과 경쟁력 있는 regret을 보인다.

arXiv:2607.13402v1stat.ML공통 태그 Fairness, Multi-Armed Bandits

밴딧에서 공정성의 대가: 엄밀한 미니맥스 특성화

Price of Fairness in Bandits: A Tight Minimax Characterization

밴딧 문제에서 표준 후회(regret) 최소화 알고리즘은 탐험을 상각 비용으로 취급하며, 이는 임상 시험과 같은 설정에서 초기 참가자에게 불공정한 사전(ex-ante) 손실을 노출시킬 수 있다. 최근 연구는 일반화된 $p$-평균을 통해 라운드별 기대 보상의 시퀀스를 평가함으로써 이 문제를 다루며, 이는 공리주의적 후생($p=1$), 내시 후생($p\to0$), 로얼스식 공정성($p\to-\infty$) 사이를 보간한다. $p\ge0$에 대해서는 엄밀한 보장이 알려져 있지만, 엄격한 공정 체제 $q=-p>0$는 음의 거듭제곱 평균이 가장 작은 라운드별 보상에 의해 지배되기 때문에 여전히 해결되지 않았다. 비음 평균을 갖는 $σ$-sub-Gaussian 보상에 대해, 기존 최상의 알고리즘은 균일 초기 탐험에 의존하여 후회 $O(k^{(q+1)/2}/\sqrt{T})$를 달성했으며, 유일한 일반적인 하한은 고전적인 $Ω(σ\sqrt{k/T})$였다. 따라서 $k$에 대한 추가적 의존성이 엄격한 공정성에 내재적인 것인지, 아니면 균일 탐험의 인공물인지는 불분명했다. 우리는 엄격한 공정성의 정확한 다항식적 대가를 밝힘으로써 이 간극을 메운다. 건초더미 속 바늘(needle-in-haystack) 구성을 사용하여, 우리는 알고리즘 독립적 하한 $Ω(σ\sqrt{k^{\max(1,q)}/T})$를 증명한다. $q>1$에 대해, 이는 $k^{q/2}$의 페널티가 정보량론적으로 불가피함을 보여준다. 그다음 \textsf{UCB-HARE}(Harmonic Anchored Rank Exploration, 조화 앵커 순위 탐험)을 제안하는데, 이는 균일 탐험을 인증된 양의 평균 앵커로 보호된 역가중 조화 순위 일정으로 대체한다. 그 후회는 $\widetilde{O}(σ\sqrt{k^{\max(1,q)}/T})$이며, 로그 요인을 제외하면 하한과 일치한다. 합성 인스턴스에 대한 실험이 \textsf{UCB-HARE}가 균일 탐험 베이스라인보다 개선됨을 확인하며, $q$가 커질수록 이득이 증가한다.

arXiv:2606.28943v1cs.CL공통 태그 Fairness, Multi-Armed Bandits

A3M: 반복 경매에서 전략적 입찰을 위한 적응형·적대적·다목적 학습

A3M: Adaptive, Adversarial and Multi-Objective Learning for Strategic Bidding in Repeated Auctions

밴딧 피드백이 있는 반복 다단위 경매에서 입찰 전략을 학습하는 것은 근본적인 도전 과제입니다. 기존 방법들은 흔히 고정된 탐험-후-활용(explore-then-exploit) 스케줄에 의존하고, 정상적(stationary) 적대자를 가정하며, 입찰자 효용만을 최적화함으로써 적응성과 전략적 견고성을 제한합니다. 이러한 한계를 해결하기 위해, 우리는 온라인 경매 전략 최적화를 위해 적응형 심층 강화학습(DRL), 명시적 적대적 추론, 원칙에 기반한 다목적 보상 설계를 통합한 A3M 프레임워크를 제안합니다. A3M은 탐험과 활용을 동적으로 균형 잡는 액터-크리틱 DRL 백본, 비정상(non-stationary) 적대자에 대한 허구적 플레이(fictitious play)를 위한 상대방 모델, 그리고 효용·경매자 수익·공정성을 공동으로 최대화하기 위한 복합 보상 함수를 활용합니다. 우리는 차별 가격(discriminatory price) 경매와 균일 가격(uniform price) 경매 모두에서 기존 베이스라인 대비 이 통합 접근법에 대한 최초의 종합적 실증 평가를 제공합니다. 결과에 따르면, A3M은 표준 설정에서 최종 후회(regret)를 30--40\% 감소시키고, 적대적 전략 변화에 대해 견고한 성능을 유지하며, 단위 수 $K$에 따라 유리하게 스케일링되고, 조정 가능한 다목적 트레이드오프를 가능하게 합니다. 광범위한 절제 연구(ablation study)를 통해 각 핵심 구성 요소의 필요성이 확인됩니다. 본 연구는 A3M을 복잡한 경매 환경에서의 학습을 위한 강력하고 유연한 프레임워크로 정립합니다.

arXiv:2607.02891v2cs.LG공통 태그 Multi-Armed Bandits

오분류 리덕션을 통한 비정상 선형 밴딧의 동적 후회

Dynamic Regret for Non-Stationary Linear Bandits via Misspecification Reductions

많은 온라인 의사결정 문제는 라운드별 실행 가능한 행동과 변화하는 보상 모델을 모두 수반한다. 적격 광고 노출, 실행 가능한 가격, 이용 가능한 치료법은 시간에 따라 바뀔 수 있고, 사용자 선호, 수요 곡선, 환자 반응은 진화할 수 있다. 이러한 응용에 동기를 받아 본 논문은 라운드별 실행 가능 의사결정 집합을 갖는 비정상 선형 밴딧을 연구한다. 핵심 기여는 비정상 선형 밴딧의 파라미터 드리프트를 맥락적 선형 밴딧의 모델 오지정과 연결하면서 라운드별 의사결정 기준을 보존하는 블록 단위 환원이다. 이 연결을 통해 오지정 적응형 학습을 활용하여 일반적인 시간 가변 의사결정 집합에 대한 동적 후회 보장을 얻을 수 있다. 경로 길이 예산 $P_T$가 알려진 경우, 비적응적 파라미터 경로 하에서 일반 컴팩트하고 적응적이며 비예측적인 의사결정 집합에 대해, 그리고 비적응적 환경 하에서 $K$-암 맥락적 선형 밴딧에 대해 이러한 보장을 확립한다. 일반 시간 가변 의사결정 집합에서 본 논문의 경계는 $T$와 $P_T$에 대한 의존성을 기존 LinUCB 기반 접근법에서 가능한 $\widetilde O(T^{3/4}P_T^{1/4})$ 보장에서 $\widetilde O(T^{2/3}P_T^{1/3})$로 개선하며, 이는 로그 인자를 제외하고 비정상 하한의 의존성과 일치한다.

arXiv:2607.05552v2cs.CL공통 태그 Fairness

LLM 도덕 판단의 예-아니오 편향 분해: 입장, 위치, 단어, 판결

Decomposing Yes-No Bias in LLM Moral Judgment: Stance, Position, Word, and Verdict

대규모 언어 모델(LLM)은 안전 게이트, 판정자 결정, 가치 탐침 등에서 이진 판결을 점점 더 많이 내리며, 그 답은 모델의 판단으로 읽힌다. 확정된 판단이라면 같은 질문의 짝지어진 표현 사이에서 일관되어야 한다. "찬성합니까?"에 대한 예는 "반대합니까?"에 대한 아니오와 대응해야 한다. LLM은 이 일관성을 자주 위반하며, 예/아니오 질문에서는 판결, 답변 단어, 출력된 위치가 일치하므로 기존의 뒤집은 질문 감사는 무엇이 움직였는지 말해 주지 못하는 하나의 대비만 제공한다. 우리는 뒤집기를 질문 극성, 제시 순서, 답변 레이블의 완전한 2x2 및 2x2x2 교차로 확장하여 입장을 위치, 단어, 레이블, 판결 역할 효과와 분리하는 교차 심리측정 배터리를 도입한다. 독립적인 단계형 도구는 이진 형식 없이 각 모델의 입장 $\theta$를 추정하며, 두 모수 적합(프레이밍 민감도 $m$, 결단성 $s$)은 민감도를 가리는 포화로부터 강건성을 분리한다. 이 배터리를 스무 개의 도덕적 딜레마에 적용하여, 23개 추론 구성에서 Claude, GPT, Gemini 계열의 최첨단 모델 열 개에 대해 135만 회의 시행을 수행한 결과, 응답 형식 편향은 널리 퍼져 있으나 결코 균일하지 않음을 발견했다. 가장 큰 겉보기 예-아니오 편향은 거의 순전히 표면적(단어와 위치)인 반면, 가장 최신 모델 몇몇은 그 반대를 보인다. 뒤집기 대비는 0에 가깝지만 판결 결속이 최대 +0.42에 이르며, 이는 어떤 표면 상쇄로도 드러낼 수 없는 성분이고 레이블 알파벳을 바꿔도 재현된다. 요청된 추론은 이러한 경로를 없애지 않고 재형성한다. 피험자가 자유 텍스트로 결정을 서술하고 별도의 모델이 이를 전사할 때, 두 판정자 계열은 공동으로 채점된 전사의 99.3%에서 일치하며 상충하는 확정 레이블은 없었고, 전사된 입장은 단계형 척도와 수렴한다(중앙값 $r=0.87$). 응답 형식은 도구의 일부이며, 판단은 그것과 분리하여 측정될 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.