arXiv:2406.00974

Large Language Model Assisted Optimal Bidding of BESS in FCAS Market: An AI-agent based Approach

Borui Zhang, Chaojie Li, Guo Chen, ZhaoYang Dong

제출 2024-06-03

원문 초록

To incentivize flexible resources such as Battery Energy Storage Systems (BESSs) to offer Frequency Control Ancillary Services (FCAS), Australia's National Electricity Market (NEM) has implemented changes in recent years towards shorter-term bidding rules and faster service requirements. However, firstly, existing bidding optimization methods often overlook or oversimplify the key aspects of FCAS market procedures, resulting in an inaccurate depiction of the market bidding process. Thus, the BESS bidding problem is modeled based on the actual bidding records and the latest market specifications and then formulated as a deep reinforcement learning (DRL) problem. Secondly, the erratic decisions of the DRL agent caused by imperfectly predicted market information increases the risk of profit loss. Hence, a Conditional Value at Risk (CVaR)-based DRL algorithm is developed to enhance the risk resilience of bidding strategies. Thirdly, well-trained DRL models still face performance decline in uncommon scenarios during online operations. Therefore, a Large Language Models (LLMs)-assisted artificial intelligence (AI)-agent interactive decision-making framework is proposed to improve the strategy timeliness, reliability and interpretability in uncertain new scenarios, where conditional hybrid decision and self-reflection mechanisms are designed to address LLMs' hallucination challenge. The experiment results demonstrate that our proposed framework has higher bidding profitability compared to the baseline methods by effectively mitigating the profit loss caused by various uncertainties.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28145v1cs.LG공통 태그 Language Modeling, Deep Reinforcement Learning

RL은 RL 이전에 시작된다: 더 나은 강화학습을 위한 온-정책 증류

RL Starts before RL: On Policy Distillation for Better Reinforcement Learning

강화learning(RL)은 추론을 향상시키지만, 성능은 학습이 시작되는 정책에 달려 있다. 우리는 온-정책 증류(OPD)를 RL을 위한 준비 단계로 두고 연구하며, 그 이점이 증류된 모델의 초기 정확도 개선을 넘어서는지 묻는다. 동일한 RL 설정에서 OPD로 초기화한 학생 모델은 직접 RL로 학습한 모델, 또는 지도 미세조정 뒤 RL을 적용한 모델보다 더 높은 최종 성능에 도달한다. 이 이점은 OPD가 즉각적인 정확도 향상을 거의 주지 않을 때에도 나타날 수 있다. RL 이전 Pass@k만으로는 이 이점을 완전히 설명하지 못한다: 비슷하거나 더 높은 값이 RL 이후 더 나은 성능으로 이어지지는 않을 수 있다. 행동 분석은 top-1 일치를 넘어 교사 분포와의 정렬이 가능한 설명임을 가리킨다. 이러한 정렬은 더 높은 품질의 추론 경로를 선호하면서, RL이 결과 피드백으로 더 다듬을 수 있는 대안들을 남겨 둘 수 있다. 또한 궤적 출처와 발산 목표가 이후 RL을 위한 증류의 가치에 어떻게 영향을 미치는지 살핀다. 표준 역방향 KL OPD는 RL 이전에 더 낫지만, 순방향 KL OPD는 그 이후에 앞서게 된다. 교사가 생성한 증류 궤적을 쓰면 역방향 KL은 두 단계 모두에서 앞선다. 이는 선호되는 증류 목표가 궤적 출처와 뒤이어지는 학습 모두에 달려 있음을 시사한다. 우리 결과는 OPD를 RL 준비 단계로 평가하고, 이후 학습 뒤 달성한 성능을 기준으로 증류 방식을 고르는 접근을 뒷받침한다.

arXiv:2609.24174v1cs.AI공통 태그 Language Modeling, Deep Reinforcement Learning

CREDO: 재생-보정된 크레딧 할당을 위한 분산 유도 루브릭 진화

CREDO: Variance-Guided Rubric Evolution for Replay-Corrected Credit Assignment

장기적(Long-horizon) 언어 에이전트는 희소한 최종 피드백을 받는 반면, 중간 루브릭(rubric)은 진행 상황에 대해 구조화되어 있지만 잠재적으로 잘못 명시될 수 있는 평가를 제공합니다. 재설정 가능한 학습 환경에서 반사실적 지속 롤아웃(counterfactual continuation rollout)을 통해 국소적 크레딧을 측정할 수 있지만, 완전한 재생(replay)은 비용이 많이 듭니다. 본 논문에서는 진화하는 의미론적 루브릭과 선택적 실행 기반 크레딧 보정을 결합한 프레임워크인 Credo를 제안합니다. 동결된 판별기(judge)는 가시적인 전이(transition)를 루브릭 특징에 매핑하고, 크레딧 헤드는 실현된 전이와 관련된 기대 최종 보상의 변화를 예측합니다. 독립적으로 샘플링된 양측 재생은 기록된 포함 확률을 사용하여 예측 잔차를 보정합니다. 본 연구는 조건부 비편향성과 두 가지 설계 선택(유지할 루브릭 특징 및 고정된 기대 재생 예산 할당 위치)을 연결하는 분산 분해를 유도합니다. 그 결과로 도출된 기준은 정책-점수 민감도와 누락된 재생 범위로 예측 오차에 가중치를 부여하며, 해당 할당 규칙은 지속 비용까지 추가로 고려합니다. 또한 최종 LOO(leave-one-out) 이점과의 실용적인 혼합을 설명하고, 클리핑 및 토큰 정규화가 적용된 PPO 구현을 이상적인 정책 그래디언트 추정량과 구별합니다. 이 예비 보고서는 방법론, 증명, 정확한 유한 모델 감사 및 통제된 평가 프로토콜을 제공하며, 언어 에이전트 벤치마크에서의 경험적 우수성은 주장하지 않습니다.

arXiv:2607.23361v1cs.DS공통 태그 Language Modeling, Hallucination

언어 생성에서의 환각률

Hallucination Rates in Language Generation

극한에서의 언어 생성(language generation in the limit)은 Kleinberg와 Mullainathan [KM24]이 예시 문자열만을 바탕으로 학습하는 알고리즘에 의한 언어 생성을 형식적으로 연구하기 위해 도입한 우아한 모델이다. 이 모델에서 알고리즘이 어떤 언어로부터 올바르게 생성한다고 하려면, 유한한 시간 이후에는 결코 오류를 범하지 않아야 한다. 반면, 실제로는 정교한 언어 모델조차도 정기적으로 환각(hallucination)하는 것으로 알려져 있다. 본 논문에서는 (무한) 환각을 수반하는 극한에서의 언어 생성 연구를 개시한다. 즉, 알고리즘이 부정확한 문자열을 무한히 자주 생성할 수 있지만, 오류는 제한된 비율(0-측도(0-measure)에서도 가능)로 발생한다. 먼저, 비율 0에서조차 환각은 극한에서의 생성을 엄밀히 더 강력하게 만든다는 것을 보인다. 유한 오류로는 생성할 수 없지만 무한 오류로는 생성할 수 있는 언어 집합들이 존재하며, 이는 오류가 0-측도의 시간 단계 집합에서 발생하는 경우에도 마찬가지이다. 또한, 모든 가산(countable) 집합은 유한 오류로 생성 가능한 반면, 환각률(hallucination rate)로 특징지어지는 (비가산(uncountable)) 언어 집합들의 엄격한 계층을 보인다. 이 계층은 목표 언어의 생성 비율인 폭(breadth)까지 확장된다. 모든 가산 집합은 최적 폭 1/2 [KW26b]를 달성할 수 있는 반면, 모든 폭과 환각률에서 엄격한 분리를 보인다. 마지막으로, 알고리즘이 문자열을 반복할 수 없는 반복 없는(no repetition) 극한에서의 생성을 연구한다. 이를 통해 올바른 시간 단계와 부정확한 시간 단계의 비율이 아니라, 생성된 올바른 문자열 집합과 부정확한 문자열 집합을 비교할 수 있다. 다시, 모든 환각률과 폭에서 엄격한 계층을 입증한다. 종합하면, 이러한 결과들은 환각을 수반하여 극한에서 생성 가능한 언어 집합들의 풍부한 구조를 드러내고, 환각률을 언어 생성의 이론적 연구에서 중요한 매개변수(parameter)로 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.