PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20950v1cs.AI

Power Systems Agent Benchmark: 전력 공학에서 AI 에이전트의 실행 가능 평가

Power Systems Agent Benchmark: Executable Evaluation of AI Agents in Electric Power Engineering

실행 가능 평가 — 에이전트 행동의 결과를 서술을 채점하는 대신 프로그램으로 검증하는 방식 — 은 소프트웨어 환경에서 도구 사용 AI 에이전트를 평가하는 주요 방법이 되었다. 전력 공학에는 아직 이에 상응하는 벤치마크가 없다. 언어 모델 사용은 여전히 검색과 텍스트 질의응답에 치우쳐 있으며, 전력 시스템 산출물에 작용하는 에이전트는 대부분 학술적 프로토타입에 머물러 있다. 본 논문은 전력 공학 에이전트를 위한 실행 가능 벤치마크인 Power Systems Agent Benchmark를 제안한다. 에이전트는 구조화된 과제를 받아 구조화된 해법을 반환한다. 결정론적 평가기는 공학적 물량을 재계산하고 운영 제약을 검사하여 실행 가능성 플래그, 정규화 점수, 명시적 위반 항목을 반환한다. 벤치마크는 조류, 보호, 안정성, 마이크로그리드, 신뢰성, 전력 품질, 예측 등 전력 공학 8개 영역에 걸쳐 41개 과제 패밀리를 포함한다. 각 과제는 인용 가능한 출처, 표준, 또는 문서화된 공학적 정식화에 기반한다. 오염(contamination)을 방지하기 위해, 보류(hold-out) 사례는 패밀리별 생성기가 비공개 시드로부터 요청 시 합성한다. 구성 방식은 검사 가능하지만 인스턴스는 비공개로 유지된다. 세 가지 명령줄 에이전트에 대한 참조 평가에서, 가장 강한 모델은 compact tier 상한에 근접한 점수를 기록하고, 더 작은 오픈 모델은 뒤처지며, 공개 분할과 보류 분할 성능은 대체로 일치한다. OpenCode와 Aider를 사용한 별도의 공개 분할 그리드는 하네스(harness) 효과를 탐색한다. 참조 평가는 품질 관리 역할도 한다. 만장일치 실패는 후보 과제 또는 평가기 결함을 표시하고, 자기 일관성 검사가 놓친 잠재적 평가기 버그를 드러냈다. 평가기는 컴팩트한 결정론적 대리(surrogate)이지만, 과제 계약(task contract)을 통해 내부를 시뮬레이터 기반 검사로 업그레이드할 수 있으며, 과제 제시 및 해법 방식은 변경하지 않아도 된다.