LLM 기반 전력 계통 코드 생성을 위한 지식 경계 탐침 및 수요 유도 개입
Knowledge boundary probing and demand-guided intervention for LLM-based power system code generation
한국어 초록
대규모 언어 모델(LLM)은 전력망 분석 요청을 전력 계통 시뮬레이션을 위한 실행 가능한 프로그램으로 변환할 수 있지만, 전력 회사와 연구소는 종종 온프레미스(on-premise) 배포를 요구합니다. 이러한 환경에서는 환각(hallucination)된 함수, 오용된 매개변수, 잘못 처리된 결과 테이블 등 API 지식 경계에서 초회(first-pass) 실패가 빈번하게 발생합니다. 본 논문에서는 pandapower를 위해 동결된 2,000개 태스크 스위트로 공개된 매개변수화된 벤치마크 생성기인 PowerCodeBench와 가중치(weight) 업데이트가 필요 없는 배포 시점 워크플로를 제시합니다. 문서 기반 L0-L3 프로브는 진단, 모델 비교, 문서 할당, 백엔드 보정을 위한 모델별 API 프로필을 생성합니다. 쿼리 측 수요 추정기는 생성 전에 계층화된 API 증거를 선택하고, 실행 피드백은 표적화된 수정을 라우팅합니다. 10개의 오픈 가중치 LLM(1.5B-480B)과 4개의 중간급 API 전반에서, 검증(validation) 지원 워크플로는 7B 이상의 모든 모델과 모든 API에 대해 보조가 없는 초회 실행 대비 최대 3회의 수정 라운드 후 스칼라 일치 정확도를 32-56%포인트 향상시킵니다. 70B-120B 범위의 오픈 가중치 모델은 동일한 툴 미사용 조건에서 4개 벤더 중간급 정확도 범위에 도달합니다. 선택적 주입은 프롬프트(prompt) 토큰의 41%만을 사용하여 전체 층(layer) 참조에 근접합니다. 두 워크플로 모두에서 수치 검증을 통과한 모델-아이템 쌍 중 엔지니어링 검토 결과, 일반 수정에서는 66%였던 요청 분석 충족률이 전체 워크플로 출력에서는 88%로 확인되었습니다. OpenDSS 및 PyPSA에 대한 라운드 0 파일럿은 콜드 스타트 시점의 광범위한 검색에서 보정된 선택적 주입으로 이어지는 단계별 온보딩의 필요성을 입증합니다. 측정된 처리량, 지연 시간, 에너지 및 할당된 GPU 메모리는 실용적인 온프레미스 서빙 엔벨로프를 확립합니다.
원문 초록
Large language models (LLMs) can turn grid-analysis requests into executable programs for power-system simulation, but utilities and research laboratories often require on-premise deployment. In this setting, first-pass failures frequently arise at an API-knowledge boundary, through hallucinated functions, misused parameters, and mishandled result tables. We present PowerCodeBench, a parameterised benchmark generator released as a frozen 2,000-task suite for pandapower, and a deployment-time workflow that requires no weight updates. Documentation-driven L0-L3 probes produce per-model API profiles for diagnosis, model comparison, documentation allocation, and backend calibration. A query-side demand estimator selects layered API evidence before generation, while execution feedback routes targeted repair. Across ten open-weight LLMs (1.5B-480B) and four mid-tier APIs, the validation-enabled workflow raises scalar-match accuracy by 32-56 percentage points after up to three repair rounds relative to an unassisted first pass, for every model of at least 7B and every API. Open-weight models in the 70B-120B range reach the four-vendor mid-tier accuracy range under matched no-tool conditions. Selective injection approaches the full-layer reference using 41% of its prompt tokens. Among model-item pairs passing numerical checks under both workflows, engineering review confirms the requested analysis in 88% of full-workflow outputs versus 66% under plain repair. Round-0 pilots on OpenDSS and PyPSA motivate staged onboarding from broad retrieval at cold start to calibrated selective injection. Measured throughput, latency, energy, and allocated GPU memory establish a practical on-premise serving envelope.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SWE-DeceptionBench: 소프트웨어 개발 생명주기 전반에서 LLM의 기만적 행동 벤치마킹
SWE-DeceptionBench: Benchmarking Deceptive Behaviors of LLMs Across the Software Development Lifecycle
대규모 언어 모델(LLM)은 소프트웨어 개발 생명주기 전반에서 점점 더 많이 사용되고 있다. LLM에 대한 이러한 의존도 증가는 신뢰성에 대한 우려를 불러일으키며, 그중에서도 기만(deception)은 특히 중요한 위험 요소이다. 기만적 행동은 오해를 유발하는 응답이나, 정보를 조작·은폐·왜곡하는 것을 돕는 형태로 나타난다. 이러한 행동을 연구하기 위해, 우리는 소프트웨어 공학에서 LLM의 기만을 평가하기 위한 벤치마크인 SWE-DeceptionBench를 소개한다. 이 벤치마크는 여섯 개의 생명주기 단계와 두 가지 기만 유발 요인을 다룬다: 모델이 실현 불가능하거나 상충되는 요구사항을 인지하면서도 이를 달성 가능한 것처럼 제시하는 능동적 기만(Active Deception), 그리고 모델이 타인을 속이려는 명시적인 사용자 요청의 이행을 돕는 수동적 기만(Passive Deception)이다. 우리는 추가로 외부 유인의 영향을 연구하기 위해 중립(Neutral), 보상(Reward), 압박(Pressure) 조건을 도입하였으며, 이를 통해 중국어와 영어로 구성된 총 720개의 테스트 인스턴스를 구성하였다. 일곱 개의 주요 LLM을 평가한 결과, 중립 조건에서도 상당한 기만이 나타났으며, 능동적 기만의 전체 비율은 49.88%, 수동적 기만의 전체 비율은 64.29%에 달하였다. 기만 비율은 생명주기 단계에 따라 달라졌으며, 외부 유인은 능동적 기만과 수동적 기만에 서로 다른 정도로 영향을 미쳤다. 우리는 또한 경량 방어 기법을 평가하였으며, 가드 모델(guard model)이 많은 기만적 요청을 탐지하지 못하고, Self-Reminder가 기만적 응답을 감소시키지만 완전히 제거하지는 못한다는 것을 발견하였다. 이러한 결과는 신뢰할 수 있는 LLM 기반 소프트웨어 공학을 지원하기 위해 더 효과적인 기만 탐지 및 완화 방법이 필요함을 시사한다.
프롬프트 옵티마이저는 제한된 예산을 어떻게 사용해야 하는가? 노이즈 적응형 평가를 적용한 BudgetAPO
How Should a Prompt Optimizer Spend a Tight Budget? BudgetAPO with Noise-Adaptive Evaluation
자동 프롬프트 최적화(Automatic Prompt Optimization, APO)는 대규모 언어 모델(LLM)의 가중치를 업데이트하지 않고 적응시키기 위해 널리 사용되어 왔으며 유망한 결과를 보여주었습니다. 그러나 GEPA 및 OPRO와 같은 기존 방식은 대상 모델에 대해 수백에서 수천 번의 호출을 가정하므로, 유료 및 속도 제한이 있는 API 환경에서는 현실적인 수준을 훨씬 뛰어넘습니다. 제한된 예산 하에서 기존 방식은 두 가지 방식으로 실패합니다. 다단계 파이프라인은 예산을 모두 소진하여 시드 프롬프트를 변경 없이 그대로 반환할 수 있으며, 단일 단계 방식은 각 태스크의 노이즈와 무관하게 고정된 크기의 미니배치에서 후보를 비교합니다. 이에 대한 해결책으로, 본 연구에서는 제한된 예산 환경을 위한 단일 단계 옵티마이저인 BudgetAPO를 제안합니다. BudgetAPO는 (1) 짧은 탐색(probe)으로 측정된 각 태스크의 노이즈에 맞춰 평가 슬라이스 크기를 조정하는 노이즈 적응형 규칙, (2) 모든 수락/거절 결정을 대응 비교(paired comparison)로 변환하는 고정 슬라이스, (3) 추론 전략과 출력 형식을 함께 다시 작성하는 성찰적(reflective) 연산자를 포함합니다. 7개 벤치마크와 5개 대상 모델에 걸친 광범위한 실험 결과는 BudgetAPO가 모든 대상 모델에서 1위를 차지하고 홈 보정(Holm-corrected) 대응 검정 하에서 모든 기준선(baseline)을 능가함을 보여줍니다. 또한 250회 호출 시 시드를 그대로 반환하는 비율이 GEPA의 86%에 비해 13%에 불과했습니다. GPT-OSS-20B에서는 GEPA가 본 방법의 100회 호출 점수와 일치하기 위해 5배 더 많은 호출을 필요로 합니다.
코드 이해는 코딩 에이전트의 병목 현상이다
Code Understanding is a Bottleneck for Coding Agents
코딩 에이전트(coding agent)를 위한 저장소 벤치마크(예: SWE-bench)는 편집된 코드 라인 수가 작업 난이도를 예측할 수 있다고 가정하는 경우가 많지만, 이러한 데이터셋은 코드와 작업 유형에 대한 통제가 미흡하여 어떤 능력이 실제로 에이전트 오류를 유발하는지 파악하기 어렵게 만듭니다. 우리는 엄격한 에이전트 평가를 위한 코딩 능력 청사진인 CABRA(Coding Ability Blueprint for Rigorous Agent evaluation)를 제시합니다. CABRA는 작업을 호출 그래프(call graph) 변환 형태로 처음부터 구축하며, 함수 순회, 검색, 런타임 해석, 인스트럭션 추종의 네 가지 축에서 작업 크기 매개변수를 통해 난이도를 조절합니다. 우리는 6,840개의 CABRA 작업에서 8개의 대규모 언어 모델(LLM)과 6개의 코딩 에이전트를 실행하여 다음을 입증합니다. 1) 작업 크기가 커질수록 LLM의 정확도는 떨어지지만, 에이전트는 도구(예: grep)로 작업을 오프로딩하여 거의 완벽한 상태를 유지합니다. 2) 더 큰 CABRA 작업은 읽기 및 분석을 위한 도구 호출을 더 많이 유발하는 한편, SWE-bench Verified에 대한 별도 연구에서는 이러한 도구 호출 수가 편집된 코드 라인 수보다 에이전트의 정확도를 더 잘 예측함을 보여주며, 이는 에이전트의 작업 난이도가 단순히 편집을 수행하는 것만이 아니라 편집할 코드를 이해하는 데 있을 수 있음을 시사합니다. 3) 두 클래스에 걸쳐 분기되는 로직을 분석하는 심층적인 이해 작업으로 CABRA를 확장했을 때 에이전트 정확도가 마침내 떨어지면서 이러한 발견을 뒷받침합니다. 더 나아가, 우리는 도구에 의해 사소해진 LLM의 약점(예: needle-in-a-haystack)과 코딩 에이전트가 여전히 어려워하는 단순 편집 이상의 능력(예: 이해)을 드러내기 위해, SWE-bench 스타일의 작업과 통제된 진단을 결합하는 CABRA와 같은 합성 평가가 필요하다고 주장합니다.
TestJack: 코딩 벤치마크 결과를 신뢰할 수 있는가? 평가자 진화를 통한 에이전트 기반 코딩 벤치마크 감사
TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution
대규모 언어 모델(LLM) 에이전트(agent)는 새로운 코드 벤치마크의 폭발적인 증가와 함께 소프트웨어 엔지니어링 환경을 빠르게 재편하고 있습니다. 그러나 거의 모든 기존 벤치마크는 여전히 수십 년 된 동일한 기준에 의존하고 있습니다. 즉, 고정된 단위 테스트 세트를 통과하면 해당 솔루션이 올바르다고 판단하는 것입니다. 이러한 테스트는 불충분한 경우가 많습니다. 작업에 필요한 요구사항 중 일부만 검사하므로, 에이전트가 모든 테스트를 통과하면서도 보상 해킹(reward hacking)을 하거나 필수 동작을 은밀히 누락할 수 있습니다. 결과적으로 더 높은 벤치마크 점수는 더 뛰어난 문제 해결 능력보다는 평가자에 더 잘 적응했음을 부분적으로 반영할 수 있습니다. 기존 연구들은 정적 테스트 증강에 초점을 맞추고 있습니다. 즉, 어떠한 시도도 관찰하기 전에 각 작업의 테스트를 사전에 한 번 강화하므로, 실제 시도가 실제로 어떻게 실패하는지를 간과합니다. 본 논문에서는 고정된 테스트를 넘어 패치를 평가하기 위한 확장 가능한 프레임워크인 TestJack을 소개합니다. TestJack은 각 시도마다 패치가 위반할 수 있는 프롬프트 요구사항을 겨냥한 테스트를 생성하고, 정답 패치가 통과한 테스트만 유지하며, 모든 시도 실패를 재검토합니다. 따라서 확인된 각 실패는 재생 가능한 테스트를 통해 뒷받침됩니다. 또한 평가 비용을 줄이기 위해 무작위로 추출된 시도 샘플을 심층 감사하고, 그 결과로 얻은 테스트를 동일한 작업의 모든 시도에 재사용하는 경량 변형 모델도 소개합니다. 6개의 프론티어 모델 백엔드와 DeepSWE 및 SWE Marathon을 포함한 5개 벤치마크에 걸쳐 평가한 결과, 현재 올바른 것으로 판정된 모델 시도의 약 34.4%가 작업 요구사항을 위반하여 전체 해결률(resolution rate)이 50.6%에서 33.2%로 낮아지는 것을 발견했습니다. 본 연구 결과는 현재 코딩 에이전트 평가의 근본적인 한계를 드러냅니다. LLM이 고정된 평가자에 맞추어 최적화하는 능력이 향상됨에 따라, 평가자 자체도 더욱 적응적으로 진화해야 합니다.
WorldBench: Three.js 복셀 월드 생성에서의 대규모 언어 모델(LLM) 평가
WorldBench: Evaluating LLMs on Three.js Voxel World Generation
대규모 언어 모델(LLM)은 이제 완전하고 상호작용 가능한 3D 월드를 코드로 작성할 수 있지만, 이러한 월드를 자동으로 채점하는 것은 신뢰하기 어렵습니다. 기존의 평가자들은 출력물에 대해 단일 관점만 취합니다. 즉, 비전-언어(vision-language) 모델이 렌더링된 몇 개의 스냅샷을 점수 매기거나, 언어 모델이 소스 코드를 읽는 방식입니다. 5개의 프론티어 모델이 작성한 월드를 대상으로 분석한 결과, 두 관점은 요구된 항목의 32%에서 의견이 일치하지 않았으며(대부분 어떤 프레임에도 표시되지 않는 코드 때문임), 고정된 시점은 크기가 작은 근접 콘텐츠를 놓친다는 점을 발견했습니다. 본 논문에서는 LLM이 생성한 개방형 Three.js 월드를 위한 벤치마크이자 평가자인 WorldBench를 제시합니다. 10개의 바이옴, 물리 엔진, 낮/밤 및 계절 주기를 갖춘 떠 있는 복셀 섬을 설명하는 단 하나의 프롬프트로부터, 평가자는 실행 중인 월드를 탐색하여 시계를 제어하고, 주위를 공전하며, 네비게이터 에이전트를 파견해 각 바이옴을 화면에 담고, 보이는 내용에 대해 코드를 읽어 들입니다. 두 채널 중 어느 것도 단독으로는 신뢰하지 않습니다. 코드 인용은 소스에 실제로 포함된 텍스트인 경우에만 인정되며, 시각적 주장은 해당 속성이 측정 가능한 경우 측정된 픽셀을 기준으로 교차 검증됩니다. 의도적으로 기능을 제거하는 변이 테스트(mutation test) 결과, 코드 전용 평가는 코드가 파일에 남아 있다는 이유로 제거된 5개 기능 중 4개에 만점을 부여하는 것으로 나타났습니다. 저희 평가자는 제거된 기능에 부여되던 점수를 3분의 1가량 삭감하며(7.11점 중 5.44점에서 3.55점), 여전히 인정되는 부분은 대부분 존재하지만 전혀 실행되지 않는 코드 때문입니다. 저희는 5개의 프론티어 모델(Claude Fable 5.1, GPT-6 Astra, Kimi K3, Grok 4.7, Gemini 3.1 Pro)을 평가합니다. 코드, 프롬프트, 테스트 및 평가자 설정은 https://github.com/KrishBakshi/worldbench 에서 확인할 수 있습니다.
Agent4RE: 엔드투엔드 소프트웨어 요구공학 및 벤치마킹을 위한 자가 개선 다중 에이전트 프레임워크
Agent4RE: A Self-Refining Multi-agent Framework for End-to-End Software Requirements Engineering and Benchmarking
소프트웨어 요구공학(RE)을 위한 기존 대규모 언어 모델(LLM) 기반 접근 방식은 일반적으로 기본적인 프롬프팅 전략이나 초보적인 에이전트 협업에 의존하여 다중 에이전트 시스템의 잠재력을 온전히 활용하지 못하고 있습니다. 한편, 활용 가능한 데이터셋은 요구사항 추출, 분류, 완전성 탐지와 같은 개별적인 하위 작업에만 집중되어 있어, 요구사항 도출부터 생성까지 아우르는 엔드투엔드 RE 벤치마크가 부재한 상황입니다. 본 논문에서는 특화된 에이전트들을 조율하고 두 개의 반복적인 개선 루프를 통합한 자가 개선 다중 에이전트 RE 시스템인 Agent4RE를 제시합니다. 평가를 지원하기 위해 사람이 작성한 요구사항 명세서를 바탕으로 구축된 실제 데이터셋인 RE-E2E를 구성하여 RE 워크플로의 엔드투엔드 평가를 가능하게 했습니다. 이러한 토대 위에서, 자율적 자가 개선 또는 구조화된 인간 피드백을 통합한 두 가지 향상된 Agent4RE 버전을 추가로 제안하고, 다양한 시나리오에서 이들의 강점과 한계를 분석합니다. 8개의 LLM을 대상으로 한 평가에서 세 가지 Agent4RE 변형 모두 텍스트 기반 지표에서 도메인 컨텍스트 증강 프롬프팅 기준선(baseline)을 평균 8% 일관되게 능가하는 것으로 나타났습니다. 두 가지 향상된 변형은 LLM-as-a-judge 및 인간 평가에서 최고 평점을 기록하며 4점 척도 기준 두 개의 RE 기준선보다 약 0.8점 앞섰습니다. 이러한 일관된 성능을 통해 Agent4RE가 산업 환경을 위한 실용적인 엔드투엔드 RE 솔루션임을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
52 pages, 10 figures, including supplementary material. Revised following peer review; expanded validation, cross-backend pilots, serving measurements, and supplementary material. Published in Advanced Engineering Informatics