arXiv:2610.02571v1 cs.SE

효과적인 프롬프트 작성을 통한 LLM 생성 코드의 에너지 효율성 개선

Improving the Energy-Efficiency of the Code Generated by LLMs through Effective Prompting

Ritika Rekhi, Bing Zhang, Md Arman Islam, Jaya Krishna Pasham, Yeswanth Chitturi, Akshay Paramesha, Isha Valiveti, Asif Imran, Bekir Turkkan, Tevfik Kosar

제출 2026-10-01

한국어 초록

AI 보조 프로그래밍이 점차 보편화됨에 따라 AI가 생성한 소프트웨어의 환경적 영향이 중요한 고려 사항으로 부상했습니다. 이에 따라 기능적 정확성을 넘어 실행 효율성과 에너지 소비를 고려하여 대규모 언어 모델(LLM)이 생성한 코드를 평가할 필요성이 대두되었습니다. 그러나 코드 생성 분야의 상당한 발전에도 불구하고, 최신 프론티어 LLM은 생성하는 코드의 에너지 효율성을 기준으로 평가되는 경우가 드뭅니다. 본 연구에서는 에너지 효율적인 코드 생성을 위한 21가지 프롬프트 전략에 대해 포괄적인 평가를 수행하고, 널리 사용되는 10개의 오픈 가중치 및 독점 LLM에 걸쳐 평가할 8가지 전략을 도출했습니다. 우리는 기준선 프롬프트 대비 Python 및 C++ 코드 생성 모두에 대한 효과를 평가했습니다. 평가된 모델 전반에 걸쳐 선택된 프롬프트 전략은 Python의 경우 최대 25%, C++ 코드 생성의 경우 최대 17%의 에너지 절감을 달성했습니다. 개별 모델 수준에서 Python 에너지 감소는 Granite-4.0-H-Small의 경우 최대 50%, Claude 4.5 Haiku의 경우 39%, MiniMax M3의 경우 28%에 달했으며, C++ 감소는 Granite-4.0-H-Small의 경우 최대 56%, Qwen3-Coder-480B-A35B-Instruct의 경우 7%에 달했습니다. 이러한 결과는 프롬프트 전략이 모델과 프로그래밍 언어에 따라 그 효과가 다를지라도 LLM이 생성한 코드의 에너지 소비에 상당한 영향을 미칠 수 있음을 보여줍니다. 본 연구 결과는 LLM 기반 코드 생성의 평가 및 최적화에 에너지 효율성을 반영하는 것의 중요성을 강조하며, 보다 지속 가능한 AI 보조 프로그래밍을 위한 프롬프트 설계에 대한 실질적인 통찰을 제공합니다.

원문 초록

As AI-assisted programming becomes increasingly mainstream, the environmental impact of AI-generated software has emerged as an important consideration. This motivates evaluating LLM-generated code beyond functional correctness by considering execution efficiency and energy consumption. However, despite substantial advances in code generation, frontier LLMs are rarely evaluated based on the energy efficiency of the code they produce. In this work, we conduct a comprehensive evaluation of 21 prompting strategies for energy-efficient code generation and identify 8 strategies for evaluation across 10 widely used open-weight and proprietary LLMs. We evaluate their effectiveness for both Python and C++ code generation relative to a baseline prompt. Across the evaluated models, the selected prompting strategies achieved energy reductions of up to 25% for Python and 17% for C++ code generation. At the model level, Python energy reductions reached up to 50% for Granite-4.0-H-Small, 39% for Claude 4.5 Haiku, and 28% for MiniMax M3, while C++ reductions reached up to 56% for Granite-4.0-H-Small and 7% for Qwen3-Coder-480B-A35B-Instruct. These results demonstrate that prompting strategies can substantially influence the energy consumption of LLM-generated code, although their effectiveness varies across models and programming languages. Our findings highlight the importance of incorporating energy efficiency into the evaluation and optimization of LLM-based code generation and provide practical insights into designing prompts for more sustainable AI-assisted programming.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02571v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15894v1cs.LG공통 태그 Computational Efficiency, Code Generation

모든 확장을 유의미하게: LLM 코드 수정에서 효율적인 탐색을 위한 학습

Make Every Expansion Count: Learning to Search Efficiently in LLM Code Repair

대규모 언어 모델(LLM) 코드 수정 시스템은 수정본을 반복적으로 생성하고 테스트하여 결함이 있는 프로그램을 고칩니다. 각 수정본 생성에는 많은 비용이 들기 때문에, 어떤 수정을 시도할지 선택하는 것이 효율성에 매우 중요합니다. 기존의 탐색 정책은 테스트 통과율과 탐색 통계에 의존하며, 테스트 실패 세부 정보와 제안된 편집 내용은 무시합니다. 본 논문에서는 수정된 프로그램이 생성되고 테스트되기 전에 편집의 우선순위를 정하는 학습된 정책인 CodeTriage를 소개합니다. 0.6B 매개변수(parameter) 모델은 테스트 출력, 실패 진단, 제안된 편집을 읽은 후, 해당 편집을 통해 해결에 도달하는 데 필요한 수정 단계 수에 대한 분포를 예측합니다. 이러한 예측은 수정된 코드를 생성하고 테스트하기 전에 프로그램 전반에 걸쳐 보류 중인 모든 편집의 우선순위를 지정합니다. 미공개 수정 작업에서 CodeTriage는 각 지표의 가장 강력한 기준선(baseline)보다 21% 적은 프로그램 수정본과 12% 적은 출력 토큰으로 해결책을 찾아냅니다. 재학습 없이도 11개의 보지 못한 수정 LLM 각각에 대해 탐색 예산 전반에서 가장 높은 평균 성공률을 달성합니다. 절제 연구(ablation study)에 따르면 실패 문맥과 편집 텍스트뿐만 아니라 프로그램 간의 비교도 탐색을 개선하는 것으로 나타났습니다. 또한 제안된 편집 및 테스트 결과와 함께 수정 트리로 구성된 4개 LLM의 1,220만 개 프로그램 버전 말뭉치를 공개합니다.

arXiv:2610.13563v1cs.SE공통 태그 Computational Efficiency, Code Generation

모든 정답 수정이 같은 성능을 내지는 않는다: 저장소 수준 이슈 해결에서 패치 성능에 대한 실증적 연구

Not All Correct Fixes Run Alike: An Empirical Study of Patch Performance in Repository-Level Issue Resolution

SWE-bench와 같은 저장소 수준 이슈 해결(issue resolution) 벤치마크는 제출된 패치를 주로 정확성 테스트 통과 여부로 평가하며, 테스트를 통과한 서로 다른 패치들 간의 런타임 성능(runtime performance)은 대부분 탐구되지 않은 채로 남아 있다. 패치 성능을 평가하는 것은 필수적이지만, 각 벤치마크 인스턴스마다 성능 워크로드를 설계하는 데 비용이 많이 들어 어렵다. 그러나 이러한 벤치마크는 이미 자연스러운 후보를 제공하는데, 바로 이슈 수정으로 영향을 받는 동작을 실행하는 내장 FAIL_TO_PASS(F2P) 테스트이다. 따라서 우리는 제공된 F2P 테스트를 패치 성능 평가에 재활용할 수 있는지 조사한다. 전체적으로 우리는 Claude Opus 5, GPT 5.6, DeepSeek V4 Pro, Qwen 3.8 Max라는 네 가지 프런티어(frontier) 모델을 SWE-agent와 결합하여 SWE-bench 및 SWE-bench-Live의 검증된(verified) 분할에서 사전 필터링된 측정 가능한 코퍼스(corpus)를 해결하도록 하였으며, 그 결과 개발자의 정답(ground-truth) 패치를 포함해 최소 두 개 이상의 서로 다른 정답 해법을 가진 262개 사례를 얻었다. 이후 우리는 각 해법의 런타임 성능을 네이티브 F2P 테스트에서 명령어 수(instruction count)와 실제 경과 시간(wall-clock time)으로 측정하고, 더 강건한 통계적 판별 기준으로 선행 연구에서 제안된 RSD 대신 Welch ANOVA를 사용한다. 우리는 이 방법론이 런타임 성능에서 뚜렷한 판별 능력을 보이며, 거의 절반에 가까운 사례에서 패치 간 성능 차이를 식별해냄을 발견한다. 우리의 실증적 연구는 생성된 패치의 런타임 성능이 LLM의 이슈 해결률(resolution rate)과 무관하며, 모델 순위가 거의 뒤바뀐다는 것을 보여준다. 사례 연구(case study)는 또한 성능 분석이 정확성 평가에서는 간과된 일부 패치의 아키텍처적 회귀(architectural regression)를 드러낸다는 것을 보여준다. 이러한 발견은 해결률이 저장소 수준 이슈 해결에 대한 LLM의 능력을 충분히 특성화하지 못한다는 것을 시사하며, 향후 평가에서 해결률과 함께 패치 성능을 함께 고려하도록 동기를 부여한다.

arXiv:2610.10639v1cs.LG공통 태그 Code Generation, Prompt Engineering

가시적 추론은 보편적인 옵티마이저가 아니다: 분석 코드 생성에서 페르소나 및 사고 의존적 효과

Visible Reasoning Is Not a Universal Optimizer: Persona- and Thinking-Dependent Effects in Analytics Code Generation

가시적 사고의 연쇄(Visible Chain-of-Thought, CoT)는 흔히 광범위하게 유용한 추론 지침으로 취급되지만, 분석 코드 생성은 자연어의 모호성, 스키마 그라운딩(schema grounding), 대상 언어 제약 조건, 그리고 모델 고유의 추론(inference) 동작을 결합합니다. 동일한 분석 요청을 SQL과 Python(pandas)이라는 두 개의 서로 다른 대상 언어로 표현할 수 있기 때문에, 이 설정은 널리 퍼져 있으면서도 충분히 검증되지 않은 일반적인 가정을 자연스럽게 테스트할 수 있는 환경을 제공합니다. 즉, "SQL로 생각하라" 또는 "Python으로 생각하라"와 같이 가시적 추론 표현이 요청된 대상 언어와 일치할 때 더 효과적이라는 가정입니다. "단계별로 생각하라(think step-by-step)"와 같은 일반적인 지침과 함께 이러한 권장 사항들은 통제된 실행 기반 비교 환경에서 여전히 충분히 평가되지 않은 상태로 남아 있습니다. 본 연구에서는 페르소나 문구, 대상 언어, 가시적 CoT 형식, 제어 접두사, 직접 생성 및 내부 추론 구성을 교차 적용한 쿼리 매칭 SQL-pandas 벤치마크를 조사합니다. 연구 결과는 가시적 CoT를 통한 보편적인 정확도 향상이나 추론 표현을 대상 언어와 일치시키는 데서 오는 일관된 이점을 지지하지 않습니다. 대신 그 효과는 페르소나, 대상 언어, 모델 구성 및 내부 추론 설정에 따라 달라집니다. 또한 제어 절제 연구(control ablations)는 추론 내용의 효과와 프롬프트(prompt) 형식의 효과를 추가로 구분합니다. 이러한 발견은 추론 전략을 보편적인 기본값으로 채택하기보다는 모델, 페르소나, 대상 언어 및 내부 추론 구성을 종합적으로 고려하여 선택해야 함을 시사합니다. 더 나아가 본 연구는 가시적 추론이 실행 가능한 코드 생성을 개선하는 시점, 단순히 모델 동작을 교란하는 시점, 그리고 내부 추론 구성이 더 결정적인 요인이 되는 시점을 식별할 수 있는 통제된 프레임워크를 제공합니다.

arXiv:2610.02616v1cs.AI공통 태그 Code Generation, Prompt Engineering

VERSE: 에이전트 하네스를 위한 검증 기반 자기 진화 옵티마이저

VERSE: Verified Self-Evolving Optimizer for Agent Harnesses

하네스 진화는 대규모 언어 모델(LLM) 에이전트(agent)의 프롬프트, 도구, 워크플로를 개선하지만, 옵티마이저(optimizer) 자체의 도구와 절차는 고정된 채로 유지되는 경우가 많습니다. 본 연구에서는 옵티마이저가 실패를 진단하고, 수정을 개발하며, 그 효과를 테스트하는 방식을 스스로 개선함으로써 다른 에이전트를 더 효과적으로 개선할 수 있는지 살펴봅니다. 두 가지 관찰 결과가 본 설계를 이끕니다. 통제된 연구에서 옵티마이저의 자기 진화는 실행 기반 검증(verification) 없이는 성능을 향상시키지 못하지만, 검증이 가능할 때는 해당 연구에서 최고의 결과를 달성합니다. 5개의 실행자 전반에 걸쳐 자기 진화 옵티마이저는 실패 분석, 검증, 학습(training) 감사, 워크플로 제어를 위한 자체 도구를 구축합니다. 이러한 발견에 착안하여, 에이전트 하네스를 위한 검증 기반 자기 진화 옵티마이저인 VERSE를 제안합니다. VERSE를 통해 옵티마이저는 제출 전에 초안 수정을 테스트하고, 실패를 재현하며, 의심되는 단계를 변동시켜 볼 수 있는 동시에 라운드에 걸쳐 수정 사항과 성능 저하(regression)를 추적할 수 있습니다. 이러한 피드백을 활용하여 옵티마이저는 옵티마이저 및 실행자 모델의 가중치를 고정한 채 실행자 하네스와 자체 프롬프트, 스킬, 도구, 훅(hook), 노트를 모두 수정합니다. 상호 배타적인 학습, 검증(validation), 테스트 태스크를 갖춘 공통 프로토콜 하에서, VERSE는 유보된(held-out) SWE-rebench 태스크와 5개 언어로 구성된 최신의 분포 외(out-of-distribution) 태스크에서 평가 대상 4개 하네스 옵티마이저 모두의 성능을 향상시킵니다. 검증을 통해 선택된 최적의 하네스는 가장 강력한 베이스라인의 39.2% 및 29.3% 대비 각각 42.3% 및 37.7%의 정확도에 도달합니다. 코드는 https://github.com/wzekai/VERSE 에서 확인할 수 있습니다.

arXiv:2610.03234v1cs.PL공통 태그 Computational Efficiency, Code Generation

WAMpy: Python 기반의 효율적인 프롤로그(Prolog) 프로그램 합성

WAMpy: Efficient Synthesis of Prolog Programs in Python

본 논문에서는 프롤로그(Prolog) 프로그램 합성에 최적화된 Python 프레임워크인 WAMpy를 제시합니다. 범용 Prolog 시스템과 달리, WAMpy는 작은 후보 프로그램을 반복적으로 생성하고 평가하는 워크로드를 대상으로 합니다. WAMpy는 Prolog 절을 NumPy 배열 기반 WAM 명령어로 컴파일하며, 고정된 배경 지식에 대해 가설의 부분 재컴파일을 지원합니다. 성능에 중요한 루틴은 Numba JIT(just-in-time) 컴파일을 활용하여 가속화됩니다. 반복적인 컴파일 및 평가 워크로드 벤치마크에서 WAMpy는 Janus를 통해 Python에서 호출된 SWI-Prolog 대비 엔드투엔드(end-to-end) 성능을 향상시킵니다.

arXiv:2610.01939v1cs.CV공통 태그 Computational Efficiency, Code Generation

더 적은 토큰으로 더 나은 행동을: 14% 더 높은 성공률과 65% 더 적은 토큰을 달성한 GPT-6 Astra 로봇 에이전트

Fewer Tokens, Better Action: GPT-6 Astra Robot Agents with 14% Higher Success Rate but 65% Fewer Tokens

비전-언어 모델(VLM) 에이전트는 시각적 피드백과 행동 프리미티브를 통해 로봇을 제어할 수 있지만, 반복적인 모델 호출과 불필요한 관측으로 인해 상당한 토큰 오버헤드가 발생합니다. 본 논문에서는 피드백 기반 프리미티브 구성과 선택적 관측을 결합한 대화형 코드 실행 프레임워크인 PyRUA-Lean을 제안합니다. 이 에이전트는 고전적인 로봇 프리미티브와 학습된 비전-언어-행동(VLA) 정책을 조건부 확인 및 로컬 재시도를 수행하는 Python 셀로 구성하며, 재계획을 위해 명시적으로 요청된 이미지와 상태 피드백만을 반환합니다. LIBERO-PRO, RoboTwin 2.0 및 RoboCasa365의 700개 시뮬레이션 작업 인스턴스에 걸쳐, 동일한 GPT-6 Astra 플래너와 기반 로봇 프리미티브를 사용하는 도구 호출 기준선과 PyRUA-Lean을 비교합니다. 동일한 대규모 언어 모델(LLM) 호출 예산 하에서, PyRUA-Lean은 전체 성공률을 63.1%에서 71.7%로 향상시킵니다. 두 에이전트가 모두 해결한 인스턴스에서 PyRUA-Lean은 LLM 호출을 49% 적게 사용하고 입력 토큰을 65% 적게 사용합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.