PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09172v2cs.SE

세부 사항에 대한 어텐션: vLLM 설정 간 에너지, 성능, 정확도 트레이드오프 평가

Attention to Detail: Evaluating Energy, Performance, and Accuracy Trade-offs Across vLLM Configurations

대규모 언어 모델(LLM)은 소프트웨어가 개발되고 유지되는 방식을 재편하고 있다. LLM은 일반적으로 vLLM과 같은 추론 엔진을 통해 프로덕션 환경에 배포되며, 이러한 엔진은 사전학습된 고도로 설정 가능한 모델을 효율적으로 서빙할 수 있다. 기존 연구는 모델 아키텍처와 하드웨어 가속에 초점을 맞춰왔지만, 추론 엔진 설정이 에너지 소비, 성능, 출력 품질에 미치는 영향은 아직 충분히 이해되지 않은 상태이다. 본 논문에서는 세 가지 선택된 vLLM 설정 옵션인 어텐션 커널 유형, 접두 문맥 캐싱(prefix caching), 청크 단위 프리필(chunked prefill)에 대한 대규모 통제 연구를 제시한다. 5개의 오픈 가중치 LLM과 5가지 다양한 추론 태스크에 걸쳐 이러한 설정의 모든 조합을 평가하였으며, 총 9,000회 실행과 93,600건의 측정값을 수집하였다. 에너지 소비, 지연 시간, 정확도를 분석하고, 설정 옵션과 태스크 간의 주효과 및 상호작용 효과를 모두 검토하였다. 결과에 따르면, 연구된 설정 옵션은 에너지와 성능에 유의미한 영향을 미치며, 이는 주로 어텐션 유형과 접두 문맥 캐싱에 의해 주도된다. 반면 청크 단위 프리필은 기본 vLLM 서빙 설정 및 평가된 워크로드 하에서 제한적인 효과를 보인다. 이러한 효과는 모델 및 워크로드에 따라 크게 달라지며, 보편적으로 최적인 설정은 존재하지 않는다. 또한 모델 선택이 전반적인 트레이드오프를 지배하는 반면, 설정 튜닝은 파레토 프런티어를 따라 국소적 개선을 제공함을 보인다. 예상치 못하게도, 추론 옵션이 모델 정확도에도 영향을 미칠 수 있음을 확인하였다.

arXiv:2607.10720v1cs.AI

WattCouncil: 거버넌스 기반 LLM을 활용한 문맥 인식 가정용 에너지 시나리오 생성

WattCouncil: Context-Aware Household Energy Scenario Generation With Governed LLMs

저탄소 전력 시스템으로의 가속화된 전환과 함께 옥상 태양광, 전기차 등 미터 후방(behind-the-meter) 기술의 광범위한 보급으로 인해 전력망의 운영 및 분석 요구 사항이 새롭게 증가하고 있다. 동시에 스마트 그리드 연구는 점점 더 기계학습(ML)에 의존하고 있으나, 개인정보 보호 우려, 규제 장벽, 수집 비용으로 인해 고해상도 가정용 에너지 데이터에 대한 접근이 제한되어 연구 진전이 제약을 받고 있다. 본 연구에서는 WattCouncil을 제안한다. 이는 가정용 전력 수요를 생성하는 데이터 생성 프레임워크로, 대규모 언어 모델(LLM) 기반 에이전트들이 전문화된 역할을 맡아 위원회를 구성하고, 명시적인 문화적·시간적·물리적 제약 조건 하에서 구조화된 에너지 시나리오를 생성, 감사, 검증한다. 이 에이전트들은 정적인 예측기가 아니라 거버넌스 기반 파이프라인 내에서 적응형 의사결정자로 기능한다. 에너지 사용에서 맥락적 요인의 중요성을 강조한 연구들에서 착안하여, 본 프레임워크는 가구 구성, 시간적 요인, 환경 조건을 반영하는 유도된 추론 과정을 통해 맥락에 민감한 일일 루틴을 생성한다. 생성된 프로파일은 4,232개 가구의 1년 이상 부하 측정값과 설문 기반 사회경제적 정보를 포함하는 CER 데이터셋과 비교하여 평가한다. 또한 ablation study를 통해 프레임워크의 일관성을 추가 검증한다. 소스 코드는 https://github.com/Singularity-AI-Lab/wattcouncil 에서 확인할 수 있다.

arXiv:2607.06124v1cs.SE

Static Metrics Are Insufficient: Predicting Java Method Energy Usage with Execution Time

2,786개의 Java 메서드를 대상으로 33개의 정적 특성과 실행 시간을 함께 수집하여 11가지 회귀 모델을 학습한 결과, 정적 소스 코드 메트릭만으로는 에너지 소비량 예측 성능이 R²≈0에 가까울 정도로 미흡했으나, 실행 시간을 경량 동적 입력으로 추가하면 R²가 최대 0.46까지 향상됨을 확인했다. 실행 시간, 내부 메서드 호출 수, 순환 복잡도(cyclomatic complexity)가 에너지 소비의 가장 강력한 예측 변수로 나타났으며, 메서드 수준의 에너지 추정에는 소스 구조보다 런타임 동작이 지배적임을 보였다.

arXiv:2607.03176v1cs.LG

역강화학습을 통한 전력 소비 행동 이해

Understanding electricity consumption behaviour through Inverse Reinforcement Learning

이탈리아 가정의 스마트 미터 데이터를 활용하여 소비자를 복잡한 환경과 상호작용하는 에이전트로 모델링하고, 적대적 역강화학습(Adversarial Inverse Reinforcement Learning, AIRL)으로 도출한 보상 함수를 통해 냉방 소비 행동을 분석했다. 2021~2023년 유럽 에너지 위기와 폭염을 거치며 소비자 집단별로 일시적·지속적·미미한 행동 변화가 이질적으로 나타났으며, 사회경제적 맥락이 유사해도 일일 소비 시점이 다른 집단이 상이하게 반응하여 사용 시간대가 행동 이질성의 독립적 차원임을 확인했다.

arXiv:2607.02391v1cs.DC

WattGPU: 미확인 GPU 및 LLM에 대한 추론 전력과 지연 예측

WattGPU: Predicting Inference Power and Latency on Unseen GPUs and LLMs

LLM 추론 워크로드의 에너지 소비 최적화를 위해, WattGPU는 하드웨어 프로파일링 없이 공개된 LLM 메타데이터와 GPU 사양만으로 GPU 평균 전력 소비와 토큰 간 지연(ITL)을 예측하는 두 가지 회귀 모델을 제안한다. 42개의 오픈소스 LLM과 8개의 GPU에 대한 교차 검증에서 전력 예측 오차 ≤3.4%(오프라인), 지연 예측 오차 ≤8.5%(서버)를 달성하며 기존 물리 기반 베이스라인 대비 약 4배 향상된 성능을 보였다.