EvEMTBench: 전력 시스템 보호를 위한 머신러닝 오픈 벤치마크
EvEMTBench: An Open Benchmark for Machine Learning in Power System Protection
한국어 초록
머신러닝 기반 전력 시스템 보호에 관한 연구들은 과업 정의, 측정값 접근성, 데이터 분할, 평가 지표 및 일반화 조건이 서로 다른 경우가 많아 직접 비교하기 어렵습니다. EvEMTBench는 모델 설계는 자유롭게 유지하면서 이러한 평가 기준들을 고정한 공개적이고 실행 가능하며 버전 관리가 지원되는 벤치마크(benchmark)를 통해 이러한 간극을 해소합니다. 20~345 kV 범위에 걸친 4개 전력망을 대상으로, 24개의 점수 산정 과업으로 구체화된 12개의 보호 및 이벤트 분석 기능을 정의하며, 관측 가능성 조건, 사전 정의된 분포 변화(distribution shift), 제로샷(zero-shot) 및 파인튜닝(fine-tuning) 기반의 전력망 간 전이(cross-grid transfer) 전반에 걸친 구조화된 평가를 지원합니다. 확정된 데이터 분할, 데이터 누출(leakage) 제어, 재현 가능한 보고 체계는 향후 방법론들을 비교하기 위한 공통의 기준을 제공합니다. 기초적 베이스라인, 전통적 방식, 특징(feature) 기반 방식, 딥러닝 베이스라인을 아우르는 기준 평가 결과는 관측 가능성이 넓어진다고 해서 항상 유리한 것은 아니며, 분포가 변화된 조건에서는 내부 분포(in-distribution)에서 드러나지 않던 오류가 나타날 수 있고, 전력망 간 전이 성능은 고장 위치 추정보다 고장 감지에서 실질적으로 훨씬 더 강건하다는 점을 보여줍니다. 또한 보호 시스템 관점의 진단을 통해 주요 평가 지표만으로는 드러나지 않는 실패 모드를 식별합니다. 따라서 EvEMTBench는 머신러닝 기반 보호 분야의 일반화를 명시적이고 재현 가능한 평가 문제로 정립합니다.
원문 초록
Studies of machine-learning-based power system protection are difficult to compare because task definitions, measurement access, data partitions, metrics, and generalization conditions often differ. EvEMTBench addresses this gap with an open, executable, and versioned benchmark that fixes these evaluation choices while leaving model design open. Across four grids spanning 20-345 kV, it defines 12 protection and event-analysis functions instantiated as 24 scored tasks and supports structured evaluation across observability conditions, predefined distribution shifts, and zero-shot and fine-tuned cross-grid transfer. Committed partitions, leakage controls, and reproducible reporting provide a common basis for comparing future methods. A reference evaluation spanning trivial, conventional, feature-based, and deep-learning baselines shows that wider observability is not uniformly beneficial, shifted conditions can reveal failures not apparent in-distribution, and cross-grid transfer is substantially stronger for fault detection than for fault localization. Protection-relevant diagnostics identify failure modes not apparent from primary metrics alone. EvEMTBench therefore makes generalization in machine-learning-based protection an explicit and reproducible evaluation problem.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.28149v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
실제 클라우드 텔레메트리 환경에서의 이상 탐지를 위한 심층 학습 모델 벤치마킹
Benchmarking Deep Learning Models for Anomaly Detection in Real-World Cloud Telemetry
현대 클라우드 플랫폼은 수천 개의 마이크로서비스로부터 고차원적이고 노이즈가 많은 텔레메트리를 생성한다. 기존의 고전적인 이상 탐지 벤치마크와 달리, 클라우드 이상(anomaly)은 지속 시간이 짧고 불규칙하며 대체로 비주기적이어서 시기적절한 탐지가 어렵다. 우리는 실제 IBM Cloud Console 데이터셋을 사용하여 이상 탐지를 위한 심층 학습 모델들에 대한 경험적 벤치마크를 제시한다. 우리는 조기 탐지와 오탐(false alarm)을 고려하는 시간 인식 지표인 Numenta Anomaly Benchmark(NAB)를 사용하여 GRU, 트랜스포머, TimesNet, Autoformer 아키텍처를 평가한다. TimesNet은 강력한 조기 탐지 민감도로 인해 가장 높은 NAB 점수를 달성한다. 트랜스포머 모델 또한 이상을 조기에 탐지하지만 더 높은 거짓 양성률(false-positive rate)을 보인다. 강건한 점수화(scoring)와 지속성 규칙(persistence rules)을 결합한 개선된 GRU 오토인코더(autoencoder)는 더 안정적인 오탐 프로파일과 함께 경쟁력 있는 성능을 달성한다. 전반적으로, 성능 차이가 크지 않다는 점은 실제 클라우드 이상이 지속적인 주기적 구조보다는 단기적 편차(deviation)에 의해 좌우된다는 것을 시사하며, 이는 시간 인식 평가와 강건한 후처리(post-processing)의 중요성을 강조한다.
PPG-Bench: PPG 파운데이션 모델을 위한 통합 벤치마크
PPG-Bench: A Unified Benchmark for PPG Foundation Models
광용적맥파(Photoplethysmography, PPG)는 웨어러블 및 임상 기기에서 점점 더 대규모로 기록되고 있으며, 다양한 다운스트림 작업을 위한 재사용 가능한 표현을 계산하기 위해 점점 더 많은 PPG 파운데이션 모델(FM)이 개발되고 있다. 이러한 모델들은 서로 비교하기 어려운데, 평가마다 서로 다른 데이터셋, 작업 정의, 전처리, 다운스트림 헤드, 하이퍼파라미터 튜닝, 기준선을 사용하기 때문이다. 우리는 5개의 공개 PPG FM을 9개의 오픈 액세스 데이터셋과 심혈관 상태 추정, 활동, 수면, 스크리닝, 식별에 걸친 26개 작업에 대해 평가하는 통합 오픈소스 벤치마크인 PPG-Bench를 제시한다. 우리는 적응성이 점차 증가하는 네 가지 다운스트림 체제(선형 프로빙, 랜덤 포레스트, 고정된 MLP 프로브, 엔드-투-엔드 파인튜닝) 하에서 모델별 하이퍼파라미터 최적화와 피험자 분리 교차검증을 적용하여 모델을 평가한다. 우리는 또한 세 가지 대조군, 즉 무작위/상수 기준선, 결정론적 맥박률 변동성(pulse-rate-variability, PRV) 특징 집합, 범용 시계열 FM(MOMENT)과 비교하여 평가한다. 68개의 작업-체제 조합 전체에서 35.3%는 무작위/상수 기준선 대비 FM의 유의미한 이점을 보이지 않았으며, 83.8%에서는 어떤 PPG 전용 FM도 PRV와 MOMENT를 모두 능가하지 못했다. 또한 다운스트림 헤드의 용량을 추가하면 일반적으로 성능이 향상되지만, 모델이 무작위 수준/상수 수준에서 동작하는 경우에는 상당한 성능 저하를 유발할 수 있음을 발견했다. 따라서 현재의 PPG FM은 아직 PPG 신호에 대한 일반화되고 전이 가능한 표현을 제공한다고 주장할 수 없으며, 이 분야의 향후 평가에는 단순하고 학습되지 않은 대조군에 대한 검증이 포함되어야 한다. 벤치마크 코드와 추가 모델 평가 방법은 다음에서 확인할 수 있다 - https://github.com/mannas-ai/ppg-bench.
실세계 CAD 분할 벤치마크: 홀 검출을 통한 규칙 기반 접근법과 학습 기반 접근법 비교
A Real-World CAD Segmentation Benchmark: Comparing Rule-Based and Learning-Based Approaches through Hole Detection
CAD 분할(segmentation) 데이터셋은 대부분 합성 데이터이거나 자동으로 레이블링되어 있어, 기존 방법들이 실세계 엔지니어링 작업에 얼마나 잘 전이되는지는 명확하지 않다. 파스너(fastener) 관련 홀 검출(hole detection)은 그러한 작업 중 하나로, 사람에 의한 주석(annotation)이 필요하며 일반적으로 사용되는 벤치마크보다 더 큰 기하학적 복잡성을 보인다. 우리는 세 가지 주요 기여를 통해 이러한 격차를 다룬다. 첫째, 그래프-와이어 탐색(graph-wire-search) 기반 방법과 다중 뷰(multi-view) 기반 방법이라는 두 가지 과제 특화 규칙 기반(rule-based) 방법을 개발하고, 이를 엔지니어링 CAD 데이터로부터 도출된 사람이 주석을 단 벤치마크 데이터셋으로 보완하며, 이 데이터셋은 B-Rep 분할을 위한 대표적인 학습 기반(learning-based) 접근법인 UV-Net과 AAGNet의 학습도 가능하게 한다. 둘째, 매개변수(parameter) 최적화, 우리 벤치마크 데이터셋에 대한 평가, 합성 데이터셋에 대한 도메인 간 일반화(cross-domain generalisation), 그리고 다양한 데이터셋 크기와 IoU 임계값에서의 접근법의 실현 가능성 평가를 포함한 광범위한 실험 연구를 수행한다. 셋째, 서로 다른 접근법들의 강점과 한계에 대한 근거 기반 통찰을 제공한다: 규칙 기반 방법은 학습 데이터 없이도 잘 일반화되며, 그래프-와이어 탐색 방법은 재현율(recall)에서, 다중 뷰 방법은 정밀도(precision)에서 우위를 보이는 반면, 학습 기반 방법은 충분한 주석이 있을 때 강력한 성능을 달성하지만 도메인 시프트(domain shift) 상황에서는 강건성(robustness)이 떨어진다. 이러한 결과는 데이터 요구량과 강건성 사이의 트레이드오프(trade-off)를 보여주며, 홀 검출뿐만 아니라 더 넓게는 실세계 CAD 분할 작업 전반에 대한 지침을 제공한다.
위성 영상을 활용한 건물 피해 평가 과제 재고
Revisiting the Task of Building Damage Assessment by Satellite Imaging
지진, 열대성 폭풍, 홍수와 같은 자연재해는 건물에 광범위한 피해를 입히며, 신속하고 신뢰할 수 있는 피해 지도는 긴급 대응을 안내하는 데 필수적입니다. 위성 영상으로부터 이 작업을 자동화하는 건물 피해 평가(BDA, building damage assessment)는 원격 탐사, 컴퓨터 비전(CV), 머신러닝의 교차점에서 활발한 연구 주제가 되었으며, 특히 지도 기반 심층 학습(deep learning) 방법이 기존의 수작업 특징 기반 접근법보다 우수한 성능을 보이는 것으로 입증된 이후 더욱 주목받고 있습니다. 그러나 10년간의 활발한 연구와 여러 대규모 데이터셋(dataset)의 공개에도 불구하고, 이 분야는 공통된 기반이 부족한 실정입니다. 본 챕터에서는 데이터, 평가(evaluation), 방법이라는 세 가지 축을 중심으로 BDA 과제를 근본적인 원리(first principles)에서 재고합니다. 먼저 후보 과제 정식화를 명확히 하고, 재난 전 영상의 누락을 허용하는 센서 불가지론적(sensor-agnostic) 인스턴스 기반 정의를 제안합니다. 그런 다음 센싱 양식(modality), 시간적 구성, 지리적 적용 범위라는 축을 따라 기존 데이터셋을 검토합니다. 평가 측면에서는 주로 단일 종합 점수에 의존하는 기존 관행이 이론적으로 취약함을 보이고, 더 유용한 정보를 제공하는 순위 기반 다중 점수 프로토콜의 기반을 마련합니다. 나아가 과제 특화 심층 신경망부터 최근의 지구 관측 파운데이션 모델에 이르는 방법론을 검토하며, 미확인 재난 및 지역에 대한 일반화가 여전히 미해결 과제로 남아 있음을 확인합니다. 마지막으로 교차 검증(cross-validation), 챌린지, 개발자와 사용자 간의 신뢰를 구축하도록 설계된 비공개 데이터 공유 설정을 포함하여, 이러한 요소들이 BDA 챌린지 조직에 어떻게 정보를 제공할 수 있는지 논의합니다.
시계열 예측 벤치마크에는 시나리오 기반 스트레스 테스트가 필요하다
Time Series Forecasting Benchmarks Need Scenario-Grounded Stress Testing
시계열 예측(Time Series Forecasting, TSF)은 교통, 에너지, 금융, 헬스케어, 인프라 전반의 의사결정을 점점 더 주도하고 있으나, 현재의 평가는 지나치게 협소한 상태에 머물러 있습니다. 표준 벤치마크는 낮은 홀드아웃(held-out) 오차에 보상을 부여하는 반면, 강건성 연구는 일반적으로 실패를 가우시안 노이즈, 무작위 마스킹, 또는 제한된 적대적 섭동으로 단순화합니다. 이는 배포된 예측 시스템의 실제 실패 모드를 가립니다. 입력 측 이상치는 단순히 더 노이즈가 많은 입력에 그치지 않으며, 시계열 역학을 바꾸고, 변수 간 의존성을 깨뜨리며, 체제 변화(regime shift)를 유발하거나 결함이 있는 센서에서 다운스트림 의사결정으로 전파되는 구조화된 이벤트를 반영하는 경우가 많습니다. 이러한 시맨틱, 인과적, 시스템 수준의 실패는 독립동일분포(i.i.d.) 섭동만으로는 충실하게 포착될 수 없습니다. 감사가 불가능한 사전학습 말뭉치로 인해 홀드아웃 일반화의 신뢰성이 점차 떨어지면서, TSF 파운데이션 모델의 등장은 이러한 평가 격차를 더욱 시급한 문제로 만듭니다. 따라서 우리는 시나리오 기반 스트레스 테스트를 제안합니다. 각 테스트 인스턴스는 과거 입력과 미래 타깃뿐만 아니라 시맨틱 시나리오, 명시적인 실패 연산자, 측정 가능한 난이도를 포함해야 합니다. 이러한 변화는 평가를 해석 가능하고, 원인 규명이 가능하며, 배포에 적합하고 친화적으로 만들어, 커뮤니티가 어떤 모델이 정확한지뿐만 아니라 어떤 조건에서 왜 실패하는지까지 질문할 수 있도록 합니다.
연구와 실제 임상의 간극 좁히기: 임상 피부 병변 분류에서 범용 모델과 피부과 특화 모델의 체계적 평가
Bridging Research and Practice: A Systematic Evaluation of Generalist and Dermatology-Specific Models in Clinical Skin Lesion Classification
최근 몇 년 동안 피부과 분야에서의 머신러닝 활용은 개념 증명(PoC) 연구를 넘어 잠재적 응용으로 나아가며 크게 성장했습니다. 그러나 임상 피부과는 여전히 도전적이며 해결되지 않은 문제로 남아 있습니다. 진단적 평가는 모호한 경우가 많고, 피부 병변은 높은 다양성을 보이며, 획득 양식(modality), 기기 품질, 환자 인구통계학적 특성의 차이로 인해 이러한 점이 더욱 복잡해집니다. 이러한 요인들은 안전하고 공평한 임상 적용에 적합한 강건한 모델의 개발을 저해합니다. 실제 임상으로의 전환을 지원하기 위해서는 최신 모델들이 이종 데이터 소스 전반에서 어떻게 일반화되는지 체계적으로 평가하는 것이 필수적입니다. 본 연구에서는 더모스코피(dermoscopic) 이미지와 스마트폰 기반 임상 사진을 아우르는 최신 피부과 데이터셋을 바탕으로 다양한 아키텍처를 벤치마크합니다. 최신 범용 및 의료 비전-언어 모델(VLM)과 파운데이션 모델의 강건성을 평가하고, 이를 임베딩(embedding) 기반 접근법 및 합성곱 신경망(CNN)을 포함한 태스크 특화 피부과 분류기와 비교합니다. 본 연구는 분포 변화(distribution shift), 모달리티 변화, 인구통계학적 다양성 하에서의 모델 성능 평가를 제공합니다. 현재의 최고 성능(SOTA) 모델과 임상 배치 요구 조건 사이의 격차를 정량화함으로써, 피부과를 위한 신뢰할 수 있고 접근 가능하며 임상적으로 적용 가능한 AI 시스템 개발에 기여하고자 합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.