Online Electric Vehicle Charging Detection Based on Memory-based Transformer using Smart Meter Data
원문 초록
The growing popularity of Electric Vehicles (EVs) poses unique challenges for grid operators and infrastructure, which requires effectively managing these vehicles' integration into the grid. Identification of EVs charging is essential to electricity Distribution Network Operators (DNOs) for better planning and managing the distribution grid. One critical aspect is the ability to accurately identify the presence of EV charging in the grid. EV charging identification using smart meter readings obtained from behind-the-meter devices is a challenging task that enables effective managing the integration of EVs into the existing power grid. Different from the existing supervised models that require addressing the imbalance problem caused by EVs and non-EVs data, we propose a novel unsupervised memory-based transformer (M-TR) that can run in real-time (online) to detect EVs charging from a streaming smart meter. It dynamically leverages coarse-scale historical information using an M-TR encoder from an extended global temporal window, in conjunction with an M-TR decoder that concentrates on a limited time frame, local window, aiming to capture the fine-scale characteristics of the smart meter data. The M-TR is based on an anomaly detection technique that does not require any prior knowledge about EVs charging profiles, nor it does only require real power consumption data of non-EV users. In addition, the proposed model leverages the power of transfer learning. The M-TR is compared with different state-of-the-art methods and performs better than other unsupervised learning models. The model can run with an excellent execution time of 1.2 sec. for 1-minute smart recordings.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EvEMTBench: 전력 시스템 보호를 위한 머신러닝 오픈 벤치마크
EvEMTBench: An Open Benchmark for Machine Learning in Power System Protection
머신러닝 기반 전력 시스템 보호에 관한 연구들은 과업 정의, 측정값 접근성, 데이터 분할, 평가 지표 및 일반화 조건이 서로 다른 경우가 많아 직접 비교하기 어렵습니다. EvEMTBench는 모델 설계는 자유롭게 유지하면서 이러한 평가 기준들을 고정한 공개적이고 실행 가능하며 버전 관리가 지원되는 벤치마크(benchmark)를 통해 이러한 간극을 해소합니다. 20~345 kV 범위에 걸친 4개 전력망을 대상으로, 24개의 점수 산정 과업으로 구체화된 12개의 보호 및 이벤트 분석 기능을 정의하며, 관측 가능성 조건, 사전 정의된 분포 변화(distribution shift), 제로샷(zero-shot) 및 파인튜닝(fine-tuning) 기반의 전력망 간 전이(cross-grid transfer) 전반에 걸친 구조화된 평가를 지원합니다. 확정된 데이터 분할, 데이터 누출(leakage) 제어, 재현 가능한 보고 체계는 향후 방법론들을 비교하기 위한 공통의 기준을 제공합니다. 기초적 베이스라인, 전통적 방식, 특징(feature) 기반 방식, 딥러닝 베이스라인을 아우르는 기준 평가 결과는 관측 가능성이 넓어진다고 해서 항상 유리한 것은 아니며, 분포가 변화된 조건에서는 내부 분포(in-distribution)에서 드러나지 않던 오류가 나타날 수 있고, 전력망 간 전이 성능은 고장 위치 추정보다 고장 감지에서 실질적으로 훨씬 더 강건하다는 점을 보여줍니다. 또한 보호 시스템 관점의 진단을 통해 주요 평가 지표만으로는 드러나지 않는 실패 모드를 식별합니다. 따라서 EvEMTBench는 머신러닝 기반 보호 분야의 일반화를 명시적이고 재현 가능한 평가 문제로 정립합니다.
흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영
Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs
뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.
부호 그래프 사전학습 및 프롬프트 학습
Signed Graph Pre-Training and Prompt Learning
부호 그래프(signed graph)는 엣지가 양수이거나 음수일 수 있으며 방향성을 가질 수도 있는 신뢰-불신 네트워크, 금융 상관관계 시스템, 생물학적 상호작용 그래프 및 기타 여러 도메인에서 발생합니다. 부호 그래프 신경망이 특정 태스크에 특화된 학습(training)을 향상시켰지만, 부호 그래프에서의 그래프 전이학습(transfer learning)은 여전히 미진한 상태입니다. 본 논문에서는 부호 그래프를 위한 선구적인 위상학 기반 그래프 사전학습(pre-training) 및 프롬프트(prompt) 학습 프레임워크인 TopoSIGN을 소개합니다. TopoSIGN은 자기 부호 라플라시안(magnetic signed Laplacian)을 기반으로 구축된 구조적 인코더와 Dowker 복합체 지속성 이미지(Dowker-complex persistence images)를 통해 부호 위상을 요약하는 새로운 지속성 호몰로지(persistent-homology) 브랜치를 결합합니다. 융합된 임베딩(embedding)은 이후 프롬프트 학습 함수로 전달됩니다. 합성 및 실제 데이터셋(dataset)에 대한 실험 결과는 부호 그래프에서 유용한 구조적 정보를 추출하는 TopoSIGN의 효능뿐만 아니라, 제안된 일반 프레임워크의 적응성과 유연성을 입증합니다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택
Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs
실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.
RSPDBench: 물리적으로 근거한 원격탐사 제품 열화 하에서 지구관측 과업에 대한 비전 파운데이션 모델 벤치마킹
RSPDBench: Benchmarking Vision Foundation Models on Earth Observation Tasks Under Physically Grounded Remote-Sensing Product Degradations
지구 관측(EO)을 위한 비전 파운데이션 모델은 보통 깨끗한 벤치마크에서 평가되지만, 실제 운영되는 EO 산출물은 모델에 도달하기 전에 이미 공간적, 방사측정적, 정렬, 잡음, 조화 결함을 포함할 수 있다. 일반적인 이미지 손상이나 광범위한 도메인 이동은 이러한 산출물 수준의 실패를 분리해 내지 못한다. 우리는 물리적 근거에 기반한 원격탐사 산출물 열화 벤치마크인 \textbf{RSPDBench}를 소개한다. 이는 다섯 개의 EO 데이터셋에서 기본 열화와 복합 산출물 체인 하에 일곱 개의 파운데이션 모델 항목과 두 개의 지도 학습 기준선을 평가한다. 열화 파라미터는 공개된 Sentinel-2 및 Landsat~8 사양을 따르며, Sentinel-2의 쌍을 이루는 $10\,\mathrm{m}$ 및 $20\,\mathrm{m}$ 근적외선 밴드와 대조하여 검증된다. 우리는 각 모델을 자체 고유 프로토콜로 평가하고, 견고성을 자체 깨끗한 기준선으로부터의 하락폭으로 측정한다. 분석 결과 열화 민감도가 강하게 구조화되어 있음이 드러난다. (i) 해상도 조건부 인코더는 해상도 손실에 가장 견고하지만 위성 산출물의 방사측정 이득에는 가장 민감하고, (ii) 동일한 물리적 결함이 한 모델에는 해가 되고 다른 모델에는 도움이 될 수 있으며, (iii) 해상도 손실과 방사측정 이득에서의 모델 순위는 대체로 뒤바뀐다. 복합 체인은 가장 강한 단일 구성요소보다 최대 $38$ 퍼센트포인트의 추가 하락을 일으킨다. m-BigEarthNet에서 열화된 뷰로 프로브를 재학습하면 잡음 및 조화 손실의 약 75\%가 제거되지만, 해상도 손실은 여전히 깨끗한 점수의 약 20\%를 잃게 한다. 따라서 EO 견고성은 깨끗한 정확도나 일반적인 섭동만으로가 아니라 원격탐사 산출물의 구조화된 결함에 대해 측정되어야 한다. 코드: https://github.com/Tanjim131/RSPDBench
토론
이 논문과 연결된 포럼 글이 아직 없습니다.