arXiv:2203.16537

Efficient Localness Transformer for Smart Sensor-Based Energy Disaggregation

Zhenrui Yue, Huimin Zeng, Ziyi Kou, Lanyu Shang, Dong Wang

제출 2022-03-29

원문 초록

Modern smart sensor-based energy management systems leverage non-intrusive load monitoring (NILM) to predict and optimize appliance load distribution in real-time. NILM, or energy disaggregation, refers to the decomposition of electricity usage conditioned on the aggregated power signals (i.e., smart sensor on the main channel). Based on real-time appliance power prediction using sensory technology, energy disaggregation has great potential to increase electricity efficiency and reduce energy expenditure. With the introduction of transformer models, NILM has achieved significant improvements in predicting device power readings. Nevertheless, transformers are less efficient due to O(l^2) complexity w.r.t. sequence length l. Moreover, transformers can fail to capture local signal patterns in sequence-to-point settings due to the lack of inductive bias in local context. In this work, we propose an efficient localness transformer for non-intrusive load monitoring (ELTransformer). Specifically, we leverage normalization functions and switch the order of matrix multiplication to approximate self-attention and reduce computational complexity. Additionally, we introduce localness modeling with sparse local attention heads and relative position encodings to enhance the model capacity in extracting short-term local patterns. To the best of our knowledge, ELTransformer is the first NILM model that addresses computational complexity and localness modeling in NILM. With extensive experiments and quantitative analyses, we demonstrate the efficiency and effectiveness of the the proposed ELTransformer with considerable improvements compared to state-of-the-art baselines.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.04926v2cs.LG공통 태그 Inductive Bias

입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구

Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study

정보가 트랜스포머에 도달하는 방식, 즉 기호 토큰, 요인별로 깔끔한 "오라클" 코드, 또는 얽힌 지각 벡터 중 어느 방식인지가 트랜스포머가 그 정보를 조합적으로 결합(binding)하는지 여부를 어떻게 좌우하는가? 본 연구는 전수 열거된 유한 요인 세계에서 약 6~10K 파라미터의 트랜스포머를 연구하며, 따라서 모든 측정이 입력 공간 전체를 포괄하고 정보를 담은 경로들은 정보량이 일치한다(정확한 베이즈 상한 1.0). 네 가지 발견이 있다. (1) 종점 불변성: 보류된 결합 질의에서 어떤 정보 경로도 수렴된 제로샷 합성에 도달하지 못하며, 각 경로는 우연 수준 이하에서 끝난다. 따라서 이 실패는 정보 부족이 아니라 룩업만으로 충분한 목적함수 하에서의 귀납 편향을 반영한다. 이는 상태를 모든 토큰에 더하지 않고 고유한 시퀀스 위치에 두어도 마찬가지이다. (2) 가독성이 퓨샷 결합을 좌우한다: 보류된 유형의 작은 일부를 학습에 유출시키면 표본 효율이 코드의 가독성을 따른다. 가독성이 가장 낮은 얽힌 코드가 가장 나쁘며(통합 -0.147, 두 방식 모두), 차원을 맞춘 대조군과 단계적 가독성 스윕으로 가독성을 입력 차원과 분리하였다. (3) 경로가 아니라 주입 위치가 결정한다: v1은 가독성이 있는 경로들 사이에 남은 순서를 경로 파라미터 공유로 해석하였으나, 이는 철회한다. 비교된 경로들은 블록 분해가 가능하여 하나의 함수 클래스에 속하므로 공유는 애초에 조작된 적이 없으며, 이 순서는 브로드캐스트로 더해지는 상태의 초기화 스케일에서 비롯되고 상태에 고유한 위치를 부여하면 사라진다(+0.057 -> -0.006, 셀당 20개 쌍체 시드). (4) 실패의 해부: 기호 경로는 읽어내는 단계에서 답을 잃고, 인덱스 경로는 잘못 결합한다. 즉 답은 여전히 디코딩 가능하지만 입력 개입을 통해 보면 출력이 엉뚱한 슬롯을 따라간다. 핵심적인 긍정적 주장은 가독성이며, 나머지는 경로 비교로 확립할 수 있는 범위를 한정한다. 코드, 매니페스트, 시드별 로그를 공개한다.

arXiv:2606.20467v2cs.LG공통 태그 Inductive Bias

에이전트 기호 탐색: 수작업 수식, 메시, 신경망을 넘어선 편미분방정식 해의 근사

Agentic Symbolic Search: Approximating Solutions of PDEs Beyond Hand-crafted Expressions, Meshes, and Neural Networks

수치 기법과 신경망은 비선형 편미분방정식(PDE)에 대한 이해를 변화시켰지만, 그 동역학을 설명하는 수학적 표현을 발견하는 일은 여전히 대체로 전문가의 몫이다. 본 논문은 코딩 에이전트가 알려진 PDE와 제공된 수학적 지식으로부터 명시적 근사를 구성하고 개선하는 에이전트 기호 탐색(ASYS)을 제안한다. ASYS는 미분 가능한 기호 프로그램에 대한 진화적 탐색을 경사 기반 피팅과 결합하며, 지배 방정식을 이용해 후보를 평가하고 수정을 이끈다. 특이 일반화 Constantin-Lax-Majda 프로파일에 대해 ASYS는 장이 특이 시점의 극한에 접근하는 속도를 결정하는 누락된 감쇠항을 추론하고, 프로파일을 중앙값 오차 $3.90\times10^{-5}\%$로 적합하는 기저를 구성한다. Fujita 폭발의 경우 확산과 반응을 분리하고 국소 응답을 유도하여, 제공된 공식의 오차를 55.5%에서 0.0879%로 낮춘다. Allen-Cahn 계면에 대해서는 14개 매개변수로 구성한 모델이 독립적인 시뮬레이션으로 확인된 모드 결합 법칙을 도출한다. 이러한 연구는 에이전트 탐색이 수학적 출발점을 정확하고 분석 가능한 근사로 발전시킬 수 있음을 보여준다.

arXiv:2606.11319v3cs.LG공통 태그 Inductive Bias

심하게 손상된 입력으로 학습하면 신경망은 중심점 분류기가 된다

Neural networks become centroid classifiers when trained on heavily corrupted inputs

불완전한 데이터로부터의 학습은 기계학습의 핵심 주제로, 강인성(robustness)에 관한 실용적 질문을 학습 가능성(learnability)에 관한 근본적 질문과 연결합니다. 여기서 우리는 속성 노이즈(attribute noise)를 조사합니다: 레이블은 그대로 유지하면서 손상된 입력으로부터 학습하는 것으로, 레이블 노이즈(label-noise) 대응 경우보다 분석적 관심이 상당히 덜 받아온 설정입니다. 우리는 두 가지 유형의 손상 모델을 고려합니다: 가산 노이즈(additive noise)와 대체 노이즈(replacement noise). 손상된 분류(classification) 데이터셋에서 다층 퍼셉트론(MLP)을 통한 실험을 통해, 우리는 신경망이 여전히 강인함을 유지하며, 입력이 90% 이상 손상되었을 때에도 우연 수준보다 훨씬 높은 정확도를 유지함을 발견했습니다. 이는 인간 인식 능력을 훨씬 뛰어넘는 것입니다. 이러한 강인성을 이해하기 위해, 우리는 평균장(mean-field) 영감을 받은 접근법을 사용하여 심한 손상(heavy-corruption) 영역에서 무한 너비 신경망을 분석하고 분류 결과에 대한 주요 결정 규칙을 도출했습니다: 신경망은 프로토타입 규칙인 최근접 클래스 평균(nearest-class-mean)을 구현하여, 각 테스트 포인트를 학습 세트 평균과 가장 유사한 클래스에 할당합니다. 이 주요 결정 규칙은 광범위한 MLP 아키텍처에 걸쳐 보편적이며, 모든 깊이와 넓은 범위의 활성화 함수 및 노이즈 분포에 대해 성립합니다. 동일한 중심점(centroid) 메커니즘은 우리의 실험에서 유한 너비 신경망의 동작과 밀접하게 일치하며, 개별 학습(training) 예제가 거의 신호를 전달하지 않을 때에도 학습이 성공할 수 있는 이유에 대해 해석 가능하고 분석적으로 다루기 쉬운 설명을 제공합니다.

arXiv:2607.10681v2cs.LG공통 태그 Inductive Bias

루프 트랜스포머의 스펙트럼 마진과 메모리 라우팅

Spectral Margins and Memory Routing in Looped Transformers

루프 트랜스포머는 하나의 가중치 블록을 반복해서 적용한다. 각 반복은 이전 은닉 상태의 일부인 캐리(carry)를 유지하고 블록의 출력을 더하므로, 정보는 두 경로 중 어느 쪽으로든 반복 사이를 전달될 수 있다. 우리는 Parcae 아키텍처의 소규모 LayerNorm 기반 변형을 연구하며 두 가지 질문을 던진다. 반복되는 상태가 안정화되는가, 그리고 반복에 걸쳐 기억하는 학습에 캐리가 필요한가? 안정성에 관해서, pre-LayerNorm은 캐리가 커질수록 고정점에서 블록의 민감도를 낮추지만 수축을 보장하기에는 충분하지 않다. 스칼라 캐리의 경우 국소적으로 안정한 고정점에서도 섭동이 한 번의 반복에서 커질 수 있다. 이러한 고정점이 안정한 이유는 루프의 야코비안의 스펙트럼 반경이 $1$ 미만으로 유지되기 때문이다. $1$로부터의 거리인 스펙트럼 마진은 캐리가 $1$에 가까워질수록, 그리고 캐리가 높을 때는 너비가 커질수록 좁아지며, 일부 초기화는 반복 예산 내에 안정화되지 않는다. 메모리에 관해서, 고정된 루프 깊이로 학습한 다중 홉 복사 과제는 캐리를 $0.5$, $0.02$, $0$으로 고정했을 때에도 학습된 캐리를 사용했을 때만큼 잘 학습되며, 학습된 캐리는 훈련 중 거의 변하지 않는다. 훈련 중에 깊이를 샘플링하면 캐리가 $0.5$일 때는 여전히 학습되지만 $0.02$와 $0$일 때는 학습되지 않는다. 모든 실험은 소규모이다(학습 시 $d \le 32$).

토론

이 논문과 연결된 포럼 글이 아직 없습니다.