A Cost-Sensitive Deep Belief Network for Imbalanced Classification
원문 초록
Imbalanced data with a skewed class distribution are common in many real-world applications. Deep Belief Network (DBN) is a machine learning technique that is effective in classification tasks. However, conventional DBN does not work well for imbalanced data classification because it assumes equal costs for each class. To deal with this problem, cost-sensitive approaches assign different misclassification costs for different classes without disrupting the true data sample distributions. However, due to lack of prior knowledge, the misclassification costs are usually unknown and hard to choose in practice. Moreover, it has not been well studied as to how cost-sensitive learning could improve DBN performance on imbalanced data problems. This paper proposes an evolutionary cost-sensitive deep belief network (ECS-DBN) for imbalanced classification. ECS-DBN uses adaptive differential evolution to optimize the misclassification costs based on training data, that presents an effective approach to incorporating the evaluation measure (i.e. G-mean) into the objective function. We first optimize the misclassification costs, then apply them to deep belief network. Adaptive differential evolution optimization is implemented as the optimization algorithm that automatically updates its corresponding parameters without the need of prior domain knowledge. The experiments have shown that the proposed approach consistently outperforms the state-of-the-art on both benchmark datasets and real-world dataset for fault diagnosis in tool condition monitoring.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Hashing-Based Undersampling Ensemble for Imbalanced Pattern Classification Problems
프라이버시가 보호되고 분포에 강건한 연합 다중 클래스 분류
Private and Distributionally Robust Federated Multiclass Classification
자산 집약적 산업에서의 고장 진단은 지리적으로 분산된 클라이언트 현장에서 수집된 노이즈가 많고 민감한 데이터로 학습(training)된 다중 클래스 모델(model)을 필요로 합니다. 연합학습(Federated Learning)은 데이터를 중앙 집중화하지 않고도 협업 학습을 가능하게 하지만, 대부분의 접근 방식은 클라이언트 현장에 저장된 개별 레코드에 대한 정형화된 프라이버시 보장을 제공하지 않으며 레이블 노이즈 하에서 성능이 저하될 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 각 클라이언트에 저장된 레코드에 대해 샘플 수준의 프라이버시를 제공하는 차분 프라이버시 기반의 분포 강건 연합 다중 클래스 분류(classification) 프레임워크를 개발합니다. 본 연구는 교대 방향 승수법(ADMM) 기반 알고리즘으로 해결되는 Crammer-Singer 손실(loss)을 적용한 연합 바서슈타인 분포 강건(Wasserstein distributionally robust) 다중 클래스 목적 함수를 기반으로 구축됩니다. 공개되는 클라이언트 업데이트를 보호하기 위해, 제안하는 기법은 중앙 서버에서 집계되기 전에 로컬 모델과 로컬 분포 강건 변수 모두의 근접 선형화된 클라이언트 업데이트에 보정된 가우시안 노이즈를 주입하며, 모멘트 어카운턴트(moments accountant)를 사용하여 누적 프라이버시 손실을 정량화합니다. 본 연구는 수렴(convergence) 결과 및 명시적인 프라이버시-유용성 트레이드오프와 함께 라운드당 샘플 수준의 $(ε,δ)$-차분 프라이버시 보장과 전체 학습 라운드에 걸친 종합적인 합성 프라이버시 보장을 제공합니다. 시뮬레이션된 산업 고장 데이터 및 UCI 벤치마크 데이터셋에 대한 실험을 통해, 제안하는 기법이 대부분의 테스트 설정에서 차분 프라이버시 연합 경험적 위험 최소화 및 확률적 경사하강법(gradient descent) 베이스라인보다 우수한 성능을 보이며, 강력한 프라이버시 유도 노이즈 하에서 가장 큰 향상을 나타냄을 보입니다.
MASCIT: 자연적으로 불규칙한 시계열을 위한 마스크 인식 상태 공간 분류기
MASCIT: A Mask-Aware State Space Classifier for Naturally Irregular Time Series
자연적으로 불규칙한 시계열은 비동기 관측치, 결측값, 불균등한 길이, 비균일 샘플링이 결합되어 있는 반면, 조밀한 어댑터는 시간적 구조를 버릴 수 있습니다. 본 논문에서는 인코더에 관측 마스크를 제공하고 게이트 시간 집계에서 유효하지 않은 스텝을 제외하는 불규칙 시계열용 마스크 인식 상태 공간 분류기(MASCIT)를 제안합니다. 34개의 불규칙 시계열 데이터셋 전반에서 MASCIT은 가장 강력한 종합 점추정치를 산출했으며, 모든 데이터셋에서 3개 시드 결과를 갖춘 유일하게 평가된 신경망 모델이었습니다. MASCIT은 6개의 중복되는 불규칙성 지표 전반에서 가장 낮은 포인트 순위를 유지한 반면, 요인 절제 연구에서는 완전한 선택성보다 부분적 선택성을 선호하는 것으로 나타났습니다. 이러한 결과는 선택적 상태 공간 모델이 자연적으로 불규칙한 시계열 분류를 위한 효과적이고 실행 가능한 백본임을 뒷받침합니다.
라벨이 희소할 때: 진동 진단을 위한 진동형 상태 공간 모델
When Labels Are Scarce: An Oscillatory State Space Model for Vibration Diagnosis
진동 기반 기계 고장 진단은 로컬 추론을 위한 엣지 디바이스의 계산 제약을 만족하면서, 라벨이 희소한 고장 녹음으로부터 학습해야 한다. 본 연구는 DualRes를 제안한다. 이는 진동의 두 가지 상보적 스펙트럼 관점을 결합하는 소형 진동형 상태 공간 모델로, 급격한 변화와 미세한 주파수 구조를 포착한다. 시간 정렬된 관점은 선택적 진동 기억(selective oscillatory memory)으로 처리되며, 시간적 패턴을 얼마나 오래 유지할지 학습한다. 인코더는 39,528개의 파라미터를 포함한다. 여섯 개의 베어링 데이터셋과 기어박스 벤치마크, 그리고 추가 기어박스 파일럿에서 지도 학습을 평가했다. 녹음 단위 분할과 라벨링된 구간에 대한 명시적 집계는 상관된 샘플에 대한 반복 노출과 데이터 효율을 구분한다. 주요 기어박스 벤치마크에서 DualRes는 일곱 가지 라벨 예산 중 여섯에서 평가된 아홉 가지 방법 가운데 최첨단 성능을 달성했다. 클래스당 약 6초의 라벨링된 데이터로, 차순위 비교 방법 대비 macro-F1을 16.1퍼센트포인트 향상시켰다. 동일 벤치마크에서 DualRes는 동일한 하드웨어 및 런타임 조건 하 선택적 상태 공간 기준선 대비 녹음 단위 속도 1.44배 향상과 체크포인트 저장량 24.8배 감소를 달성했다. 베어링 결과는 과제에 따른 trade-off를 보여준다. 이러한 결과는 제한된 라벨 노출 하에서 진동 진단을 위한 컴팩트한 접근으로서 진동 기억을 뒷받침한다.
자원 제약 환경에서의 다중 클래스 악성코드 분류 성능 향상
Enhancing Multiclass Malware Classification in Resource-Constrained Environments
랜섬웨어, 스파이웨어, 트로이 목마 등과 같은 다중 클래스(multi-class) 악성코드 공격의 출현은 사이버 보안, 특히 사물인터넷(IoT) 기기와 같은 자원 제약 환경에 점점 더 심각한 위협이 되고 있다. 기존 머신러닝 모델들은 이진 악성코드 분류에서 거의 완벽한 정확도를 달성했으나, 악성코드 패밀리 및 개별 악성코드를 분류하는 데에는 미치지 못하고 있다. 또한, 다중 클래스 탐지는 일반적으로 높은 연산 능력을 필요로 하므로, 이러한 다중 클래스 악성코드 공격의 복잡성은 자원 제약 환경에서의 탐지에 상당한 어려움을 초래한다. 본 연구는 다중 클래스 악성코드 분류의 탐지 정확도를 향상시키는 동시에 자원 제약 기기에서 효율적으로 실행될 수 있는 경량 모델을 개발함으로써 이러한 격차를 해소한다. 본 논문에서는 데이터 균형을 위한 SMOTE 오버샘플링 및 SOM-US 언더샘플링 기법과 유전 알고리즘(Genetic Algorithm)을 통한 정교한 특징(feature) 선택을 특징으로 하는 LightGBM 분류기 기반의 강력하고 가벼운 머신러닝 모델을 제안한다. 이 모델은 동일한 데이터셋에서 개발된 기존 최고 수준(state-of-the-art)의 모델들보다 우수한 성능을 보여, 악성코드 패밀리 분류(4개 클래스) 및 개별 악성코드 유형 분류(16개 클래스)에서 각각 89.1%와 76%의 정확도를 기록하였다. 이를 통해 자원 제약 환경에서 분류 정확도와 연산 효율성 간의 균형을 유지한다. 나아가, 악성코드 패밀리 분류에서 91.2%, 개별 악성코드 분류에서 78.7%의 정확도를 달성한 Random Forest 분류기를 활용한 또 다른 모델을 제안하며, 기존 최고 수준의 모델 대비 정확도 측면에서 상당한 향상을 입증한다.
상대 방전 단계(RDS) 분류: 배터리 방전 진행 상황의 실용적 지표
Relative Discharge Stage (RDS) Classification: A Practical Indicator of Battery Discharge Progress
실제 배터리 응용 환경에서는 미래의 부하 프로파일을 알 수 없고 매우 동적이기 때문에, 정확한 잔여 방전 시간(RDT) 예측은 어려운 과제이다. 연속적인 RDT 회귀의 불확실성을 해결하기 위해, 본 논문은 잔여 방전 상태를 Normal, Good, Moderate, Low, Recharge Required의 다섯 가지 해석 가능한 클래스로 나타내는 배터리 관리 지표인 상대 방전 단계(Relative Discharge Stage, RDS)를 제안한다. 현재의 충전 수준을 반영하는 충전 상태(SOC)와 달리, RDS는 추론 시 미래 전류 정보 없이도 남은 방전 과정을 특성화한다. 이를 위해 SOC 추정과 경량 시간적 학습을 결합한 물리 기반(physics-informed) RDS 분류 프레임워크를 제안한다. SOC 추정 구성요소는 2차 ECM 상태 및 단자 전압 예측, 히스테리시스 및 OCV 온도 보정, 코어 온도 추정, AEKF 상태 보정을 포함하며, OCV 평가, 온라인 STC-ECM 매개변수 적응, 사전학습된 신경망 잔차 전압 보정이 이를 뒷받침한다. 측정된 전류, 단자 전압, 표면 온도, 그리고 추정된 SOC는 슬라이딩 관측 윈도우로 구성되어 경량 시간적 합성곱 신경망(temporal convolutional network)으로 처리된다. 두 개의 공개 리튬이온 배터리 데이터셋에 대한 실험을 통해, 다양한 부하 및 열 조건에서 80%를 초과하는 정확도로 견고한 RDS 분류 성능을 확인하였다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.