arXiv:2112.09834

Improving the performance of bagging ensembles for data streams through mini-batching

Guilherme Cassales, Heitor Gomes, Albert Bifet, Bernhard Pfahringer, Hermes Senger

제출 2021-12-18

원문 초록

Often, machine learning applications have to cope with dynamic environments where data are collected in the form of continuous data streams with potentially infinite length and transient behavior. Compared to traditional (batch) data mining, stream processing algorithms have additional requirements regarding computational resources and adaptability to data evolution. They must process instances incrementally because the data's continuous flow prohibits storing data for multiple passes. Ensemble learning achieved remarkable predictive performance in this scenario. Implemented as a set of (several) individual classifiers, ensembles are naturally amendable for task parallelism. However, the incremental learning and dynamic data structures used to capture the concept drift increase the cache misses and hinder the benefit of parallelism. This paper proposes a mini-batching strategy that can improve memory access locality and performance of several ensemble algorithms for stream mining in multi-core environments. With the aid of a formal framework, we demonstrate that mini-batching can significantly decrease the reuse distance (and the number of cache misses). Experiments on six different state-of-the-art ensemble algorithms applying four benchmark datasets with varied characteristics show speedups of up to 5X on 8-core processors. These benefits come at the expense of a small reduction in predictive performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.27095v1cs.LG공통 태그 Incremental Learning, Ensemble Learning

효율적인 장기 콜드 스타트 지속 학습을 위한 데이터 없는 리저voir 특징

Data-Free Reservoir Features for Efficient Long-Horizon Cold-Start Continual Learning

콜드 스타트 exemplar-free 클래스 증분 학습은 리플레이, 외부 사전학습, 또는 큰 초기 태스크 없이 점점 늘어나는 클래스 집합을 학습해야 한다. 기존 콜드 스타트 방법은 일반적으로 스트림 전체에 걸쳐 백본을 학습하며 의미적 드리프트를 보상하거나, 첫 번째 태스크 후 백본을 고정하여 초기 클래스에 치우친 특징을 생성한다. 이러한 선택은 계산적 긴장도를 만들기도 한다. 드리프트 보상 방법은 반복적인 백본 학습과 태스크 지평이 길어질수록 점점 비싸지는 업데이트를 요구하는 반면, 고정 백본 방법은 저렴하지만 콜드 스타트에서 성능이 약하다. 우리는 세 번째 옵션을 연구한다. 이미지 데이터에 전혀 적합(fit)되지 않는 특징 추출기이다. CIRCLE을 제안한다. 이는 이미지 분류를 위해 BiRC2D에서 적응한 고정 양방향 2차원 리저voir 특징과 스트리밍 선형 판별 분석(SLDA) 헤드로 구성된 클래스 증분 분류기이다. CIRCLE은 여러 무작위 리저voir 인스턴스를 특징 앙상블로 묶고 독립적인 SLDA 헤드의 소프트맥스 출력을 평균하여, 더 풍부한 무작위 특징과 예측 수준 앙상블 사이의 조절 가능한 바이어스-분산 tradeoff를 제공한다. 특징 추출기가 고정되어 있고 헤드가 스트리밍 폐형식 업데이트를 허용하기 때문에, CIRCLE은 리플레이, 태스크 경계 정보, 또는 백본 역전파 없이 샘플 단위 학습을 수행한다. CIFAR-100, TinyImageNet, ImageNet-Subset, ImageNet-1k에서 CIRCLE은 10-20 태스크 분할에서 경쟁력 있는 성능을 보이고, 50, 100, 500 태스크 분할에서 강력한 CS-EFCIL baseline을 크게 능가하며, 학습된 백본 드리프트 보상 방법보다 훨씬 빠르게 학습한다. Ablation은 BiRC2D 스타일 추출기, SLDA 헤드, 균형 잡힌 특징/예측 앙상블이 각각 최종 성능에 기여함을 보여준다.

arXiv:2605.09028v5cs.LG공통 태그 Ensemble Learning

권한 기반 Android 악성코드 탐지에서 도메인 이동 진단 및 완화

Diagnosing and Mitigating Domain Shift in Permission-Based Android Malware Detection

기계 학습 기반 Android 악성코드 탐지기는 도메인 이동(domain shift) 때문에 실제 배포 환경에서 자주 실패하며, 한 데이터 소스에서 학습된 모델이 다른 소스의 애플리케이션에서는 성능이 크게 떨어진다. 본 논문은 교차 도메인(cross-domain) 조건에서 권한 기반 탐지기의 일반화 가능성과 해석 가능성에 대한 포괄적인 연구를 제시한다. PerMalDroid와 NATICUSdroid라는 두 상호 보완적 데이터셋과 다섯 가지 앙상블 분류기를 사용하여, 먼저 도메인 내(intra-domain) 기준선을 설정하며 모델이 92% 이상의 정확도를 달성함을 보인다. 이어 심각한 비대칭적 성능 하락을 정량화한다. PerMalDroid에서 학습된 모델은 NATICUSdroid에 잘 일반화되지만(정확도 86%), 반대 방향에서는 정확도가 73%까지 급격히 하락한다. 설명 가능한 AI(Explainable AI) 분석은 이봉(bimodal) 특징 분포를 밝히고, 특징 중요도가 매우 불안정하며 핵심 권한(permission)이 도메인에 따라 영향력을 잃거나 얻는다는 것을 보여준다. 서로 다른 도메인의 예측 특징 집합은 근본적으로 불일치하며, 모델은 데이터셋별로 서로 다른 권한에 의존한다. 가장 중요하게, 절삭(ablation) 연구는 대부분의 모델에서 노이즈가 있는 특징 집합으로 학습할 경우 일반화가 저조함을 보여 주며, 이는 누락된 특징보다 도메인 특이적 인공물(artifact)이 더 큰 장애물임을 확인한다. 이를 완화하기 위해 공통 특징의 교집합에 기반한 하이브리드 학습 전략을 검증하였으며, 교차 도메인 성능을 성공적으로 회복하여 PerMalDroid에서 88%의 정확도를 달성하고 NATICUSdroid에서는 97%를 유지한다. 이러한 결과는 설명 가능하고 교차 도메인에 강건한 악성코드 탐지 시스템의 중요성을 강조하며, 권한 기반 Android 악성코드 탐지기의 실제 배포 개선을 위한 실용적 경로를 제시한다.

arXiv:2607.05019v3cs.LG공통 태그 Ensemble Learning

이종 심층 앙상블을 이용한 융합 없는 멀티모달 분류

Fusion-Free Multimodal Classification with Heterogeneous Deep Ensembles

멀티모달 분류에서 후기 융합(late-fusion) 방식은 단일 모달 신경망이 추출한 모달리티별 특징을 연결하여 분류한다. 모달리티 불균형이 뚜렷할 때는 학습 과정의 균형을 맞추고 후기 융합 네트워크의 낮은 성능을 극복하기 위한 다양한 정규화 기법이 제안되어 왔다. 이에 반해 본 연구는 단일 모달 네트워크의 심층 앙상블을 사용하면 명시적인 모달리티 융합 없이도 멀티모달 데이터를 효과적으로 분류할 수 있음을 보인다. 동일한 파라미터 수에서 심층 앙상블과 후기 융합 네트워크를 체계적으로 비교하여, 무작위 초기화로 훈련할 때 앙상블이 모달리티 불균형을 해결하도록 설계된 최신 후기 융합 방법을 일관되게 능가함을 보인다. 이러한 우위는 본 연구에서 평가한 중간 융합 기법과 단일 모달 및 멀티모달 분류기를 결합한 하이브리드 방법에 대해서도 유지된다. 계산 비용이 큰 완전 탐색을 피하면서 앙상블에서 모달리티별 모델 수를 선택하는 방법을 제안하고 실험적으로 검증한다. 극단적인 모달리티 불균형과 작은 앙상블 크기에서는 이 휴리스틱이 더 강한 모달리티만으로 훈련된 단일 모달 모델의 앙상블이 더 바람직함을 시사한다. 앙상블 규모가 커지면 더 약한 모달리티의 모델을 포함하는 것이 유익해진다. 두 예측 모두 본 연구의 실험 결과와 일치한다. 다만 앙상블 구성원의 다양성이 낮으면 이 휴리스틱은 신뢰성이 떨어진다. 멀티모달 모델 최적화의 어려움을 체계적으로 탐구하기 위해, 모달리티 수와 예측 강도를 모두 제어할 수 있는 합성 멀티모달 프레임워크를 제안한다. 본 연구의 결과는 합성 데이터셋과 실제 데이터셋 전반에서 일관된다. 마지막으로 이중 모달 데이터셋에 스케일링 법칙을 적합하여 앙상블의 점근적 성능을 추정한다.

arXiv:2602.19143v3cs.LG공통 태그 Incremental Learning

트랜스포머에서 희소 어텐션 패턴의 점진적 학습

Incremental Learning of Sparse Attention Patterns in Transformers

트랜스포머는 특정 위치로부터 정보를 복사하는 희소 어텐션 패턴을 통해 과거의 여러 위치에서 얻은 정보를 통합한다. 본 연구는 다음 토큰이 통계적 중요도가 서로 다른 여러 과거 위치 그룹에 의존하는 고차 마르코프 연쇄 설정에서 이러한 패턴이 학습 중에 어떻게 형성되는지를 연구한다. 학습은 이산적인 단계들로 진행되며, 각 단계는 그다음으로 중요한 그룹에 대한 희소 어텐션 패턴의 출현으로 특징지어진다. 역학은 처음에는 모든 어텐션 헤드가 지배적인 패턴에 집중하는 경쟁적 양상을 보이지만, 이후에는 서로 다른 헤드가 서로 다른 패턴에 특화되는 협력적 양상으로 바뀐다. 다루기 쉬운 대리 모델에서는 역학이 텐서 분해 문제의 역학으로 환원되어, 단계별 수렴을 증명할 수 있다. 실험적으로 완료되는 단계의 수는 학습 데이터셋 크기에 따라 달라지며, 이는 조기 종료를 통한 일종의 암묵적 복잡도 제어를 시사한다. 종합하면, 본 연구는 명시적인 커리큘럼 없이 구조화된 어텐션 패턴과 헤드 특화가 어떻게 나타나는지에 대한 이론적 설명을 제시한다.

arXiv:2607.12075v3eess.IV공통 태그 Ensemble Learning

데이터셋 이동 하에서 갑상선 결절 초음파 분류를 위한 딥 앙상블 기반 보정된 선택적 예측

Calibrated selective prediction using deep ensembles for thyroid nodule ultrasound classification under dataset shift

배경: 딥러닝은 초음파에서 갑상선 결절을 분류할 수 있으나, 판별 성능만으로는 임상적 신뢰성이 확립되지 않는다. 우리는 불확실성 인지 선택적 예측과 보수적인 영상 기반 선별을 갖춘 보정된 딥 앙상블 프레임워크를 개발하였다. 방법: 3겹 내부 아키텍처 선택을 포함한 중첩 5겹 교차 검증으로 squeeze-and-excitation 블록을 갖춘 ConvNeXt-Tiny를 선택하였고, 이를 이용해 결정론적 5개 구성원 앙상블을 구축하였다. 각 폴드 내에서 학습, 조기 종료, 보정, 임계값 부분집합을 분리하였으며, 외부 테스트 데이터는 격리된 상태로 유지하였다. 상호 정보량(MI), 예측 분산, 최대 소프트맥스 확률(MSP) 불확실성을 위험-커버리지 및 선별 분석과, 가정한 악성 유병률 5%-70%에 걸친 예측값으로 비교하였다. 고정된 TN5000 앙상블을 재보정 없이 TN3K에 적용하였다. 결과: TN5000에서 풀링된 out-of-fold AUC-ROC는 0.9377, 평균 정밀도는 0.9708, 기대 보정 오차는 0.0138, Brier 점수는 0.0827이었다. MI 기반 주 정책에서 영상의 8.86%가 No-FNA 제안을, 60.00%가 FNA 권고를, 31.14%가 영상의학과 의사 검토를 받았으며, 악성 영상 3574건 중 14건(0.39%)이 No-FNA, 708건(19.81%)이 검토를 받았다. 예측 분산과 MSP가 MI보다 오류를 더 잘 순위화하였고(AURC, AUGRC), 모든 선별 결과를 최적화한 척도는 없었다. 유병률 5%-70% 전반에서 NPV는 99.95%-97.93%, PPV는 29.28%-94.75%였다. TN3K에서 AUC-ROC는 0.7870, 평균 정밀도는 0.7254, 기대 보정 오차는 0.1899, 영상의학과 의사 검토율은 83.7%였다. 결론: 앙상블은 내부적으로 강한 판별 및 보정 성능을 보였으나 TN3K에서는 성능이 크게 저하되어, 데이터셋 이동 하에서 이식성이 제한적임을 나타냈다. 임상 사용 전에 다기관 검증, 기관별 재보정, 임계값 검증, 전향적 평가가 필요하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.