arXiv:2403.15511

Multiple-Input Auto-Encoder Guided Feature Selection for IoT Intrusion Detection Systems

Phai Vu Dinh, Diep N. Nguyen, Dinh Thai Hoang, Quang Uy Nguyen, Eryk Dutkiewicz, Son Pham Bao

제출 2024-03-22

원문 초록

While intrusion detection systems (IDSs) benefit from the diversity and generalization of IoT data features, the data diversity (e.g., the heterogeneity and high dimensions of data) also makes it difficult to train effective machine learning models in IoT IDSs. This also leads to potentially redundant/noisy features that may decrease the accuracy of the detection engine in IDSs. This paper first introduces a novel neural network architecture called Multiple-Input Auto-Encoder (MIAE). MIAE consists of multiple sub-encoders that can process inputs from different sources with different characteristics. The MIAE model is trained in an unsupervised learning mode to transform the heterogeneous inputs into lower-dimensional representation, which helps classifiers distinguish between normal behaviour and different types of attacks. To distil and retain more relevant features but remove less important/redundant ones during the training process, we further design and embed a feature selection layer right after the representation layer of MIAE resulting in a new model called MIAEFS. This layer learns the importance of features in the representation vector, facilitating the selection of informative features from the representation vector. The results on three IDS datasets, i.e., NSLKDD, UNSW-NB15, and IDS2017, show the superior performance of MIAE and MIAEFS compared to other methods, e.g., conventional classifiers, dimensionality reduction models, unsupervised representation learning methods with different input dimensions, and unsupervised feature selection models. Moreover, MIAE and MIAEFS combined with the Random Forest (RF) classifier achieve accuracy of 96.5% in detecting sophisticated attacks, e.g., Slowloris. The average running time for detecting an attack sample using RF with the representation of MIAE and MIAEFS is approximate 1.7E-6 seconds, whilst the model size is lower than 1 MB.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.38840v3cs.LG공통 태그 Dimensionality Reduction, Representation Learning

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

arXiv:2610.13915v1cs.CV공통 태그 Representation Learning, Diversity

어디를 볼 것인가가 중요하다: 3D 의료 자기지도학습에서의 서브 볼륨 샘플링 재고

Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning

3D 의료 영상에서의 자기지도학습(self-supervised learning)은 일반적으로 사전학습(pre-training) 중 무작위 서브 볼륨(sub-volume) 샘플링에 의존합니다. 그러나 무작위 크롭(random cropping)은 해부학적 사전 지식과 공간적 중복성으로 인해 영역 간 표현 학습(representation learning) 가치가 본질적으로 불균등함에도 불구하고, 모든 공간 영역을 관찰할 가치가 동일한 것으로 암묵적으로 취급합니다. 이를 위해, 본 연구는 먼저 제어된 크롭 품질 조작 실험을 통해 더 나은 서브 볼륨이 더 우수한 다운스트림 전이(transfer)로 이어진다는 점을 보임으로써, 관찰 정책(observation policy)이 3D 의료 SSL에서 간과되어 온 병목 현상임을 밝힙니다. 이러한 발견에 착안하여 서브 볼륨 샘플링을 어디를 볼 것인가(\emph{where-to-look})의 문제로 재검토합니다. 우리는 무작위 크롭을 해부학 인식(\textit{anatomy-awareness}), 정보성(\textit{informativeness}), 다양성(\textit{diversity})에 기반한 오프라인 조-세밀(coarse-to-fine) 프로브 뱅크로 대체하는 플러그 앤 플레이 프레임워크인 \textbf{\method}를 제안합니다. 경량 볼륨 내재적 사전 지식만으로 충분한지, 혹은 더 풍부한 의미론적 단서가 신뢰할 수 있는 추가적인 가치를 제공하는지 검증하기 위해 기하학적 및 영상 통계적 단서를 활용하는 경량 변형인 \lite와 고정된 시각적 특징을 활용하는 진단 변형인 \feat로 \method를 구현합니다. 여러 3D 의료 SSL 백본 및 다운스트림 태스크에 걸친 광범위한 실험을 통해, \method-\lite가 무작위 샘플링 대비 전이 성능을 일관되게 향상시킴을 입증합니다. 나아가 메커니즘 분석을 통해 이러한 이득이 해부학적으로 더 타당하고 정보성이 높은 관찰, 감소된 공간적 중복성, 더 효율적인 학습 역학(learning dynamics), 그리고 더 구조화된 표현에 기인함을 밝힙니다.

arXiv:2609.28208v1cs.LG공통 태그 Representation Learning, feature selection

Support-Compiled Feature Folding: 표 형식 파운데이션 모델 전반에서 더 적은 메모리로 더 많은 근거 확보

Support-Compiled Feature Folding: More Evidence at Lower Memory Across Tabular Foundation Models

표 형식(tabular) 파운데이션 모델은 특징(feature) 측면의 스케일링 딜레마에 직면해 있다. 전체 너비의 쌍별(pairwise) 혼합은 열(column) 수에 대해 2차적으로 증가하는 반면, 특징 선택은 근거를 버림으로써 메모리를 절약한다. 본 논문에서는 고정된(frozen) 백본을 변경하지 않고 이 딜레마를 해결하는, 학습이 필요 없는 추론(inference) 프레임워크인 Support-Compiled Feature Folding(SCFF)을 제안한다. SCFF는 서포트(support) 기준으로 순위를 매긴 특징을 네이티브 특징 인코더의 유한한(bounded) 리프(leaf)들로 라우팅하고, 잔여 근거를 서포트 기준으로 점검(support-check)한 뒤, 인코딩된 메시지들을 병합하여 단 한 번의 컨텍스트 기반 예측을 수행한다. 이를 통해 예측을 앙상블하거나 새로운 파라미터를 학습하지 않고도, 2차적인 특징 상호작용 연산을 유한한 국소 작업 집합(working set)을 갖는 너비에 대한 선형 연산으로 변환한다. 고정된 AMLB-29, TabZilla, TabArena 스냅샷의 전수 18개 데이터셋 와이드 테이블(wide-table) 슬라이스에서, SCFF는 평가한 6개 백본 모두에서 데이터셋 매크로 정확도와 NLL을 향상시킨다. 네 가지 동일 너비(matched-width) 비교 모두에서 고정된 폴드(locked folds)에 대한 95% 데이터셋 부트스트랩 구간이 유리하게 유지되며, 상대 오류 감소율은 최대 26.1%에 달한다. 쌍을 이룬 GPU 메모리 절감량의 중앙값은 2.09배에서 2.36배이며, 별도로 관측된 최대 피크 메모리의 비율은 34.3배에 이른다. 측정된 피크 메모리 상한이 주어진 조건에서 SCFF는 절약한 예산을 활용해 서포트 기준으로 선택된 더 많은 근거를 보존하며, TabICLv2와 TabPFN-3의 사전에 정의된(predeclared) 와이드 Core 층(strata)에서 실현 가능한 가장 넓은 단일 리프 대비 정확도를 각각 4.06포인트, 3.72포인트 향상시킨다.

arXiv:2609.28473v1cs.CV공통 태그 Dimensionality Reduction, Representation Learning

고차원 잠재 표현의 확산 가능성에 관하여

On the Diffusibility of High-Dimensional Latents

표현 오토인코더(RAE)는 확산 모델이 사전학습된 시각 인코더의 특징 공간에서 동작하도록 한다. 그러나 많은 기성 인코더는 충실한 재구성을 위해 최적화되어 있지 않아 세밀한 시각적 세부를 버린다. 예상대로, 이미지 재구성을 위해 이러한 인코더를 파인튜닝하면 해당 세부가 복원된다. 그러나 직관에 반하게, 이 절차는 결과 표현의 유효 차원을 줄이며, 변경된 기하학은 생성에 하류 영향을 미친다. 구체적으로, 우리는 이 고차원 공간에서 flow matching의 표준 velocity 예측을 사용하면 모델이 저차원 신호 매니폴드 밖의 직교 노이즈 방향에 맞춰야 하여 최적화가 비효율적임을 보인다. 이에 따라 대신 clean data parameterization($\boldsymbol{x}_{0}$-prediction)을 사용하도록 동기가 생기며, 이는 기저 신호 매니폴드上的 학습에 초점을 맞춘다. 강한 재구성 인코더 여러 개에 걸친 실험에서, $\boldsymbol{x}_{0}$-prediction이 텍스트-이미지 생성 성능을 일관되게 향상시킴을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.