inatel.br

이 이메일 도메인이 관측된 논문 2건

arXiv:2606.21448v1cs.LG

Fast-TurboQuant: 곱셈기 없는 온라인 벡터 양자화 접근법

Fast-TurboQuant: A Multiplier-Free Online Vector Quantization Approach

대규모 언어 모델(LLM)이 스케일링될수록 key-value 캐시와 검색-증강 생성(RAG) 시스템의 메모리 대역폭이 중요한 병목이 된다. 1-bit 양자화가 이 제약을 해소하지만, 최근 TurboQuant는 양자화 전 벡터 분포를 조건화하기 위해 밀집(dense) 무작위 회전 행렬에 의존한다. 이 투영은 임베딩당 수백만 번의 부동소수점 곱셈을 요구하여, 제약된 엣지 실리콘에 배포하기 어렵게 만든다. 우리는 밀집 행렬을 구조화된 빠른 Johnson-Lindenstrauss 변환으로 대체하는 곱셈기 없는 투영 아키텍처인 Fast-TurboQuant를 제안한다. Rademacher 위상 반전과 이어지는 빠른 Walsh-Hadamard 변환(FWHT)을 적용함으로써, 본 방법은 가우시안 투영 없이 스칼라 Lloyd-Max 양자화의 전제 조건을 만족시키기 위해 sub-Gaussian 농도를 활용한다. 이 대체는 연산 복잡도를 덧셈만으로 줄여 하드웨어 곱셈기를 제거한다. DBpedia OpenAI-3 Large 임베딩에 대한 평가는 순차 실행에서 19.7배의 알고리즘적 속도 향상을 보여준다. 또한 FWHT 제로 패딩으로 인한 차원 확장은 평균 제곱 오차를 줄이고 Recall@10 재현율을 개선한다.

arXiv:2606.12611v1cs.LG

NSL-KDD 데이터셋의 불균형 데이터 조건에서 IDS를 위한 AutoML 프레임워크 평가

Evaluation of AutoML Frameworks for IDS under Imbalanced Data Conditions of the NSL-KDD Dataset

NSL-KDD 데이터셋의 심각한 클래스 불균형 조건하에서 다중 클래스 침입 탐지 시스템(IDS)을 위한 9개의 AutoML 프레임워크를 평가한 결과, 앙상블 학습과 불균형 인식 최적화를 포함한 PyCaret이 가장 우수한 성능을 기록했다. 정확도 위주의 최적화만으로는 희귀 공격 탐지에 한계가 있어 불균형 처리 기능의 통합이 필요함을 확인했다.