arXiv:2311.04325

Extending Machine Learning-Based Early Sepsis Detection to Different Demographics

Surajsinh Parmar, Tao Shan, San Lee, Yonghwan Kim, Jang Yong Kim

제출 2023-11-07

원문 초록

Sepsis requires urgent diagnosis, but research is predominantly focused on Western datasets. In this study, we perform a comparative analysis of two ensemble learning methods, LightGBM and XGBoost, using the public eICU-CRD dataset and a private South Korean St. Mary's Hospital's dataset. Our analysis reveals the effectiveness of these methods in addressing healthcare data imbalance and enhancing sepsis detection. Specifically, LightGBM shows a slight edge in computational efficiency and scalability. The study paves the way for the broader application of machine learning in critical care, thereby expanding the reach of predictive analytics in healthcare globally.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25745v2cs.LG공통 태그 Computational Efficiency, Ensemble Learning

Modular Norm RandOpt: 아키텍처 인식 교란을 통한 인구 효율적 앙상블

Modular Norm RandOpt: Population-Efficient Ensembling through Architecture-Aware Perturbations

RandOpt는 가중치가 교란된 언어 모델을 샘플링하고 최상위 순위 후보들을 다수결 투표로 앙상블하지만, 전역 교란 스케일은 모듈마다 다른 기하 구조를 무시한다. 우리는 Modular Norm RandOpt를 제안한다. 이는 모듈별 natural norm과 보정된 스케일을 사용하는 아키텍처 인식 샘플링 방법으로, 선택과 투표 방식은 그대로 유지한다. Countdown에서는 RandOpt보다 $3\times$ 적은 후보로 더 나은 성능을, GSM8K에서는 최소 $12\times$ 적은 후보로 더 나은 성능을 보이며, 이에 상응하는 wall-clock 절감이 있다. 7개 과제와 Qwen 3가지 규모($0.5$B--$3$B)에 걸친 평가에서 Countdown, GSM8K, MATH-500에서 모든 규모에서 RandOpt보다 평균 정확도가 더 높다. 이득은 Countdown과 GSM8K에서 Llama 3.2 $3$B와 Gemma 3 $4$B까지 확장된다. Qwen2.5-1.5B에서는 비교 가능한 main-run 평가 예산에서 두 과제 모두 반복적 베이스라인보다 평균 정확도가 더 높은 앙상블도 달성한다. GSM8K에서 tail-density 진단은 후보 감소가 $1.2$--$1.8\times$에 불과함을 시사하는 반면, 앙상블 개선의 대부분은 더 유리한 correct-expert support와 연관된다. 이러한 결과는 교란 기하학이 사전학습 모델 주변의 인구 효율적·그래디언트 없는 탐색에서 핵심 설계 선택임을 부각한다.

arXiv:2609.27950v1cs.CR공통 태그 Computational Efficiency, Ensemble Learning

자원 제약 환경에서의 다중 클래스 악성코드 분류 성능 향상

Enhancing Multiclass Malware Classification in Resource-Constrained Environments

랜섬웨어, 스파이웨어, 트로이 목마 등과 같은 다중 클래스(multi-class) 악성코드 공격의 출현은 사이버 보안, 특히 사물인터넷(IoT) 기기와 같은 자원 제약 환경에 점점 더 심각한 위협이 되고 있다. 기존 머신러닝 모델들은 이진 악성코드 분류에서 거의 완벽한 정확도를 달성했으나, 악성코드 패밀리 및 개별 악성코드를 분류하는 데에는 미치지 못하고 있다. 또한, 다중 클래스 탐지는 일반적으로 높은 연산 능력을 필요로 하므로, 이러한 다중 클래스 악성코드 공격의 복잡성은 자원 제약 환경에서의 탐지에 상당한 어려움을 초래한다. 본 연구는 다중 클래스 악성코드 분류의 탐지 정확도를 향상시키는 동시에 자원 제약 기기에서 효율적으로 실행될 수 있는 경량 모델을 개발함으로써 이러한 격차를 해소한다. 본 논문에서는 데이터 균형을 위한 SMOTE 오버샘플링 및 SOM-US 언더샘플링 기법과 유전 알고리즘(Genetic Algorithm)을 통한 정교한 특징(feature) 선택을 특징으로 하는 LightGBM 분류기 기반의 강력하고 가벼운 머신러닝 모델을 제안한다. 이 모델은 동일한 데이터셋에서 개발된 기존 최고 수준(state-of-the-art)의 모델들보다 우수한 성능을 보여, 악성코드 패밀리 분류(4개 클래스) 및 개별 악성코드 유형 분류(16개 클래스)에서 각각 89.1%와 76%의 정확도를 기록하였다. 이를 통해 자원 제약 환경에서 분류 정확도와 연산 효율성 간의 균형을 유지한다. 나아가, 악성코드 패밀리 분류에서 91.2%, 개별 악성코드 분류에서 78.7%의 정확도를 달성한 Random Forest 분류기를 활용한 또 다른 모델을 제안하며, 기존 최고 수준의 모델 대비 정확도 측면에서 상당한 향상을 입증한다.

arXiv:2609.24782v1cs.CV공통 태그 Computational Efficiency, Ensemble Learning

가상 신경망: 한 몸 속 수백 개의 영혼

Virtual neural networks: hundreds of souls in a body

학습 가능한 파라미터 수는 일정하게 유지하면서 확장성은 오로지 연산 자원만으로 달성하는 새로운 개념인 가상 신경망(virtual neural networks)을 제안한다. 이 개념은 임의의 표준 합성곱 신경망으로 구현할 수 있는 추상적 프레임워크이며, 소수의 물리적 모델에서 유도된 가중치를 공유하는 다수의 가상 모델을 생성함으로써 Siamese 신경망과 딥 앙상블 기법을 결합한다. 앙상블은 최대 수백 개의 학습된 모델을 동시에 구성한다. 모든 가상 신경망은 동일한 입력을 받으며, 상호 연결된 구조가 내부 왜곡을 유발해 전체 앙상블의 견고성을 높인다. 용량을 바꾸지 않고 가상 신경망 수가 늘어날수록 앙상블 정확도가 향상된다. 가상 신경망은 더 큰 용량의 모델, 일반적인 딥 앙상블, SWA 및 Masksembles 같은 최신 접근법보다 우수하다. 또한 앙상블에서 가장 성능이 좋은 개별 모델은 파라미터 수가 더 많은 모델을 포함해 개별적으로 학습된 다른 모델들을 능가한다. Code: gitlab.com/EnginCZ/virtual-models-public

arXiv:2609.26249v2cs.CL공통 태그 Computational Efficiency

PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩

PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models

LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.

arXiv:2609.27710v3cs.CV공통 태그 Ensemble Learning

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2609.28870v3cs.DC공통 태그 Computational Efficiency

정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고

When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse

장시간 실행되는 LLM 애플리케이션과 자율 에이전트는 점점 늘어나는 컨텍스트를 반복적으로 전송하므로, 프리픽스 캐싱은 프리필 비용을 줄이는 데 매우 중요하다. 이는 수십 년간의 전통적인 캐시 관리 기법이 에이전트형 및 대화형 LLM 서빙에 그대로 적용되는가라는 근본적인 질문을 제기한다. 우리는 200억 개가 넘는 처리 토큰으로 구성된 실제 서비스 트레이스를 분석하고, 용량이 제한된 HBM 환경과 대규모 메모리 풀 환경에서 14가지 축출 알고리즘을 평가한다. 그 결과, 단순한 LRU(Least Recently Used)가 놀라울 정도로 견고하여 정교한 전통적 정책과 대등한 성능을 보이지만, 벨라디(Belady)의 최적 해와는 여전히 상당한 격차가 남아 있음을 확인한다. 그 이유는 구조적이다. 프리픽스 재사용은 활성 세션의 꾸준한 진행 속도에 의해 좌우되므로, 최근 사용 여부가 축출에 대해 이례적으로 강한 예측 변수가 된다. 그럼에도 프리픽스 캐싱은 최근성이 무시하는 측면에서 전통적 워크로드와 다르며, 특히 단일 턴 요청의 만연, 극단적인 세션 크기 편중, 어텐션 연산이 토큰 깊이에 따라 증가하기 때문에 발생하는 매우 불균일한 미스 비용이 그러하다. 최적과의 격차를 줄이기 위해, 우리는 프리픽스 캐시 관리를 위한 몇 가지 설계 원칙을 제시한다. 즉, 최근성을 기준선으로 유지하면서 일회성 프롬프트를 걸러내기 위한 신속한 강등, 비용이 큰 미스를 우선시하는 연산 인지형 축출, 용량 적응형 축출 단위를 함께 도입하는 것이다. 우리의 트레이스와 시뮬레이터는 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.