arXiv:2410.20132

On-Site Precise Screening of SARS-CoV-2 Systems Using a Channel-Wise Attention-Based PLS-1D-CNN Model with Limited Infrared Signatures

Wenwen Zhang, Zhouzhuo Tang, Yingmei Feng, Xia Yu, Qi Jie Wang, Zhiping Lin

제출 2024-10-26

원문 초록

During the early stages of respiratory virus outbreaks, such as severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2), the efficient utilize of limited nasopharyngeal swabs for rapid and accurate screening is crucial for public health. In this study, we present a methodology that integrates attenuated total reflection-Fourier transform infrared spectroscopy (ATR-FTIR) with the adaptive iteratively reweighted penalized least squares (airPLS) preprocessing algorithm and a channel-wise attention-based partial least squares one-dimensional convolutional neural network (PLS-1D-CNN) model, enabling accurate screening of infected individuals within 10 minutes. Two cohorts of nasopharyngeal swab samples, comprising 126 and 112 samples from suspected SARS-CoV-2 Omicron variant cases, were collected at Beijing You'an Hospital for verification. Given that ATR-FTIR spectra are highly sensitive to variations in experimental conditions, which can affect their quality, we propose a biomolecular importance (BMI) evaluation method to assess signal quality across different conditions, validated by comparing BMI with PLS-GBM and PLS-RF results. For the ATR-FTIR signals in cohort 2, which exhibited a higher BMI, airPLS was utilized for signal preprocessing, followed by the application of the channel-wise attention-based PLS-1D-CNN model for screening. The experimental results demonstrate that our model outperforms recently reported methods in the field of respiratory virus spectrum detection, achieving a recognition screening accuracy of 96.48%, a sensitivity of 96.24%, a specificity of 97.14%, an F1-score of 96.12%, and an AUC of 0.99. It meets the World Health Organization (WHO) recommended criteria for an acceptable product: sensitivity of 95.00% or greater and specificity of 97.00% or greater for testing prior SARS-CoV-2 infection in moderate to high volume scenarios.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2508.04899v3cs.LG공통 태그 Specificity, Sensitivity

자동 신생아 발작 감지의 정직하고 신뢰할 수 있는 평가 및 전문가 동등성 검정

Honest and Reliable Evaluation and Expert Equivalence Testing of Automated Neonatal Seizure Detection

신생아 발작 감지를 위한 머신러닝 모델의 신뢰할 수 있는 평가는 임상 도입을 위해 매우 중요합니다. 현재의 관행은 일관성이 없고 편향된 지표에 의존하는 경우가 많아 모델 간 비교 가능성과 해석 가능성을 저해합니다. AI 성능에 대한 전문가 수준의 주장은 엄격한 검증 없이 제기되는 경우가 빈번하여 신뢰성에 대한 우려를 낳고 있습니다. 본 연구는 일반적인 성능 지표를 체계적으로 평가하고 신생아 발작 감지의 특정 과제에 맞춘 모범 사례를 제안하는 것을 목표로 합니다. 실제 및 합성 발작 주석을 활용하여, 다양한 클래스 불균형, 평가자 간 일치도, 평가자 수 조건에서 표준 성능 지표, 합의 전략, 인간 전문가 수준 동등성 검정을 평가했습니다. 매튜스 상관계수(Matthews correlation coefficient)와 피어슨 상관계수(Pearson's correlation coefficient)는 클래스 불균형 상황에서 성능을 반영하는 데 있어 곡선하면적(AUC)보다 우수한 성능을 보였습니다. 합의 유형은 평가자 수 및 평가자 간 일치도 수준에 민감합니다. 인간 전문가 수준 동등성 검정 중에서는 플라이스 카파(Fleiss k)를 사용하는 다중 평가자 튜링 테스트(multi-rater Turing test)가 전문가 수준의 AI 성능을 가장 잘 포착했습니다. 저자들은 (1) 최소 하나의 균형 지표, (2) 민감도, 특이도, 양성 예측도(PPV), 음성 예측도(NPV), (3) 플라이스 카파를 사용한 다중 평가자 튜링 테스트 결과, (4) 별도 검증 셋(held-out validation set)에서의 상기 항목 전체를 보고할 것을 권장합니다. 제안된 프레임워크는 신생아 발작 감지를 위한 AI 방법론에 대한 철저하고 정직한 평가를 가능하게 함으로써 임상 검증의 중요한 전제 조건을 제공합니다.

arXiv:2606.24944v1eess.IV공통 태그 Specificity, Sensitivity

신뢰할 수 있는 백혈병 검출을 위한 누출 인식 비교 벤치마크: 머신러닝, 심층 학습 및 트랜스포머 모델

A Leakage-Aware Comparative Benchmark of Machine Learning, Deep Learning, and Transformer Models for Reliable Leukemia Detection

말초 혈액 도말 이미지에서 급성 림프모구 백혈병(ALL)을 자동 분류하는 연구들은 C-NMC 2019 데이터셋에서 거의 완벽한 성능을 보고하는 경우가 많다. 본 연구는 이러한 결과가 무작위 이미지 수준 분할로 인한 환자 수준 데이터 누출에 의해 부풀려질 수 있음을 보인다. 이 경우 동일 피험자의 세포가 학습 폴드와 테스트 폴드 양쪽에 모두 등장할 수 있다. 우리는 엄격한 피험자 비중복 프로토콜 하에 누출 인식 벤치마크를 수립하여 LightGBM, RBF-SVM, EfficientNet-B0, EfficientNet-B1, ViT-Tiny를 비교한다. 모델은 73명의 피험자로 구성된 세 개의 피험자 비중복 폴드를 사용하여 개발되었으며, 환자 중복이 전혀 없는 28명의 미관측 피험자로부터 수집한 1,867장의 이미지로 구성된 외부 예비 단계 테스트 세트에서 평가하였다. 판별 성능 외에도, 기대 캘리브레이션 오차(ECE), 브라이어 점수, 온도 스케일링을 이용하여 캘리브레이션을 평가하였다. 공정한 평가 하에서 EfficientNet-B1이 AUROC 0.913, 민감도 0.87, 특이도 0.80, 캘리브레이션 후 ECE 0.024로 최고 성능을 달성하였다. 동결 특징(frozen-feature) 분류기와 ViT-Tiny는 높은 민감도를 보이나 특이도가 낮아 악성 클래스를 과도하게 예측하는 경향을 나타낸다. 무작위 분할 대 피험자 비중복 분할 절제 연구(ablation)에 따르면, 보수적인 동결 특징 설정에서도 무작위 분할이 AUROC를 약 0.04 부풀리는 것으로 나타났다. 이러한 결과는 C-NMC 2019에서의 이미지 수준 평가에 대한 주의를 촉구하며, 향후 연구를 위한 재현 가능한 캘리브레이션 인식 벤치마크를 제공한다.

arXiv:2606.21795v1cs.LG공통 태그 Specificity, Sensitivity

보상 모델 이산화

Discretizing Reward Models

보상 모델은 널리 사용되고 있음에도 불구하고, 강화학습을 형성하는 데 있어 그 역할은 제대로 이해되지 않고 있다. 보상 모델은 매력적인 가능성을 제시한다: 검증기(verifier)나 인간 평가자 없이도 응답 품질을 자동으로 추정할 수 있다는 것이다. 일반적으로 이진 점수를 생성하는 '검증 가능한 보상(verifiable rewards)'과 달리, 보상 모델은 연속적인 점수를 생성하여 응답 간의 세밀한 차이에 민감하게 반응할 수 있다. 그러나 우리는 이 명백한 강점이 심각한 약점임을 보인다: 많은 인기 있는 보상 모델들은 과민하여(oversensitive), 동등하게 좋은 응답에 서로 다른 점수를 부여한다. 이론적으로 우리는 겉보기에 완벽한 보상 모델도 매우 과민할 수 있음을 보이며, 실험적으로 이러한 과민성이 나쁜 정책(policy)으로 이어질 수 있음을 확인한다. 기존의 '보상 모델 정확도' 개념을 대신하여, 우리는 '판별 능력(discriminative ability)'과 '특이성(specificity)'(과민성의 역개념)이라는 별개의 척도를 사용한 보상 모델 평가를 제안한다. 해결책으로, 우리는 임의의 신경망 보상 모델에 몬테 카를로 드롭아웃(Monte Carlo dropout)을 적용하여 이산적인 보상 클러스터(discrete reward clusters)를 생성하는 학습 불필요(training-free) 알고리즘을 제안한다. 이론적으로 우리는 판별 능력의 손실을 최소화하면서 과민성을 줄이는 이산화(discretization)가 존재함을 증명하며, 실험적으로 통제된 환경과 자연스러운 강화학습 환경 모두에서 보상을 이산화하는 것이 원래 보상으로 학습하는 것보다 보상 해킹(reward hacking)을 줄이고 더 나은 정책을 이끌어냄을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.