arXiv:2202.00495

Machine Intelligence-Driven Classification of Cancer Patients-Derived Extracellular Vesicles using Fluorescence Correlation Spectroscopy: Results from a Pilot Study

Abicumaran Uthamacumaran, Mohamed Abdouh, Kinshuk Sengupta, Zu-hua Gao, Stefano Forte, Thupten Tsering, Julia V Burnier, Goffredo Arena

제출 2022-02-01

원문 초록

Patient-derived extracellular vesicles (EVs) that contains a complex biological cargo is a valuable source of liquid biopsy diagnostics to aid in early detection, cancer screening, and precision nanotherapeutics. In this study, we predicted that coupling cancer patient blood-derived EVs to time-resolved spectroscopy and artificial intelligence (AI) could provide a robust cancer screening and follow-up tools. Methods: Fluorescence correlation spectroscopy (FCS) measurements were performed on 24 blood samples-derived EVs. Blood samples were obtained from 15 cancer patients (presenting 5 different types of cancers), and 9 healthy controls (including patients with benign lesions). The obtained FCS autocorrelation spectra were processed into power spectra using the Fast-Fourier Transform algorithm and subjected to various machine learning algorithms to distinguish cancer spectra from healthy control spectra. Results and Applications: The performance of AdaBoost Random Forest (RF) classifier, support vector machine, and multilayer perceptron, were tested on selected frequencies in the N=118 power spectra. The RF classifier exhibited a 90% classification accuracy and high sensitivity and specificity in distinguishing the FCS power spectra of cancer patients from those of healthy controls. Further, an image convolutional neural network (CNN), ResNet network, and a quantum CNN were assessed on the power spectral images as additional validation tools. All image-based CNNs exhibited a nearly equal classification performance with an accuracy of roughly 82% and reasonably high sensitivity and specificity scores. Our pilot study demonstrates that AI-algorithms coupled to time-resolved FCS power spectra can accurately and differentially classify the complex patient-derived EVs from different cancer samples of distinct tissue subtypes.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2508.04899v3cs.LG공통 태그 Specificity, Sensitivity

자동 신생아 발작 감지의 정직하고 신뢰할 수 있는 평가 및 전문가 동등성 검정

Honest and Reliable Evaluation and Expert Equivalence Testing of Automated Neonatal Seizure Detection

신생아 발작 감지를 위한 머신러닝 모델의 신뢰할 수 있는 평가는 임상 도입을 위해 매우 중요합니다. 현재의 관행은 일관성이 없고 편향된 지표에 의존하는 경우가 많아 모델 간 비교 가능성과 해석 가능성을 저해합니다. AI 성능에 대한 전문가 수준의 주장은 엄격한 검증 없이 제기되는 경우가 빈번하여 신뢰성에 대한 우려를 낳고 있습니다. 본 연구는 일반적인 성능 지표를 체계적으로 평가하고 신생아 발작 감지의 특정 과제에 맞춘 모범 사례를 제안하는 것을 목표로 합니다. 실제 및 합성 발작 주석을 활용하여, 다양한 클래스 불균형, 평가자 간 일치도, 평가자 수 조건에서 표준 성능 지표, 합의 전략, 인간 전문가 수준 동등성 검정을 평가했습니다. 매튜스 상관계수(Matthews correlation coefficient)와 피어슨 상관계수(Pearson's correlation coefficient)는 클래스 불균형 상황에서 성능을 반영하는 데 있어 곡선하면적(AUC)보다 우수한 성능을 보였습니다. 합의 유형은 평가자 수 및 평가자 간 일치도 수준에 민감합니다. 인간 전문가 수준 동등성 검정 중에서는 플라이스 카파(Fleiss k)를 사용하는 다중 평가자 튜링 테스트(multi-rater Turing test)가 전문가 수준의 AI 성능을 가장 잘 포착했습니다. 저자들은 (1) 최소 하나의 균형 지표, (2) 민감도, 특이도, 양성 예측도(PPV), 음성 예측도(NPV), (3) 플라이스 카파를 사용한 다중 평가자 튜링 테스트 결과, (4) 별도 검증 셋(held-out validation set)에서의 상기 항목 전체를 보고할 것을 권장합니다. 제안된 프레임워크는 신생아 발작 감지를 위한 AI 방법론에 대한 철저하고 정직한 평가를 가능하게 함으로써 임상 검증의 중요한 전제 조건을 제공합니다.

arXiv:2606.24944v1eess.IV공통 태그 Specificity, Sensitivity

신뢰할 수 있는 백혈병 검출을 위한 누출 인식 비교 벤치마크: 머신러닝, 심층 학습 및 트랜스포머 모델

A Leakage-Aware Comparative Benchmark of Machine Learning, Deep Learning, and Transformer Models for Reliable Leukemia Detection

말초 혈액 도말 이미지에서 급성 림프모구 백혈병(ALL)을 자동 분류하는 연구들은 C-NMC 2019 데이터셋에서 거의 완벽한 성능을 보고하는 경우가 많다. 본 연구는 이러한 결과가 무작위 이미지 수준 분할로 인한 환자 수준 데이터 누출에 의해 부풀려질 수 있음을 보인다. 이 경우 동일 피험자의 세포가 학습 폴드와 테스트 폴드 양쪽에 모두 등장할 수 있다. 우리는 엄격한 피험자 비중복 프로토콜 하에 누출 인식 벤치마크를 수립하여 LightGBM, RBF-SVM, EfficientNet-B0, EfficientNet-B1, ViT-Tiny를 비교한다. 모델은 73명의 피험자로 구성된 세 개의 피험자 비중복 폴드를 사용하여 개발되었으며, 환자 중복이 전혀 없는 28명의 미관측 피험자로부터 수집한 1,867장의 이미지로 구성된 외부 예비 단계 테스트 세트에서 평가하였다. 판별 성능 외에도, 기대 캘리브레이션 오차(ECE), 브라이어 점수, 온도 스케일링을 이용하여 캘리브레이션을 평가하였다. 공정한 평가 하에서 EfficientNet-B1이 AUROC 0.913, 민감도 0.87, 특이도 0.80, 캘리브레이션 후 ECE 0.024로 최고 성능을 달성하였다. 동결 특징(frozen-feature) 분류기와 ViT-Tiny는 높은 민감도를 보이나 특이도가 낮아 악성 클래스를 과도하게 예측하는 경향을 나타낸다. 무작위 분할 대 피험자 비중복 분할 절제 연구(ablation)에 따르면, 보수적인 동결 특징 설정에서도 무작위 분할이 AUROC를 약 0.04 부풀리는 것으로 나타났다. 이러한 결과는 C-NMC 2019에서의 이미지 수준 평가에 대한 주의를 촉구하며, 향후 연구를 위한 재현 가능한 캘리브레이션 인식 벤치마크를 제공한다.

arXiv:2606.21795v1cs.LG공통 태그 Specificity, Sensitivity

보상 모델 이산화

Discretizing Reward Models

보상 모델은 널리 사용되고 있음에도 불구하고, 강화학습을 형성하는 데 있어 그 역할은 제대로 이해되지 않고 있다. 보상 모델은 매력적인 가능성을 제시한다: 검증기(verifier)나 인간 평가자 없이도 응답 품질을 자동으로 추정할 수 있다는 것이다. 일반적으로 이진 점수를 생성하는 '검증 가능한 보상(verifiable rewards)'과 달리, 보상 모델은 연속적인 점수를 생성하여 응답 간의 세밀한 차이에 민감하게 반응할 수 있다. 그러나 우리는 이 명백한 강점이 심각한 약점임을 보인다: 많은 인기 있는 보상 모델들은 과민하여(oversensitive), 동등하게 좋은 응답에 서로 다른 점수를 부여한다. 이론적으로 우리는 겉보기에 완벽한 보상 모델도 매우 과민할 수 있음을 보이며, 실험적으로 이러한 과민성이 나쁜 정책(policy)으로 이어질 수 있음을 확인한다. 기존의 '보상 모델 정확도' 개념을 대신하여, 우리는 '판별 능력(discriminative ability)'과 '특이성(specificity)'(과민성의 역개념)이라는 별개의 척도를 사용한 보상 모델 평가를 제안한다. 해결책으로, 우리는 임의의 신경망 보상 모델에 몬테 카를로 드롭아웃(Monte Carlo dropout)을 적용하여 이산적인 보상 클러스터(discrete reward clusters)를 생성하는 학습 불필요(training-free) 알고리즘을 제안한다. 이론적으로 우리는 판별 능력의 손실을 최소화하면서 과민성을 줄이는 이산화(discretization)가 존재함을 증명하며, 실험적으로 통제된 환경과 자연스러운 강화학습 환경 모두에서 보상을 이산화하는 것이 원래 보상으로 학습하는 것보다 보상 해킹(reward hacking)을 줄이고 더 나은 정책을 이끌어냄을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.