Convolutional neural network for detection and classification of seizures in clinical data
원문 초록
Epileptic seizure detection and classification in clinical electroencephalogram data still is a challenge, and only low sensitivity with a high rate of false positives has been achieved with commercially available seizure detection tools, which usually are patient non-specific. Epilepsy patients suffer from severe detrimental effects like physical injury or depression due to unpredictable seizures. However, even in hospitals due to the high rate of false positives, the seizure alert systems are of poor help for patients as tools of seizure detection are mostly trained on unrealistically clean data, containing little noise and obtained under controlled laboratory conditions, where patient groups are homogeneous, e.g. in terms of age or type of seizures. In this study authors present the approach for detection and classification of a seizure using clinical data of electroencephalograms and a convolutional neural network trained on features of brain synchronisation and power spectrum. Various deep learning methods were applied, and the network was trained on a very heterogeneous clinical electroencephalogram dataset. In total, eight different types of seizures were considered, and the patients were of various ages, health conditions and they were observed under clinical conditions. Despite this, the classifier presented in this paper achieved sensitivity and specificity equal to 0.68 and 0.67, accordingly, which is a significant improvement as compared to the known results for clinical data.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Examining Deployment and Refinement of the VIOLA-AI Intracranial Hemorrhage Model Using an Interactive NeoMedSys Platform
자동 신생아 발작 감지의 정직하고 신뢰할 수 있는 평가 및 전문가 동등성 검정
Honest and Reliable Evaluation and Expert Equivalence Testing of Automated Neonatal Seizure Detection
신생아 발작 감지를 위한 머신러닝 모델의 신뢰할 수 있는 평가는 임상 도입을 위해 매우 중요합니다. 현재의 관행은 일관성이 없고 편향된 지표에 의존하는 경우가 많아 모델 간 비교 가능성과 해석 가능성을 저해합니다. AI 성능에 대한 전문가 수준의 주장은 엄격한 검증 없이 제기되는 경우가 빈번하여 신뢰성에 대한 우려를 낳고 있습니다. 본 연구는 일반적인 성능 지표를 체계적으로 평가하고 신생아 발작 감지의 특정 과제에 맞춘 모범 사례를 제안하는 것을 목표로 합니다. 실제 및 합성 발작 주석을 활용하여, 다양한 클래스 불균형, 평가자 간 일치도, 평가자 수 조건에서 표준 성능 지표, 합의 전략, 인간 전문가 수준 동등성 검정을 평가했습니다. 매튜스 상관계수(Matthews correlation coefficient)와 피어슨 상관계수(Pearson's correlation coefficient)는 클래스 불균형 상황에서 성능을 반영하는 데 있어 곡선하면적(AUC)보다 우수한 성능을 보였습니다. 합의 유형은 평가자 수 및 평가자 간 일치도 수준에 민감합니다. 인간 전문가 수준 동등성 검정 중에서는 플라이스 카파(Fleiss k)를 사용하는 다중 평가자 튜링 테스트(multi-rater Turing test)가 전문가 수준의 AI 성능을 가장 잘 포착했습니다. 저자들은 (1) 최소 하나의 균형 지표, (2) 민감도, 특이도, 양성 예측도(PPV), 음성 예측도(NPV), (3) 플라이스 카파를 사용한 다중 평가자 튜링 테스트 결과, (4) 별도 검증 셋(held-out validation set)에서의 상기 항목 전체를 보고할 것을 권장합니다. 제안된 프레임워크는 신생아 발작 감지를 위한 AI 방법론에 대한 철저하고 정직한 평가를 가능하게 함으로써 임상 검증의 중요한 전제 조건을 제공합니다.
신뢰할 수 있는 백혈병 검출을 위한 누출 인식 비교 벤치마크: 머신러닝, 심층 학습 및 트랜스포머 모델
A Leakage-Aware Comparative Benchmark of Machine Learning, Deep Learning, and Transformer Models for Reliable Leukemia Detection
말초 혈액 도말 이미지에서 급성 림프모구 백혈병(ALL)을 자동 분류하는 연구들은 C-NMC 2019 데이터셋에서 거의 완벽한 성능을 보고하는 경우가 많다. 본 연구는 이러한 결과가 무작위 이미지 수준 분할로 인한 환자 수준 데이터 누출에 의해 부풀려질 수 있음을 보인다. 이 경우 동일 피험자의 세포가 학습 폴드와 테스트 폴드 양쪽에 모두 등장할 수 있다. 우리는 엄격한 피험자 비중복 프로토콜 하에 누출 인식 벤치마크를 수립하여 LightGBM, RBF-SVM, EfficientNet-B0, EfficientNet-B1, ViT-Tiny를 비교한다. 모델은 73명의 피험자로 구성된 세 개의 피험자 비중복 폴드를 사용하여 개발되었으며, 환자 중복이 전혀 없는 28명의 미관측 피험자로부터 수집한 1,867장의 이미지로 구성된 외부 예비 단계 테스트 세트에서 평가하였다. 판별 성능 외에도, 기대 캘리브레이션 오차(ECE), 브라이어 점수, 온도 스케일링을 이용하여 캘리브레이션을 평가하였다. 공정한 평가 하에서 EfficientNet-B1이 AUROC 0.913, 민감도 0.87, 특이도 0.80, 캘리브레이션 후 ECE 0.024로 최고 성능을 달성하였다. 동결 특징(frozen-feature) 분류기와 ViT-Tiny는 높은 민감도를 보이나 특이도가 낮아 악성 클래스를 과도하게 예측하는 경향을 나타낸다. 무작위 분할 대 피험자 비중복 분할 절제 연구(ablation)에 따르면, 보수적인 동결 특징 설정에서도 무작위 분할이 AUROC를 약 0.04 부풀리는 것으로 나타났다. 이러한 결과는 C-NMC 2019에서의 이미지 수준 평가에 대한 주의를 촉구하며, 향후 연구를 위한 재현 가능한 캘리브레이션 인식 벤치마크를 제공한다.
BCoughBench: Benchmarking Respiratory Acoustic Foundation Models Under Body-Coupled Wearable Sensor Conditions
언어적 스티어링 조사: 대규모 언어 모델 아키텍처 전반의 형용사 효과 분석
Investigating Linguistic Steering: An Analysis of Adjectival Effects Across Large Language Model Architectures
대규모 언어 모델(LLM)을 신뢰할 수 있게 제어하려면, 모델이 언어적 단서를 해석하는 방식에 대한 정밀하고 확장 가능한 이해가 필요하다. 우리는 Shapley 값을 사용해 개별 형용사가 모델 성능에 미치는 스티어링 효과를 정량화하는 엄격한 프레임워크를 제안하며, 일화적 휴리스틱을 넘어 원칙에 기반한 기여도 귀인(attribution)으로 나아간다. MMLU 벤치마크에서 o3, gpt-4o-mini, phi-3, llama-3-70b, deepseek-r1 등 다양한 모델에 대해 100개의 형용사에 이 방법을 적용한 결과, AI 정렬(alignment)에 대한 여러 중요한 발견을 밝혀냈다. 첫째, 소수의 형용사가 불균형적으로 강력한 "레버" 역할을 하지만, 그 효과는 보편적이지 않다. 모델 간 분석은 "계열 효과(family effect)"를 드러낸다: 동일 계열의 모델은 상관된 민감도 프로파일을 보이는 반면, 아키텍처적으로 상이한 모델은 대체로 비상관적으로 반응하여, 만능 프롬프트 전략이라는 관념에 도전한다. 둘째, 후속 집중 연구는 이러한 강력한 형용사의 스티어링 방향이 내재적이지 않고 프롬프트 내 구문적 역할과 위치에 크게 좌우됨을 보여준다. gpt-4o-mini와 같은 더 큰 모델에 대해, 형용사가 상승적으로 증폭하거나, 길항적으로 억제하거나, 서로의 영향을 심지어 뒤집을 수 있는 강력한 비가산적 상호작용 효과에 대한 최초의 정량적 증거를 제공한다. 반면 phi-3와 같은 소형 모델은 더 문자 그대로의, 덜 조합적인(compositional) 반응을 보인다. 이 결과는 모델이 스케일링될수록 프롬프트 해석이 더 정교해지지만 덜 예측 가능해짐을 시사하며, 모델 행동을 견고하게 스티어링하는 데 큰 도전을 제기하고, 조합적이며 모델별 정렬 기법의 필요성을 부각한다.
보상 모델 이산화
Discretizing Reward Models
보상 모델은 널리 사용되고 있음에도 불구하고, 강화학습을 형성하는 데 있어 그 역할은 제대로 이해되지 않고 있다. 보상 모델은 매력적인 가능성을 제시한다: 검증기(verifier)나 인간 평가자 없이도 응답 품질을 자동으로 추정할 수 있다는 것이다. 일반적으로 이진 점수를 생성하는 '검증 가능한 보상(verifiable rewards)'과 달리, 보상 모델은 연속적인 점수를 생성하여 응답 간의 세밀한 차이에 민감하게 반응할 수 있다. 그러나 우리는 이 명백한 강점이 심각한 약점임을 보인다: 많은 인기 있는 보상 모델들은 과민하여(oversensitive), 동등하게 좋은 응답에 서로 다른 점수를 부여한다. 이론적으로 우리는 겉보기에 완벽한 보상 모델도 매우 과민할 수 있음을 보이며, 실험적으로 이러한 과민성이 나쁜 정책(policy)으로 이어질 수 있음을 확인한다. 기존의 '보상 모델 정확도' 개념을 대신하여, 우리는 '판별 능력(discriminative ability)'과 '특이성(specificity)'(과민성의 역개념)이라는 별개의 척도를 사용한 보상 모델 평가를 제안한다. 해결책으로, 우리는 임의의 신경망 보상 모델에 몬테 카를로 드롭아웃(Monte Carlo dropout)을 적용하여 이산적인 보상 클러스터(discrete reward clusters)를 생성하는 학습 불필요(training-free) 알고리즘을 제안한다. 이론적으로 우리는 판별 능력의 손실을 최소화하면서 과민성을 줄이는 이산화(discretization)가 존재함을 증명하며, 실험적으로 통제된 환경과 자연스러운 강화학습 환경 모두에서 보상을 이산화하는 것이 원래 보상으로 학습하는 것보다 보상 해킹(reward hacking)을 줄이고 더 나은 정책을 이끌어냄을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.