Deep Learning for Automated Classification of Tuberculosis-Related Chest X-Ray: Dataset Specificity Limits Diagnostic Performance Generalizability
원문 초록
Machine learning has been an emerging tool for various aspects of infectious diseases including tuberculosis surveillance and detection. However, WHO provided no recommendations on using computer-aided tuberculosis detection software because of the small number of studies, methodological limitations, and limited generalizability of the findings. To quantify the generalizability of the machine-learning model, we developed a Deep Convolutional Neural Network (DCNN) model using a TB-specific CXR dataset of one population (National Library of Medicine Shenzhen No.3 Hospital) and tested it with non-TB-specific CXR dataset of another population (National Institute of Health Clinical Centers). The findings suggested that a supervised deep learning model developed by using the training dataset from one population may not have the same diagnostic performance in another population. Technical specification of CXR images, disease severity distribution, overfitting, and overdiagnosis should be examined before implementation in other settings.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
위치 바이어스는 천장 효과 뒤에 숨겨져 있다: LLM 벤치마크를 위한 순열 진단
Position Bias is Hidden Behind Ceiling Effects: A Permutation Diagnostic for LLM Benchmarks
다지선다형 LLM 평가에서의 위치 바이어스(position bias)는 능력 비교의 교란 요인으로 널리 인용되지만, 기존에 발표된 측정은 단일 답변 순서 셔플에 의존하며, 그 결과는 바이어스 신호를 내용 수준의 노이즈와 샘플링 확률성과 혼동한다. 저는 inspect_ai 평가 프레임워크의 오픈소스 확장인 inspect_permute를 소개한다. 이 도구는 문항별로 모든 답변 순서 순열을 실행하고, 부트스트랩 신뢰구간과 함께 위치 바이어스의 카이제곱(chi-squared)/크래머 V(Cramer V) 특성을 보고한다. 저는 temperature-0 생성 설정 하에 24,000회의 API 호출로, 네 개 벤더(gpt-4o-mini, claude-haiku-4-5, gemini-2.5-flash, grok-3)와 다섯 MMLU 과목에 이 도구를 적용했다. 데이터의 절반을 관측하기 전에 공개 SHA-256 해시를 통해 반증 예측을 사전 등록했다. 위치 바이어스는 대략 60–95% 기본 정확도의 골디락스 존(Goldilocks zone) 내에서만 통계적으로 탐지 가능한 것으로 나타났다. 그보다 낮으면 처리 부하(processing load) 우세가 과목별 신호를 압도하고, 그보다 높으면 천장 효과가 분산을 카이제곱 검정 해상도 이하로 압축한다. 탐지 가능한 셀은 두 가지 메커니즘 유형으로 구분된다: 단조 A→D 감소(processing_load, 저급 모델)와 비단조 D-하락(content_ambiguity, 좁은 능력 대역). 표준 MMLU는 모든 프론티어급 모델을 탐지 대역 위에 배치하므로, 그곳에서 신호가 없는 것은 편향 없음이 아니라 측정 불가로 해석해야 한다. arXiv:2606.26185의 천장 효과 특성화와 함께, 본 연구는 위치 바이어스 측정의 탐지 가능 영역을 규명하고 분야의 핵심 질문을 검증 가능한 형태로 제기할 수 있게 한다. 패키지, 데이터, 사전 등록은 MIT 라이선스 하에 제공된다.
ResCovNet: A Deep Learning-Based Architecture For COVID-19 Detection From Chest CT Scan Images
Performing Image Classification for 10 Different Monkey Species using CNN
Statistical characterization and classification of colon microarray gene expression data using multiple machine learning paradigms
Enhanced network anomaly detection based on deep neural networks
Earthquake magnitude prediction in Hindukush region using machine learning techniques
토론
이 논문과 연결된 포럼 글이 아직 없습니다.