유지되는 점수와 누출되는 벤치마크: 공개 뇌종양 MRI 분류에서의 데이터셋 오염 측정
Scores That Hold, Benchmarks That Leak: Measuring Dataset Contamination in Public Brain-Tumor MRI Classification
MRI를 이용한 뇌종양 자동 분류(classification)는 의료 영상 분야에서 심층 학습(deep learning)이 활발히 적용되는 연구 주제로, 공개 벤치마크에서 보고되는 정확도는 일상적으로 98%를 웃돕니다. 그러나 정확도는 벤치마크 품질의 중요한 차원인 데이터셋(dataset) 무결성, 즉 영상, 환자, 획득 출처 수준에서 테스트 데이터가 학습(training) 데이터로부터 독립적인지 여부를 포착하지 못합니다. 본 연구에서는 관련 문헌의 기반이 되는 공개 코퍼스를 평가하기 위해 중복, 환자, 출처-라벨 누출로 구성된 3개 층(layer) 오염 프레임워크를 도입합니다. 가장 널리 사용되는 3개 코퍼스를 흉부 X선 음성 대조군과 비교 감사하고, 9개 아키텍처와 3개 평가 조건에 걸쳐 각 층이 측정된 성능에 미치는 영향을 정량화합니다. 모든 층에서 오염이 심각한 수준이었습니다. 가장 지배적인 코퍼스의 공식 테스트 분할 중 28.8%는 자체 학습 분할 내에 유사 복제본이 존재했고, 두 번째 코퍼스는 테스트 영상의 22.3%가 바이트 단위로 동일하게 누출되었으며, 추적 가능한 테스트 영상의 95.5%가 학습 데이터와 동일한 환자를 공유했고, 해부학적 정보를 포함하지 않는 파일 헤더 특징만으로도 파인튜닝(fine-tuning)된 ResNet 백본과 동등한 수준인 0.959의 균형 정확도로 종양과 비종양을 구분했습니다. 예상치 못한 결과는 확인된 모든 누출 테스트 영상을 제거해도 균형 정확도가 실질적으로 변하지 않았다는 점입니다. 즉, 중복 제거 후에도 성능이 안정적으로 유지된다고 해서 벤치마크의 무결성이 입증되는 것은 아닙니다. 본 연구의 결과는 데이터셋 무결성이 안정적인 리더보드만으로는 보증할 수 없는 벤치마크 품질의 명확하고 측정 가능한 축임을 규명합니다. 생물의학 연구에서 이러한 코퍼스만을 바탕으로 보고된 정확도는 모델(model)이 데이터셋 특화 단서를 악용하는 대신 종양을 인식하도록 학습되었음을 증명하지 못합니다. 연구진은 오염된 파일 목록, 복구된 환자 식별자, 중복이 제거된 분할 데이터를 공개합니다.