arXiv:1709.07267

Yet Another ADNI Machine Learning Paper? Paving The Way Towards Fully-reproducible Research on Classification of Alzheimer's Disease

Jorge Samper-González, Ninon Burgos, Sabrina Fontanella, Hugo Bertin, Marie-Odile Habert, Stanley Durrleman, Theodoros Evgeniou, Olivier Colliot

제출 2017-09-21

원문 초록

In recent years, the number of papers on Alzheimer's disease classification has increased dramatically, generating interesting methodological ideas on the use machine learning and feature extraction methods. However, practical impact is much more limited and, eventually, one could not tell which of these approaches are the most efficient. While over 90\% of these works make use of ADNI an objective comparison between approaches is impossible due to variations in the subjects included, image pre-processing, performance metrics and cross-validation procedures. In this paper, we propose a framework for reproducible classification experiments using multimodal MRI and PET data from ADNI. The core components are: 1) code to automatically convert the full ADNI database into BIDS format; 2) a modular architecture based on Nipype in order to easily plug-in different classification and feature extraction tools; 3) feature extraction pipelines for MRI and PET data; 4) baseline classification approaches for unimodal and multimodal features. This provides a flexible framework for benchmarking different feature extraction and classification tools in a reproducible manner. We demonstrate its use on all (1519) baseline T1 MR images and all (1102) baseline FDG PET images from ADNI 1, GO and 2 with SPM-based feature extraction pipelines and three different classification techniques (linear SVM, anatomically regularized SVM and multiple kernel learning SVM). The highest accuracies achieved were: 91% for AD vs CN, 83% for MCIc vs CN, 75% for MCIc vs MCInc, 94% for AD-A$\beta$+ vs CN-A$\beta$- and 72% for MCIc-A$\beta$+ vs MCInc-A$\beta$+. The code is publicly available at https://gitlab.icm-institute.org/aramislab/AD-ML (depends on the Clinica software platform, publicly available at http://www.clinica.run).

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13644v1cs.LG공통 태그 Classification, Benchmarking

SelectArena: 실제 환경 정형 데이터를 위한 특징 선택 현대적 벤치마크

SelectArena: A Modern Benchmark for Feature Selection on Real-world Tabular Data

정형 데이터셋(tabular dataset)에서 특징(특성/열)의 하위 집합을 선택하는 것은 실제 응용 분야 전반에서 흔히 마주하는 과제입니다. 산업계 전문가들은 모델 학습(training) 비용을 최소화하고자 하며, 기후 과학자들은 극단적 기상 현상을 이해하기 위해 해석 가능한 요인들의 부분집합을 필요로 하고, 임상의들은 비용 및 시간 제약으로 인해 진단 검사 항목 중 일부를 선택해야 합니다. 어떤 특징 선택(feature selection) 방법을 사용해야 할지 결정하기 위해 학술 문헌을 살펴볼 때, 다양한 분야의 실무자들은 실제 현실을 제대로 반영하지 못하는 벤치마킹 환경과 마주하게 됩니다. 광범위한 연구에도 불구하고, 기존 특징 선택 벤치마크들은 구식 모델, 임시방편적 평가(evaluation) 프로토콜, 또는 실제 문제를 반영하지 못하는 인위적으로 생성된 데이터에 의존하여 유용한 지침을 제공하는 데 한계가 있었습니다. 이러한 과학적 벤치마킹과 실제 응용 사이의 격차를 해소하기 위해, 본 연구에서는 현대적인 특징 선택 벤치마크인 SelectArena를 소개합니다. 본 논문에서는 분류(classification) 및 회귀 문제를 포괄하는 엄선된 71개의 실제 정형 데이터셋을 대상으로, 표준화된 평가 프로토콜과 최신 정형 (파운데이션) 모델을 활용하여 널리 사용되는 15가지 특징 선택 방법을 비교합니다. 실험 결과는 예측 성능, 실행 시간, 안정성, 유효성 전반에서 명확한 트레이드오프를 보여줍니다. 트리 기반 방법인 CART 및 RFImportance와 F-검정(F-Test)은 예측 성능과 실행 시간을 종합적으로 고려했을 때 파레토 최적(Pareto-optimal)인 것으로 나타났습니다. F-검정, 정보 이론 기반 방법, 거리 기반 방법은 안정성과 유효성 측면에서 앞섰으며, 특히 F-검정은 모든 평가 지표에서 균형 잡힌 선택지로 부상했습니다. 탐색 기반 방법들은 느리고 불안정하며 낮은 성능을 보였습니다. SelectArena는 이러한 연구 결과를 실질적인 지침으로 전환하고, 확장 가능한 플랫폼으로서 향후 특징 선택 연구를 지원합니다.

arXiv:2610.02599v1cs.AI공통 태그 Classification, Benchmarking

TasteBench: 분자에서 지속 가능한 식품까지, 감각 예측을 위한 멀티모달 벤치마크

TasteBench: Multimodal Benchmark for Sensory Prediction, from Molecules to Sustainable Foods

지속 가능한 단백질 발굴에는 신약 및 소재 발굴을 가속화하는 분자 도킹이나 밀도 범함수 이론과 유사한 빠른 계산 대리 모델(proxy)이 부재합니다. 새로운 식품이 동물성 대상 식품과 비슷한 맛을 내는지 평가하려면 비용이 많이 드는 인간 관능 평가 패널이 필요하여 설계-구축-테스트 루프의 병목 현상을 초래합니다. 본 논문에서는 두 가지 과제로 구성된 감각 예측용 멀티모달 벤치마크이자 프라이버시 보존형 경진대회인 TasteBench를 소개합니다. 두 과제는 24개 제품 카테고리의 215개 식물성 식품에 대한 2만 1천 건 이상의 인간 평가를 기반으로 구축되어 카테고리 내 935개 순위 쌍을 생성하는 식품 수준 랭킹 과제와, 1만 5천 개 향미 분자를 다루는 보조적 분자 수준 맛 분류(classification) 과제입니다. 모델(model) 성능의 엄밀한 해석을 위해 본 연구에서는 정답 레이블(ground truth)의 특성을 규명했습니다. 패널 간 평가자 간 일치도는 낮았으며(Krippendorff's $α= .077$), 패널 집계 랭킹의 반분 신뢰도 상한선은 .825로 나타나 이 벤치마크에서 머신러닝 시스템을 평가해야 하는 범위를 설정했습니다. 네 가지 입력 모달리티에 걸쳐 베이스라인을 평가한 결과, 패널이 평가한 동일한 쌍에서 최고 성능 모델은 .661의 쌍별 정확도를 기록하여 개별 패널의 중앙값(.650)과 경쟁력 있는 성능을 보였고, 모든 카테고리 내 쌍에 대해서는 .683을 달성했습니다. TasteBench는 지속 가능한 단백질 발굴을 위한 계산 스크리닝의 발전을 측정할 수 있는 평가 인프라와 베이스라인을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.