PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19624v2cs.LG

실제 현장의 MassSpecGym: AI 기반 분자 발견에서의 평가 함정 발견 및 교정

MassSpecGym in the Wild: Uncovering and Correcting Evaluation Pitfalls in AI-Driven Molecule Discovery

결합 질량 분석법(MS/MS) 기반 분자 발견을 위한 머신러닝 모델 개발에 있어 신뢰할 수 있는 벤치마킹은 필수적입니다. 실험 설계와 모델 평가 절차의 미묘한 문제들은 벤치마크의 신뢰성을 저하시키고 잘못된 결론으로 이어질 수 있습니다. 우리는 최근 MS/MS 머신러닝 문헌의 모델 평가 이슈를 철저히 검토하였으며, 이러한 문제의 영향을 보여주기 위해 표준 MassSpecGym 벤치마크 스위트를 사례 연구로 활용했습니다. 도입된 첫 해 동안 MassSpecGym 벤치마크 결과를 보고한 26편의 논문 중 최소 17편에서 평가 문제를 발견했습니다. 우리는 (i) 데이터 누수, (ii) 지름길 학습(shortcut learning), (iii) 구현 버그 및 지표 차이의 세 가지 유형의 실패 원인을 규명했습니다. 광범위한 실험과 코드 재현을 통해 이러한 문제의 영향을 정량화하고, MassSpecGym이 시행하도록 설계된 평가 기준을 어떻게 훼손하는지 입증했습니다. 우리는 이러한 연구 결과를 MS/MS 챌린지, 벤치마크 및 사용자 정의 평가 설정으로 일반화할 수 있는 권장 사항으로 정리했습니다. 또한, 본 감사(audit)에서 식별된 실패 모드를 해결하는 권장 사항을 MassSpecGym 벤치마킹 스위트에 구현한 MassSpecGym v1.5를 공개합니다. MassSpecGym v1.5는 https://github.com/pluskal-lab/MassSpecGym에서 공개되어 있습니다.