Atompack: 읽기 집중형 원자론적 ML 학습 데이터셋을 위한 저장 및 배포 층
Atompack: A Storage and Distribution Layer for Read-Heavy Atomistic ML Training Datasets
원자론적 머신러닝 학습에 특화된 저장 포맷 Atompack은 셔플된 학습 워크플로우에 맞춰 완전한 분자 레코드를 단일 인덱스 기반으로 서빙하는 추가-지향(append-oriented) 구조를 채택했다. HDF5, LMDB, ASE 대비 벤치마크에서 64원자 워크로드 기준 셔플 읽기 처리량이 ASE LMDB 대비 96배 빠르고 아티팩트 크기는 79% 감소하는 성능을 달성했다.