FABRIC 테스트베드에서의 AI 지원 연산 재현성
AI-Assisted Computational Reproducibility on the FABRIC Testbed
연산 재현성은 과학 연구의 핵심임에도 불구하고 여전히 달성하기 어렵습니다. 본 논문에서는 국제 FABRIC 테스트베드를 LoomAI를 통한 대규모 언어 모델(LLM) 코딩 에이전트(agent)와 결합하여 여러 도메인에 걸쳐 발표된 실험의 재현을 어떻게 단순화할 수 있는지 보여줍니다. 저자들은 FABRIC 상에서 BBR 계열 혼잡 제어 평가, CPU 전용 MPI 클러스터에서의 LAMMPS 분자 동역학 스케일링(scaling) 벤치마크, 스트레스 단백질 항상성 유전체학 파이프라인을 다루는 세 가지 사례 연구를 재현했습니다. 단순히 수치적 출력을 일치시키는 데만 집중하기보다는, 재현된 실험이 원본 연구와 동일한 과학적 결론을 뒷받침하는지 여부를 평가합니다. AI 어시스턴트는 환경(environment) 구축, 코드 수정, 디버깅에 효과적이었으나, 명확히 정의된 워크플로가 부족한 분석 단계에서는 어려움을 겪었으며 실행 순서와 데이터 의존성을 확립하기 위해 인간의 안내가 필요했습니다. 이러한 사례 연구 전반에 걸쳐 AI 지원 워크플로는 재현에 드는 노력을 약 4~6배 줄였습니다. 마지막으로 연구 테스트베드에서 AI 지원 재현성을 개선하기 위한 실질적인 권장 사항을 제시하며 마무리합니다.