NIH 데이터 관리 계획서 초안 작성에서 LLM의 성능 평가
Evaluating the Performance of LLMs in Drafting NIH Data Management Plans
한국어 초록
연구 데이터를 공유하는 것은 투명성을 높이고, 재현성을 가능하게 하며, 과학적 발견을 촉진하는 데 필수적이다. 일관된 공유를 보장하기 위해 미국 국립보건원(NIH)과 다른 연구비 지원 기관은 신청자가 제안서와 함께 데이터 관리 계획서(DMP)를 제출하도록 요구한다. 이는 연구자들이 데이터 관리 및 공유 전략을 초기에 고려하도록 장려하는 것을 목표로 한다. 그러나 연구자들은 데이터 공유 관행에 대한 지식 부족으로 DMP를 작성하는 데 종종 어려움을 겪는다. 여기서 우리는 2023년 NIH 지침을 준수하는 DMP 초안을 작성하는 데 있어 거대 언어 모델(LLM)의 성능을 평가하였다. 목표는 LLM이 지원하는 DMP 작성이 연구자와 사서의 부담을 줄일 수 있는지 조사하는 것이었다. 우리는 Llama와 GPT의 성능을 NIH가 제공한 DMP 샘플과 비교하였다. 또한 해당 분야 전문가에게 LLM이 생성한 DMP를 평가하도록 요청하였다. 종합적으로, LLM은 초기 초안 작성을 가속할 수 있으나 명확성과 완전성을 보장하기 위해 제출 전에 여전히 전문가 검토가 필요함을 확인하였다. 더욱이 오픈소스 LLM은 연구비 지원 기관의 요건을 준수하는 DMP 초안을 작성하는 데 있어 상용 LLM만큼 즉시 사용할 준비가 되어 있지 않을 수 있다.
원문 초록
Sharing research data is essential to promote transparency, enable reproducibility, and fuel scientific discoveries. To ensure consistent sharing, the National Institutes of Health (NIH) and other funding agencies require applicants to submit data management plans (DMPs) with their proposals. They aim to encourage researchers to consider their data management and sharing strategies early on. However, researchers often face challenges when developing DMPs due to a lack of knowledge about data-sharing practices. Here, we evaluated the performance of Large Language Models (LLMs) in drafting DMPs compliant with the 2023 NIH guidelines. The goal was to investigate whether LLM-supported DMP creation could reduce the burden on researchers and librarians. We compared Llama and GPT performance against NIH-provided DMP samples. We also asked domain experts to evaluate LLM-generated DMPs. Overall, we found that LLMs can accelerate the creation of initial drafts but still require expert review before submission to ensure clarity and completeness. Moreover, open-source LLMs may not be as ready off-the-shelf as commercial ones for drafting funder-compliant DMPs.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.14648v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.