AI 시대에 중요한 것을 측정하기: 연구 소프트웨어 지표의 현황
Measuring What Matters in the Age of AI: The Research Software Metrics Landscape
한국어 초록
연구 소프트웨어는 이제 과학의 핵심 도구로 자리 잡았지만, 그 품질, 지속가능성, 재사용 및 영향력을 판단하기 위해 커뮤니티가 사용하는 방법들은 소프트웨어 공학, 오픈 사이언스, FAIR 소프트웨어, 인용, 연구 평가 문헌 전반에 흩어져 있다. AI 지원 개발은 이 문제를 더욱 첨예하게 만든다. 코드가 인간의 검토 역량을 넘어서는 속도로 생산될 수 있고, 출처와 기여 표기를 추적하기가 더 어려우며, 학술적 공로 인정 체계가 이를 따라가지 못하고, 기존 지표는 더 이상 적용되지 않을 수 있는 연구 소프트웨어 개발 방식에 대한 가정을 내포하고 있다. 이러한 과제를 헤쳐 나가는 데 도움을 주기 위해, 본 논문은 49개의 핵심 문헌에 기반한 연구 소프트웨어 지표의 집중적 현황 종합을 제시하고, 반복적으로 나타나는 지표를 데이터 출처, 주장하는 구성개념, 타당성 근거, 자동화 가능성, 오용 가능성에 따라 기술되는 여덟 개의 계열로 정리한다. 널리 인용되는 많은 연구 소프트웨어 지표는 부분적인 신호로 기능하지만, 과학적 영향력에 대한 단독 척도로는 취약하다. AI 시대에는 출처, 생성된 코드의 유지보수성, 검토자의 노력, 모델 및 데이터 의존성, 재사용 및 커뮤니티 건전성 신호의 부풀림, 그리고 AI가 수행하지 않는 인간 노동에 대한 공로 인정과 관련된 격차가 새로 생기거나 확대된다. 본 논문은 연구 소프트웨어 지표를 책임감 있게, 맥락에 맞게, 혼합 방법으로 사용할 것을 주장하며, 더 나은 소프트웨어, 더 공정한 공로 인정, 더 신뢰할 수 있는 과학을 뒷받침하는 지표를 선택하는 연구 소프트웨어 엔지니어(RSE), 연구책임자, 기관 및 연구비 지원기관을 위한 의사결정 지침을 제시한다. 모든 연구 결과는 49개 문헌에 대한 집중 검토에 근거하며, 재현 가능한 검색 및 선별 프로토콜과 727개 레코드의 선별된 코퍼스가 향후 전체 체계적 매핑 연구를 위한 투명성 산출물로서 논문과 함께 제공된다.
원문 초록
Research software now serves as a primary instrument of science, but the methods the community uses to judge its quality, sustainability, reuse, and impact remain scattered across software engineering, open science, FAIR software, citation, and research-assessment literature. AI-assisted development sharpens the problem: code can be produced at rates that outpace human review capacity, provenance and attribution are harder to track, scholarly credit systems cannot keep pace, and existing metrics inherit assumptions about how research software gets developed that may no longer apply. To aid in navigating these challenges, we present a focused landscape synthesis of research software metrics based on 49 substantive references, organizing the recurring metrics into eight families described by data source, claimed construct, evidence of validity, automation potential, and susceptibility to misuse. Many widely cited research software metrics serve as partial signals but make weak standalone measures of scientific impact. The AI era opens or widens gaps around provenance, maintainability of generated code, reviewer effort, model and data dependencies, reuse and community-health signal inflation, and credit for human labor that AI does not perform. We argue for responsible, contextual, mixed-method use of research software metrics, and offer decision guidance for Research Software Engineers (RSEs), principal investigators, institutions, and funders selecting metrics that support better software, fairer credit, and more trustworthy science. All findings rest on the 49-reference focused review; a reproducible search-and-triage protocol and a 727-record triaged corpus accompany the paper as a transparency artifact for a future full systematic mapping study.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23253v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.