코딩 에이전트로 연구 소프트웨어 카탈로그 구축: 해커톤 프로토타입에서 공개 배포까지
Building a research-software catalog with a coding agent: from hackathon prototype to public deployment
한국어 초록
생성 AI와 코딩 에이전트는 연구 소프트웨어 개발을 가속할 수 있지만, 효율적인 소프트웨어 발견과 유지보수에 대한 필요성도 커진다. 우리는 3일간의 해커톤 동안 저장소 카탈로그를 개발한 뒤, 적대적 검토, 데이터 품질 점검, 브라우저 수준 검증, 출판 안전장치 등을 포함해 공개 배포에 적합하게 만들기 위해 필요한 엔지니어링을 조사했다. 이어서 이 프로토타입에서 얻은 교훈을 훨씬 더 큰 인간 큐레이션 포털로 옮길 수 있는지 탐구했으며, 이를 위해 큐레이션된 포털 메타데이터, 외부 문서, 벡터 검색, 로컬 언어 모델 생성을 결합하는 MateriApps용 개발 중인 검색 에이전트를 통해 살펴보았다. 코딩 에이전트로 구현은 빠르지만, 안정적인 운영을 달성하려면 상당한 추가 엔지니어링이 필요했다. 가장 중대한 문제는 크래시가 아니라 그럴듯하지만 불완전하거나 잘못된 출력을 낳는 침묵 실패(silent failure)였으며, 이는 불완전한 데이터 수집, 오해를 유발하는 평가, 검색 또는 전처리 실패에서 비롯되었다. 이러한 관찰은 AI 보조 소프트웨어 포털에 명시적 검증, 모니터링, 반복 검토가 필요함을 시사하며, 큐레이션된 메타데이터와 유지된 문서가 여전히 필수적임을 보여준다. MateriApps 작업은 탐색적이며 활발히 개발 중이므로, 여기에 보고된 관찰은 예비적이다. 그럼에도 큐레이션된 메타데이터, 자동 수집 문서, 검색 기반 보조의 유사한 결합은 다른 연구 소프트웨어 포털 확장에 유용할 수 있다.
원문 초록
Generative AI and coding agents can accelerate research software development, but they also increase the need for efficient software discovery and maintenance. We developed a repository catalog during a three-day hackathon and subsequently examined the engineering required to make it suitable for public deployment, including adversarial review, data-quality checks, browser-level validation, and publication safeguards. We then explored whether the lessons learned from this prototype could be transferred to a much larger, human-curated portal, through a retrieval agent under development for MateriApps that combines curated portal metadata, external documentation, vector search, and local language-model generation. Implementation with coding agents was rapid, but achieving reliable operation required substantial additional engineering: the most consequential problems were not crashes but silent failures that produced plausible yet incomplete or incorrect outputs, arising from incomplete data acquisition, misleading assessments, and retrieval or preprocessing failures. These observations suggest that AI-assisted software portals require explicit validation, monitoring, and repeated review, and that curated metadata and maintained documentation remain essential. The MateriApps work is exploratory and remains under active development, so the observations reported for it are preliminary; a comparable combination of curated metadata, automatically collected documentation, and retrieval-based assistance may nevertheless be useful for extending other research-software portals.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.04711v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.