북미 산업 분류 시스템(NAICS)을 활용한 GitHub 저장소 산업 분류
Industry Classification of GitHub Repositories Using the North American Industry Classification System (NAICS)
GitHub은 수억 개의 공개 저장소를 호스팅하고 있으나, 저장소를 표준화된 산업 부문에 매핑하는 기본 기능을 제공하지 않는다. 이러한 공백은 혁신의 지리적 분포, 오픈소스 생산의 산업 구성, 경제 부문 전반에 걸친 신기술 확산에 관한 실증 연구를 제한한다. 본 연구에서는 미국, 유럽연합, 호주를 포함하는 소스 풀에서 수집한 6,588개의 GitHub 저장소로 구성된 공개 코퍼스 NAICS-GH를 제시한다. 각 저장소는 북미 산업 분류 시스템(NAICS 2022)의 2자리 부문 레이블로 주석이 달려 있다. 레이블은 BAAI/bge-large-en 임베딩, FAISS 검색, GPT-4.1 루브릭 점수화를 결합한 검색-검증 파이프라인으로 생성된다. 이 파이프라인은 약 137만 개의 소스 저장소를 31,178개의 후보 저장소-부문 쌍으로 좁히고, 점수 8 이상의 고신뢰도 레이블 6,588개를 최종 선별한다. 검색 파이프라인을 처음부터 끝까지 재실행하면 후보 집합이 0.03퍼센트 이내로 재현된다. 인간이 검증한 2,421개 저장소 무작위 표본에서 공개 레이블은 96.98퍼센트의 정밀도를 달성하며, Wilson 95퍼센트 신뢰구간은 [96.23, 97.59]이다. 공개 코퍼스를 대상으로 6개의 사전학습 인코더를 벤치마크한 결과, RoBERTa-large는 홀드아웃 20퍼센트 테스트 셋에서 86.45퍼센트 F1 및 86.35퍼센트 정확도를 달성하였다. 데이터셋, Croissant 메타데이터, 파이프라인 코드, 프롬프트, 파인튜닝된 체크포인트는 CC-BY-4.0 및 MIT 라이선스 하에 공개된다.