우리 모델은 어떤 모델 위에 구축되었는가? 현대 LLM의 보이지 않는 의존성 감사
Which Models Are Our Models Built On? Auditing Invisible Dependencies in Modern LLMs
현대 대규모 언어 모델(LLM) 학습 파이프라인은 데이터 생성, 말뭉치 필터링, 출력 판단, 개발 결정 안내 등을 위해 다른 모델에 점점 더 의존하고 있습니다. 이러한 의존성은 재귀적입니다. 즉, 모델은 자체 의존성이 별도의 릴리스와 아티팩트에만 문서화되어 있는 업스트림 아티팩트에 의존할 수 있습니다. 그 결과, 전체 의존성 구조는 이질적인 공개 아티팩트에 걸쳐 파편화되어 있으며, 그 복잡성과 재귀 깊이는 인간의 추적 능력을 훨씬 초과합니다. 본 논문에서는 소스 기반 증거를 통해 공개 아티팩트에서 LLM 의존성 그래프를 재귀적으로 재구성하는 에이전트 시스템인 ModSleuth를 소개합니다. 우리는 주요 과제가 정보 추출이 아니라, 의존성을 구성하는 요소를 정의하고 불일치하는 문서 간의 아티팩트 참조를 조정하는 것임을 발견했습니다. 우리는 직접 및 간접 의존성을 구별하고, 연산 중심 관계를 통해 이질적인 파이프라인 역할을 표현하며, 이름, 버전, 저장소에 걸쳐 아티팩트 식별자를 해결하는 형식화를 통해 이러한 문제를 해결합니다. ModSleuth를 공개 아티팩트가 풍부한 4개의 LLM 릴리스에 적용하여, 1,060개의 소스 검증된 의존성을 확인하고 현대 LLM 개발의 대규모 의존성 그래프를 구축했습니다. 이 그래프는 멀티홉 라이선스 의무, 학습-평가 결합, 릴리스된 아티팩트와 학습 시점 아티팩트 간의 불일치, 그리고 일반적으로는 발견하기 어려운 문서 불일치를 드러냅니다. 우리는 현대 LLM의 기반이 되는 점점 복잡해지는 생태계를 투명하게 분석할 수 있도록 ModSleuth와 결과물인 의존성 그래프를 공개합니다.