코드 자동 완성 및 생성을 위한 대규모 언어 모델(LLM)이 소프트웨어 개발에서 점점 더 많이 활용되고 있지만, 학습(training) 예제를 원문 그대로 저작자 표시 없이 재생성할 수 있어 표절 및 라이선스 준수와 관련된 법적·윤리적 우려를 낳고 있습니다. 위노잉(Winnowing)과 같은 고전적인 핑거프린트 기반 표절 탐지기는 여전히 매우 효과적이지만, 검사를 위해 코드 조각을 전체 학습 세트와 비교해야 하며 선형 시간 탐색 특성으로 인해 현대 코드 LLM 학습에 사용되는 수십억 개 규모의 말뭉치에는 적용하기 어렵습니다. 이러한 격차를 해소하기 위해, 본 연구에서는 코드 검색에 맞춤화된 3억 개 매개변수(parameter) 인코더인 SourceTracker와 하이브리드 2단계 출처 추적 파이프라인인 HybridSourceTracker(HST)를 제안합니다. HST는 먼저 벡터 검색을 통해 소수의 후보 스니펫을 압축한 다음, 정확한 핑거프린트를 기반으로 위노잉을 적용해 해당 후보들의 순위를 재정렬합니다. 우리는 실제 식별자 이름 변경을 모사한 수정 스니펫과 원문 스니펫 모두를 포함하여 TheStackV2 데이터셋(dataset)의 1,000만 개 스니펫 서브셋에서 시스템을 학습하고 평가합니다. 수정된 쿼리를 사용한 10만 개 스니펫 규모의 시험관 내(in vitro) 검색 공간에서, 우리의 하이브리드 접근법은 30개 토큰(token) 조각에 대해 위노잉과 대등한 평균 역순위(MRR)에 도달합니다. 나아가 60개 이상의 토큰 윈도우부터는 로그 시간 쿼리 복잡도를 유지하면서도 최대 5.4%까지 일관되게 더 우수한 성능을 보입니다. LLM 기반 평가자를 활용한 보완 평가에서는 정답(ground truth)으로 라벨링되지 않은 수많은 검색 스니펫 역시 예상 출처와 매우 유사하며(특히 더 긴 컨텍스트 윈도우에서), 따라서 최종 사용자에게 여전히 유용함을 확인했습니다. 전반적으로 우리의 결과는 학습 데이터에 접근할 수 있다면 벡터 검색과 핑거프린팅의 결합을 통해 LLM 생성 코드에 대한 확장 가능하고 높은 정밀도(precision)의 출처 추적이 가능함을 입증합니다...
선도적 컴퓨팅 시설들은 AI 학습 데이터로 활용되기 전에 상당한 변환이 필요한 대규모 과학 데이터셋을 관리한다. 그러나 기존의 어떤 프레임워크도 자동화된 변환, 준비성 평가, 출처 추적, 에이전트 네이티브 배포를 완전히 통합하지 못한다. 우리는 이 간극을 해소하는 오픈소스 프레임워크 REDI를 제안한다. REDI는 재현성을 위한 단계별 계측과 에이전트 호출 가능 스킬로의 배포를 지원하는 통합 5단계 파이프라인(수집, 전처리, 변환, 구조화, 출력)을 통해 이를 구현하며, 동반 도구 SetGo는 FAIR 준수 및 카탈로그 게시를 자동화한다. 기후, 단백질체학(proteomics), 재료과학, 핵융합 분야에 걸쳐 평가한 결과, REDI는 모든 데이터셋을 원시 상태에서 AI 준비 상태로 변환하였으며 출력 결과는 도메인 전문가 참조 데이터와 대조하여 검증되었다. 기후 사례의 경우 Frontier에서 100개 노드까지 이상에 가까운 병렬 확장성을 보이는 예비 결과를 보였다. 출처 계측 프로파일링을 통해 파일 I/O가 파이프라인의 지배적 비용임이 밝혀졌으며, 포맷 선택이 1차 최적화 수단임을 확인하였다. 이러한 결과는 REDI를 과학적 AI를 위한 자동화된 데이터 준비성을 제공하는 크로스 도메인 플랫폼으로 자리매김하며, 데이터 준비 병목을 재현 가능하고 재사용 가능한 커뮤니티 자산으로 전환한다.
자율 AI 에이전트가 외부 지식을 활용할 때 출처, 버전, 무결성, 추적 가능성이 보장되지 않는 컨텍스트 거버넌스(context governance) 문제를 형식화하고, SHA-256 해시 체인 버전 이력, 결정론적 셀렉터 문법, MCP 기반 소스 노드, 감사 추적을 결합한 오픈 명세 및 참조 구현인 ContextNest를 제시한다. 실험 결과, 거버넌스 기반 선택이 BM25 검색 대비 답변 품질 통과율(97% vs. 93–90%)과 토큰 비용 측면에서 Pareto 우위를 보였으며, 밀집 벡터(dense+HNSW) 기반 검색의 비결정론적 문제(쿼리의 80%에서 mean Jaccard 0.611)도 해결함을 확인했다.
에이전트 런타임 시스템은 추적 기록(traces), 원장(ledgers), 출처 그래프(provenance graphs), 정책 로그, 위임 토큰(delegation tokens), 캐시 이벤트, 도구 방화벽(tool-firewall) 기록을 생성하지만, 이러한 컨테이너들이 특정 의사결정에 대한 거버넌스 질문에 반드시 답하지는 않는다. DEMM-Bench는 Decision Evidence Maturity Model(DEMM)에 기반한 에이전트 런타임 거버넌스-증거 충분성을 위한 교차-레짐 벤치마크로, 단순히 존재하는지 여부가 아니라 여덟 가지 증거 레짐에 걸친 기록이 의사결정 수준 속성을 재구성하기에 충분한지를 측정한다. 이 벤치마크는 어댑터를 통해 레짐을 정규화하고, 행위자(actor), 권한(authority), 행동(action), 정책(policy), 의사결정 근거(decision basis), 리소스 접촉(resource touch), 수명주기 맥락(lifecycle context), 검증 강도(verification strength)에 대한 속성 질문을 제시하며, 여덟 가지 결정론적 열화(degradation) 조건을 적용한다. 64개의 원고 사례에 걸쳐 trace-present 및 schema-present 베이스라인은 사례의 75%에서 과잉 주장(overclaim)을 하고, ledger-present는 50%에서 과잉 주장하며, 편집된 속성 수준 후보 채점기는 과잉 주장이 0%이며 평균 Property Sufficiency Accuracy가 56.25%이다. 공개된 패키지는 64개 사례 데이터셋, construction-oracle 레이블, 베이스라인, 어댑터를 제공하여 이질적인 에이전트 런타임 증거 기반(evidence substrates)에 걸친 의사결정-증거 성숙도의 재현 가능한 평가를 지원한다.