arXiv:2605.28510v3 cs.SE

LLM 생성 코드 스니펫을 위한 효율적이고 확장 가능한 출처 추적

Efficient and Scalable Provenance Tracking for LLM-Generated Code Snippets

Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli

제출 2026-05-27

저자 비고

arXiv Comments

Article accepted at The Journal of Systems & Software

한국어 초록

코드 자동 완성 및 생성을 위한 대규모 언어 모델(LLM)이 소프트웨어 개발에서 점점 더 많이 활용되고 있지만, 학습(training) 예제를 원문 그대로 저작자 표시 없이 재생성할 수 있어 표절 및 라이선스 준수와 관련된 법적·윤리적 우려를 낳고 있습니다. 위노잉(Winnowing)과 같은 고전적인 핑거프린트 기반 표절 탐지기는 여전히 매우 효과적이지만, 검사를 위해 코드 조각을 전체 학습 세트와 비교해야 하며 선형 시간 탐색 특성으로 인해 현대 코드 LLM 학습에 사용되는 수십억 개 규모의 말뭉치에는 적용하기 어렵습니다. 이러한 격차를 해소하기 위해, 본 연구에서는 코드 검색에 맞춤화된 3억 개 매개변수(parameter) 인코더인 SourceTracker와 하이브리드 2단계 출처 추적 파이프라인인 HybridSourceTracker(HST)를 제안합니다. HST는 먼저 벡터 검색을 통해 소수의 후보 스니펫을 압축한 다음, 정확한 핑거프린트를 기반으로 위노잉을 적용해 해당 후보들의 순위를 재정렬합니다. 우리는 실제 식별자 이름 변경을 모사한 수정 스니펫과 원문 스니펫 모두를 포함하여 TheStackV2 데이터셋(dataset)의 1,000만 개 스니펫 서브셋에서 시스템을 학습하고 평가합니다. 수정된 쿼리를 사용한 10만 개 스니펫 규모의 시험관 내(in vitro) 검색 공간에서, 우리의 하이브리드 접근법은 30개 토큰(token) 조각에 대해 위노잉과 대등한 평균 역순위(MRR)에 도달합니다. 나아가 60개 이상의 토큰 윈도우부터는 로그 시간 쿼리 복잡도를 유지하면서도 최대 5.4%까지 일관되게 더 우수한 성능을 보입니다. LLM 기반 평가자를 활용한 보완 평가에서는 정답(ground truth)으로 라벨링되지 않은 수많은 검색 스니펫 역시 예상 출처와 매우 유사하며(특히 더 긴 컨텍스트 윈도우에서), 따라서 최종 사용자에게 여전히 유용함을 확인했습니다. 전반적으로 우리의 결과는 학습 데이터에 접근할 수 있다면 벡터 검색과 핑거프린팅의 결합을 통해 LLM 생성 코드에 대한 확장 가능하고 높은 정밀도(precision)의 출처 추적이 가능함을 입증합니다...

원문 초록

Large language models (LLMs) for code completion and generation are increasingly used in software development, yet they may reproduce training examples verbatim and without authorship attribution, raising legal and ethical concerns around plagiarism and license compliance. Classical fingerprint-based plagiarism detectors, such as Winnowing, remain highly effective, yet the inspection requires comparing fragments of code to the entire training set, and their linear-time search makes them impractical for the billion-scale corpora used to train modern code LLMs. To bridge this gap, we introduce SourceTracker, a 300M-parameter encoder tailored for code retrieval, together with a hybrid two-stage provenance-tracking pipeline HybridSourceTracker (HST). HST first narrows down a small set of candidate snippets via vector search, then re-ranks those candidates using Winnowing on exact fingerprints. We train and evaluate our system on a 10M-snippet subset of the TheStackV2 dataset, with both verbatim and adapted snippets that emulate realistic identifier renaming. On an in vitro 100k-snippet search space with adapted queries, our hybrid approach reaches a mean reciprocal rank on par with Winnowing for 30-token fragments. Then, starting from windows >= 60 tokens, it consistently overperforms by up to 5.4% while preserving logarithmic-time query complexity. In a complementary evaluation using an LLM-based judge, we find that many retrieved snippets not labeled as ground truth are still highly similar to the expected sources, particularly with longer context windows, and thus remain useful for end users. Overall, our results demonstrate that integrating vector search with fingerprinting enables scalable, high precision provenance tracking for code produced by LLMs, provided that their training data is made accessible...

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.28510v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13889v1cs.AI공통 태그 Retrieval, Information Retrieval

RATED: 실행 역학을 통한 신뢰성 인식 AI 에이전트 도구 검색

RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics

AI 에이전트(agent)의 외부 도구 의존도가 높아짐에 따라, 신뢰할 수 있는 동작을 위해서는 정확한 도구 검색이 필수적입니다. 기존 방식들은 의미적 관련성을 최적화하지만 실행 중 도구의 가용성은 대체로 무시합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 강건한 의미적 매칭과 동적 신뢰성 적응을 결합한 검색 프레임워크인 RATED(Reliability-Aware Tool Retrieval via Execution Dynamics)를 제안합니다. RATED는 의미적 매칭을 위해 대조 미세조정(contrastive fine-tuning)이 적용된 고정된(frozen) 듀얼 인코더를 사용하며, 실시간 실행 피드백을 기반으로 후보군을 재순위화하는 경량 맥락적 밴딧(contextual bandit) 모듈을 사용합니다. 이러한 설계를 통해 모델의 값비싼 재학습 없이도 런타임 도구 실패에 신속하게 적응할 수 있습니다. 또한 오프라인 검색 및 동적 신뢰성 평가를 위해 5,172개의 실제 도구와 210,000개 이상의 쿼리-도구 쌍으로 구성된 벤치마크인 EcoAgent를 소개합니다. 실험 결과에 따르면, RATED는 실제 쿼리에서 ToolLLM API 검색기 대비 52.2%의 상대적 MRR 향상을 달성하고, 30%의 실패율을 보이는 심각한 API 장애 시나리오에서 오류 선택률을 86.2%에서 2.9%로 낮추는 동시에 인코딩 전용 추론(inference) 대비 1ms 미만의 미미한 지연 시간 오버헤드만을 발생시킵니다. 코드와 데이터셋은 https://github.com/Elliotes/EcoAgent 에서 확인할 수 있습니다.

arXiv:2609.32123v2cs.AI공통 태그 Retrieval, Information Retrieval

READ-Bench: 시계열 진단을 위한 과거 사례 검색 벤치마크

READ-Bench: Benchmarking Historical Instance Retrieval for Time-Series Diagnosis

시계열 진단 시스템은 관련 과거 사례를 검색하는 방식에 거의 의존하지 않으며, 이를 활용하더라도 검색 성능은 다운스트림 예측을 통해서만 간접적으로 평가됩니다. 본 연구에서는 다변량 시계열을 중심으로 12개의 진단 데이터셋에 걸쳐 과거 사례 검색을 평가하는 벤치마크인 READ-Bench를 소개합니다. READ-Bench는 신호의 형태 대신 공유된 고장 또는 이벤트 유형을 기준으로 관련성을 정의하므로, 동일한 고장이라도 시각적으로 다른 파형은 관련 사례로 간주되는 반면, 서로 다른 고장의 유사하게 보이는 파형은 관련 사례로 간주되지 않습니다. 검색을 기본 검색기(base retriever)와 리랭커(reranker)의 결합으로 구성하여, 유의성 검정과 함께 지도 수준, 데이터 오염(pollution), 코퍼스 규모를 다양화하는 단일 프로토콜 하에서 고전적 거리 지표, 기호 기반 검색기, 자기지도학습 및 파운데이션 모델 임베더와 이들의 융합, 그리고 라벨 인지형 및 언어 모델 리랭커를 평가합니다. 공통의 채널 독립적 인터페이스에서 사전학습된 표현은 검색 단계 단독으로는 강력한 고전적 및 기호 기반 베이스라인 대비 통계적으로 유의미한 이점을 보이지 않았습니다. 결정적인 요인은 리랭킹 단계에서 해결된 사례에 대한 소량의 지도 학습, 즉 임베딩 공간에서 소수의 이웃 라벨을 전파하는 가우시안 프로세스(Gaussian-process) 리랭커의 활용이었으며, 이는 더 정교한 표현이나 언어 모델 추론보다 훨씬 더 큰 도움이 되었고 데이터 오염 및 전체 코퍼스 규모에서도 유효했습니다. 이러한 결과를 바탕으로, 본 연구는 상호 순위 융합(reciprocal-rank fusion)을 통해 정상 잔차 점수 기반 임베더와 동적 시간 워핑(dynamic time warping) 방식을 결합한 후 가우시안 프로세스 리랭커로 재순위화하여, 12개 데이터셋 전체에서 자체 검색 단계 대비 NDCG@10을 향상시켰으며(리랭킹으로 +0.11 향상), 가장 강력한 단일 기본 검색기 대비 +0.16의 향상을 달성했습니다.

arXiv:2610.04838v2cs.AI공통 태그 Retrieval, Code Generation

MemTrace: 장기 코딩 에이전트를 위한 상태 일관적 메모리

MemTrace: State-Consistent Memory for Long-Horizon Coding Agents

코딩 에이전트(agent)가 여러 파일과 단계에 걸친 장기 소프트웨어 발전 작업을 수행함에 따라, 길어진 실행 궤적은 두 가지 연계된 문제를 야기합니다. (1) 누적된 이력으로 인해 컨텍스트 예산에 부담이 가중되고, (2) 저장소의 변경 사항으로 인해 이전 실행 근거의 유효성이 상실될 수 있습니다. 기존 접근 방식은 더 큰 컨텍스트 윈도우(context window), 압축, 검색 또는 저장소 표현과 같은 기법을 통해 이러한 문제를 해결하지만, 컨텍스트 갱신 후 일관된 작업 상태를 재구성하지 못하거나 회상된 근거가 여전히 유효한지 검증하지 못하는 경우가 많습니다. 이에 따라 본 논문에서는 실행 이력을 보존하고 변화하는 작업(예: 반복적인 파일 간 수정) 및 저장소 상태와 이력의 재사용을 정렬하는 출처 인식 메모리 시스템인 MemTrace를 제안합니다. MemTrace는 이력을 주요 정보(예: 파일, 심볼, 테스트)에 고정된 불변의 Memory Trace로 저장하며, 이들의 실행 순서와 의존성을 Memory Trace Graph로 구조화합니다. 컨텍스트가 제한될 때 작업 메모리는 컴팩트한 Memory Anchor만 유지하며, 에이전트는 이를 통해 최신 실행 상태를 재구성하고 다음 행동과 관련된 근거를 찾을 수 있습니다. 과거 근거를 복원하기 전에 MemTrace는 현재 저장소 상태에 대해 유효성을 검사하고 다음 행동에 필요한 정보만을 검색합니다. 세 가지 상호보완적인 장기 코딩 벤치마크(benchmark) 전반에서, MemTrace는 동일한 백본 및 하네스 조건 하에 완전히 평가된 모든 베이스라인을 일관되게 능가하여 Codex CLI 환경에서 DeepSWE pass@1을 21.2포인트, SWE-EVO 해결률(Resolved Rate)을 4.4포인트, SWE-Milestone 점수를 17.8포인트 향상시켰습니다.

arXiv:2610.02249v1cs.LG공통 태그 Retrieval, Information Retrieval

서로 다른 가정 하에서 MS/MS 스펙트럼 기반 핑거프린트 예측을 위한 최근접 이웃 기준선

Nearest-neighbour baselines for fingerprint prediction from MS/MS spectra under different assumptions

최근 MS/MS 스펙트럼으로부터 분자 핑거프린트를 예측하는 작업에서 최근접 이웃(nearest-neighbour) 검색이 강력한 기준선(baseline)을 제공하며, 여러 변형 방식이 현재의 심층 학습(deep learning) 모델과 대등하거나 이를 능가하는 성능을 보인다는 사실이 입증되었습니다 (Khoo and Barzilay, 2026; Liu et al., 2026; Gupta et al., 2026). 중요한 점은 "최근접 이웃"이 추론(inference) 시 활용 가능하다고 가정하는 정보에 따라 달라지는 검색 방법군을 포괄한다는 것입니다. 본 보고서에서는 여러 최근접 이웃 변형을 체계적으로 비교하고, 이러한 서로 다른 가정이 성능에 어떤 영향을 미치는지 보여줍니다. 우리의 목표는 보다 엄밀한 벤치마킹을 가능하게 하고 이 분야의 발전을 더 잘 측정할 수 있도록 더 엄격한 기준선을 확립하는 것입니다.

arXiv:2610.02438v1cs.LG공통 태그 Retrieval, Code Generation

합성하는 것인가, 기억해내는 것인가? 알고리즘 코드 검색에서 LLM 평가

Are you Synthesizing or Recalling? Evaluating LLMs on Algorithmic Code Retrieval

대규모 언어 모델(LLM)은 코드 생성에서 강력한 성능을 입증해 왔으며, 여기서 성공 여부는 관련 알고리즘 지식을 상기(recall)하는 것과 이를 어떻게 적용할지 추론하는 것 모두에 달려 있습니다. 그러나 기존 LLM 파이프라인은 불투명하여 이 두 구성 요소 간의 명시적인 구분이 없습니다. 우리는 사전학습 말뭉치에서 정형화된 구현체를 쉽게 접할 수 있는 잘 알려진 알고리즘의 경우, 코드 생성을 새로운 알고리즘을 합성하는 것이 아니라 내재화된 지식으로부터 명명된 알고리즘을 재현하는 \textit{파라메트릭 코드 검색(parametric code retrieval)}으로 측정하는 것이 더 적절하다고 주장합니다. 우리는 이러한 능력을 독립적으로 평가하기 위해 14개 도메인, 7개 프로그래밍 언어, 4개 그래프 입력 표현에 걸쳐 77개의 고전 알고리즘을 다루는 599개 문제로 구성된 벤치마크인 AlgoREval을 도입하고, 제로샷(zero-shot) 설정에서 15개 모델(7B~34B 파라미터)을 평가합니다. 널리 문서화된 알고리즘에 대해서도 언어 및 입력 표현 전반에 걸쳐 검색 정확도에 상당한 편차가 있음을 발견했으며, 검색된 코드 스니펫이나 구조화된 알고리즘 힌트를 활용한 프롬프트 증강이 복잡한 알고리즘에서 정확도를 향상시키는 반면, SFT는 더 넓은 언어적 이득을 달성하고 GRPO는 특정 언어에서 더 큰 언어별 이득을 달성함을 보여줍니다. 종합적으로, 우리의 결과는 파라메트릭 코드 검색을 구별되고 측정 가능한 능력으로 확립하며, 체계적인 검증 없이 AI가 생성한 알고리즘 코드를 배포하는 것에 대해 주의를 당부합니다.

arXiv:2610.02831v1cs.AI공통 태그 Retrieval, Information Retrieval

AMBER: 목록형 비전-언어 재순위화를 위한 다중 뷰 적응형 예산 할당

AMBER: Multi-View Adaptive Budget Allocation for Listwise Vision-Language Reranking

비전-언어 모델(VLM)은 멀티모달 검색을 위한 강력한 목록형(listwise) 재순위화 모델이지만, 높은 추론(inference) 비용으로 인해 작은 규모의 로컬 후보 뷰만 평가하도록 제한됩니다. 기존의 다중 호출 전략은 고정된 스케줄에 의존하므로 정보량이 적은 후보 쌍과 쉬운 쿼리에 값비싼 VLM 호출을 낭비합니다. 이를 해결하기 위해, 전역 자원 할당을 동적으로 최적화하는 온라인 예산 기반 다중 뷰 재순위화 프레임워크인 AMBER(Adaptive Multi-view Budgeted Elo Reranking)를 제안합니다. AMBER는 단편화된 목록형 VLM 출력을 로컬 토너먼트로 취급하고, 연속적인 Elo 업데이트를 사용하여 가벼운 전역 순위 상태를 유지합니다. 이를 바탕으로 두 가지 수준에서 계산을 할당합니다. 즉, 점수 모호성이 높은 후보 뷰를 동적으로 구성하고, 기대 정보 이득을 극대화하도록 쿼리를 스케줄링합니다. 우리는 각 Elo 업데이트가 Bradley-Terry 로그 가능도(likelihood)에 대한 확률적 그래디언트(gradient) 상승 단계에 해당함을 보이고, 쿼리 수준 할당 전략에 대한 서브모듈러(submodular) 정보이론적 근거를 제시합니다. CIRR, CIRCO 및 PhotoBench에 대한 실험을 통해 AMBER가 유사한 VLM 호출 예산 내에서 비교 대상 다중 호출 VLM 재순위화 방식 중 가장 뛰어난 종합적 성능을 달성하는 동시에, 더 적은 예산 설정에서도 효과적임을 입증합니다. 저희 코드는 https://github.com/wnlfc/AMBER 에서 공개적으로 이용할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.