PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22898v1cs.SE

AssumptionMiner: LLM 코드 생성에서 암묵적 가정의 추출, 추적 및 수정

AssumptionMiner: Extracting, Tracing, and Revising Implicit Assumptions in LLM Code Generation

대규모 언어 모델(LLM)은 자연어 프롬프트로부터 코드를 생성하지만, 실제 프롬프트는 완전한 명세를 제공하는 경우가 드뭅니다. 프롬프트가 입력 형식, 오류 처리 또는 설계 결정을 명시하지 않으면, LLM은 생성된 코드의 동작과 정확성을 형성하는 암묵적 가정으로 이러한 공백을 메웁니다. 이러한 가정이 숨겨진 채로 남아 있기 때문에, 생성된 코드는 테스트는 통과하면서도 개발자 의도를 위반할 수 있습니다. 우리는 LLM 기반 코드 생성에서 암묵적 가정을 일급(first-class) 산출물로 만드는 프레임워크인 AssumptionMiner를 제안합니다. 코드 외에도 AssumptionMiner는 명시적 가정 층을 생성하며, 이는 개발자가 검사, 확인 또는 수정할 수 있는 추론된 제약과 설계 결정의 구조화된 표현입니다. AST 기반 의존성 그래프는 수정된 가정의 영향을 받는 코드만을 대상으로 한 국소적 재생성을 가능하게 합니다. 또한 676개의 주석이 달린 가정을 포함한 180개의 모호한 프로그래밍 과제로 구성된 벤치마크를 도입하며, 코드 국소화(code localization) 평가를 위한 사람이 검증한 부분집합도 포함합니다. 가정 추출, 코드 국소화, 가정 안내 재생성을 평가합니다. 오픈소스 LLM 전반에서 신뢰도 가중 앙상블은 가정 추출에 대해 F1 점수 0.816을 달성하며, 가장 강력한 오프라인 기준선 대비 3.6배 개선합니다. 사람이 검증한 국소화 벤치마크에서 AST 안내 국소화는 키워드 기반 및 전체 파일 기준선보다 더 정밀한 코드 영역을 식별합니다. 가정 수정 과정에서 대상 지정 재생성은 비대상 대안보다 더 적은 코드를 수정하면서 연쇄 편집(cascading edits) 처리의 과제를 드러냅니다. 이러한 결과는 가정을 명시화하면 LLM 기반 코드 생성의 투명성과 제어 가능성이 향상됨을 보여줍니다.

arXiv:2607.00016v1cs.IR

Libra: Training the Environment for Agentic Information Retrieval

Information localization within massive repositories is a cornerstone of agentic LLM systems. While synthetic data-driven optimization has proven successful in training LLMs, little attention has been paid to optimizing the agent's working environment (the repository itself) in a data-driven manner. To bridge this gap, we present Libra, a self-evolving framework that introduces mutable "catalogs" (hierarchical Markdown files serving as navigable indices) into the repository. Libra runs an LLM-driven optimization loop where a Prompter generates synthetic queries, a frozen Solver attempts to resolve them by navigating the catalogs, and a Healer rewrites the catalogs in response to the Solver's localization failures. Evaluations across 12 SWE-bench Lite repositories demonstrate that this environmental healing yields continual, logarithmic improvements in code localization accuracy. Furthermore, these environmental improvements transfer zero-shot across different LLMs and problem sets. Although the focus of this paper is to study the general behavior of such a system, we also demonstrate that a minimalist coding agent equipped with Libra-optimized catalogs outperforms state-of-the-art baselines. Code is available at https://github.com/salesforce-misc/Libra and data at https://huggingface.co/datasets/Salesforce/Libra.

arXiv:2606.07297v1cs.SE

SWE-Explore: 코딩 에이전트의 저장소 탐험 방식 벤치마킹

SWE-Explore: Benchmarking How Coding Agents Explore Repositories

SWE-bench와 같은 저장소 수준 코딩 벤치마크는 코딩 에이전트의 능력 급격한 발전을 주도했습니다. 그러나 이들은 보통 코딩 작업을 전체적이고 이진적인 예측 문제(예: 해결됨 또는 해결되지 않음)로 취급하며, 저장소 이해, 컨텍스트 검색, 코드 지역화, 버그 진단과 같은 세분화된 에이전트 능력을 간과합니다. 본 논문에서 우리는 코딩 에이전트의 핵심 능력인 저장소 탐험의 평가를 분리한 벤치마크인 SWE-Explore를 소개합니다. 저장소와 이슈가 주어지면, SWE-Explore는 탐색자에게 고정된 라인(line) 예산 내에서 관련 코드 영역의 순위가 매겨진 목록을 반환하도록 요청합니다. SWE-Explore는 10개 프로그래밍 언어와 203개 오픈 소스 저장소에 걸쳐 848개의 이슈를 다룹니다. 각 인스턴스에 대해, 우리는 동일한 이슈를 성공적으로 해결한 독립적인 에이전트 궤적(trajectories)으로부터 라인(line) 수준 정답(ground truth)을 도출하며, 그 솔루션 경로가 실제로 참조한 특정 코드 영역을 추출합니다. 우리는 커버리지(coverage), 순위(ranking), 컨텍스트 효율성(context-efficiency) 차원에서 탐험을 평가하며, 이러한 메트릭들이 다운스트림(downstream) 수정(repair) 동작을 강력하게 추적함을 보여줍니다. 다양한 검색 방법, 일반적인 코딩 에이전트, 전문화된 지역화 모델(localizers)에 걸쳐, 우리는 에이전트 기반 탐색자가 고전적 검색보다 명확히 상위 계층을 형성함을 발견했습니다. 현대적 방법들에서 파일 수준 지역화는 이미 강력하지만, 라인(line) 수준 커버리지와 효율적인 순위 매기기는 최첨단(SOTA) 탐색자를 구분하는 핵심 축으로 남아 있습니다.