arXiv:2609.26952v1 cs.AI

Python 의존성 지옥에서 벗어나기: Python 의존성 해결을 위한 하이브리드 리플레이-수리 파이프라인

Escaping Python Dependency Hell: A Hybrid Replay-and-Repair Pipeline for Python Dependency Resolution

Veronica Poweska, Ariana Oyanguren, Jessica Pourleyli, Sourena Khanzadeh, Manar Alalfi

제출 2026-09-24

한국어 초록

Python 생태계의 의존성 충돌은 호환되지 않는 버전 제약, 누락된 패키지, 문서화되지 않은 호환성 관계에서 비롯되어, 많은 실세계 코드 스니펫이 실행 시 실패하게 만든다. 본 논문은 의존성 실패 스니펫 2,891개로 구성된 HG2.9K 벤치마크에서 평가된 하이브리드 의존성 수리 파이프라인인 PLLM+를 제시한다. PLLM+는 LLM 기반 수리를 호출하기 전에 비용이 적은 결정론적 단계를 우선한다: 정적 AST 기반 인터프리터 추론, 대회에서 제공된 solutions database의 과거에 성공한 의존성 구성의 리플레이(replay), 후보 패키지 버전에 대한 실시간 PyPI 검증. 이 단계들로 사례가 해결되지 않으면, 유형화된 오류 분류와 Proposer/Critic 에이전트를 갖춘 구조화된 LLM 기반 수리 루프로 폴백한다. HG2.9K에서 PLLM+는 2,891개 스니펫 중 1,500개를 해결했으며, PLLM 기준선이 해결한 1,169개와 비교된다. 또한 스니펫당 평균 실행 시간을 368.7초에서 71.8초로 줄였다. 대부분의 성공적 수정은 알려진 구성의 리플레이에서 나온다: 1,500건의 성공 수정 중 1,495건은 solutions database가 생성했고, LLM 폴백은 추가로 5건을 담당했다. 이 결과는 이 벤치마크 설정에서, 이전에 검증된 의존성 구성의 결정론적 재사용이 단순하고 효과적인 전략이며, LLM 기반 수리는 기존 해법이 다루지 못하는 사례에 대한 2차 폴백 역할을 한다는 것을 시사한다.

원문 초록

Dependency conflicts in Python ecosystems arise from incompatible version constraints, missing packages, and undocumented compatibility relationships, causing many real-world code snippets to fail at execution. This paper presents PLLM+, a hybrid dependency-repair pipeline evaluated on the HG2.9K benchmark of 2,891 dependency-failing snippets. PLLM+ prioritizes inexpensive deterministic steps before invoking LLM-based repair: static AST-based interpreter inference, replay of historically successful dependency configurations from the competition-provided solutions database, and live PyPI validation of candidate package versions. When these steps do not resolve a case, the system falls back to a structured LLM-based repair loop with typed error classification and Proposer/Critic agents. On HG2.9K, PLLM+ solves 1,500 out of 2,891 snippets, compared with 1,169 solved by the PLLM baseline. It also reduces average runtime from 368.7 to 71.8 seconds per snippet. Most successful fixes come from replaying known configurations: 1,495 of the 1,500 successful fixes are produced by the solutions database, while the LLM fallback accounts for 5 additional fixes. These results suggest that, in this benchmark setting, deterministic reuse of previously validated dependency configurations is a simple and effective strategy, with LLM-based repair serving as a secondary fallback for cases not covered by prior solutions.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.26952v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15894v1cs.LG공통 태그 Computational Efficiency, Program Repair, Large Language Model

모든 확장을 유의미하게: LLM 코드 수정에서 효율적인 탐색을 위한 학습

Make Every Expansion Count: Learning to Search Efficiently in LLM Code Repair

대규모 언어 모델(LLM) 코드 수정 시스템은 수정본을 반복적으로 생성하고 테스트하여 결함이 있는 프로그램을 고칩니다. 각 수정본 생성에는 많은 비용이 들기 때문에, 어떤 수정을 시도할지 선택하는 것이 효율성에 매우 중요합니다. 기존의 탐색 정책은 테스트 통과율과 탐색 통계에 의존하며, 테스트 실패 세부 정보와 제안된 편집 내용은 무시합니다. 본 논문에서는 수정된 프로그램이 생성되고 테스트되기 전에 편집의 우선순위를 정하는 학습된 정책인 CodeTriage를 소개합니다. 0.6B 매개변수(parameter) 모델은 테스트 출력, 실패 진단, 제안된 편집을 읽은 후, 해당 편집을 통해 해결에 도달하는 데 필요한 수정 단계 수에 대한 분포를 예측합니다. 이러한 예측은 수정된 코드를 생성하고 테스트하기 전에 프로그램 전반에 걸쳐 보류 중인 모든 편집의 우선순위를 지정합니다. 미공개 수정 작업에서 CodeTriage는 각 지표의 가장 강력한 기준선(baseline)보다 21% 적은 프로그램 수정본과 12% 적은 출력 토큰으로 해결책을 찾아냅니다. 재학습 없이도 11개의 보지 못한 수정 LLM 각각에 대해 탐색 예산 전반에서 가장 높은 평균 성공률을 달성합니다. 절제 연구(ablation study)에 따르면 실패 문맥과 편집 텍스트뿐만 아니라 프로그램 간의 비교도 탐색을 개선하는 것으로 나타났습니다. 또한 제안된 편집 및 테스트 결과와 함께 수정 트리로 구성된 4개 LLM의 1,220만 개 프로그램 버전 말뭉치를 공개합니다.

arXiv:2610.13570v1cs.AI공통 태그 Computational Efficiency, Benchmarking, Large Language Model

추론 모델의 오버씽킹에 대한 최적 추론 종료 기법의 파레토 프론티어 구축

Constructing Pareto Frontiers of Optimal Reasoning Termination Methods for Overthinking in Reasoning Models

추론 모델은 테스트 시간 스케일링(test-time scaling)의 이점을 얻을 수 있지만, 지속적인 추론은 비효율적이거나 오히려 해로울 수 있으며, 이를 오버씽킹(overthinking) 현상이라고 부릅니다. 전체 추론(full thinking)을 기준으로 한 평가는 정확도와 토큰 사용량을 비교하지만, 오버씽킹의 심각도 및 각 전략의 이론적 완화 잠재력에 대한 기준이 부족합니다. 모델-작업 수준에서 오버씽킹의 특성을 규명하기 위해, 본 연구에서는 먼저 고정된 샘플링 추론 궤적을 따라 보존된 여러 접두사(prefix)로부터 반복적으로 답변을 생성하는 단계별 절단 프로빙(Step-wise Truncation Probing, STP)을 도입합니다. 각 궤적에서 최대 실증적 정확도에 도달하는 가장 이른 측정 위치를 기준으로 삼아, 이후 생성된 추론 토큰의 비율을 오버씽킹 비율(Overthinking Ratio)로, 해당 기준점 대비 전체 추론까지의 정확도 하락을 정확도 저하(Accuracy Degradation)로 각각 정의합니다. 둘째로, 다양한 종료 전략의 이론적 완화 잠재력을 정량화하기 위해 동적 라우팅(dynamic routing), 고정 예산(fixed budgets), 동적 조기 종료(dynamic early exit)를 통합된 프레임워크 내에서 정식화합니다. 이 통합 프레임워크를 기반으로 완전한 STP 측정값을 활용하여 공통의 정규화된 추론 토큰 예산 하에서 각 전략에 대한 토큰-정확도 파레토 프론티어(Pareto frontier)를 구축합니다. 나아가 6개 모델과 4개 벤치마크 그룹에 걸쳐 705억 개의 추론 토큰 및 해당 프로빙 측정값을 생성한 STP 프로세스로부터 구축된 재사용 가능한 벤치마크인 OTBench를 개발합니다.

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency, Large Language Model

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2610.10942v2cs.AI공통 태그 Benchmarking, Large Language Model

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.