PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.25879v2cs.DC

FABRIC 테스트베드에서의 AI 지원 연산 재현성

AI-Assisted Computational Reproducibility on the FABRIC Testbed

연산 재현성은 과학 연구의 핵심임에도 불구하고 여전히 달성하기 어렵습니다. 본 논문에서는 국제 FABRIC 테스트베드를 LoomAI를 통한 대규모 언어 모델(LLM) 코딩 에이전트(agent)와 결합하여 여러 도메인에 걸쳐 발표된 실험의 재현을 어떻게 단순화할 수 있는지 보여줍니다. 저자들은 FABRIC 상에서 BBR 계열 혼잡 제어 평가, CPU 전용 MPI 클러스터에서의 LAMMPS 분자 동역학 스케일링(scaling) 벤치마크, 스트레스 단백질 항상성 유전체학 파이프라인을 다루는 세 가지 사례 연구를 재현했습니다. 단순히 수치적 출력을 일치시키는 데만 집중하기보다는, 재현된 실험이 원본 연구와 동일한 과학적 결론을 뒷받침하는지 여부를 평가합니다. AI 어시스턴트는 환경(environment) 구축, 코드 수정, 디버깅에 효과적이었으나, 명확히 정의된 워크플로가 부족한 분석 단계에서는 어려움을 겪었으며 실행 순서와 데이터 의존성을 확립하기 위해 인간의 안내가 필요했습니다. 이러한 사례 연구 전반에 걸쳐 AI 지원 워크플로는 재현에 드는 노력을 약 4~6배 줄였습니다. 마지막으로 연구 테스트베드에서 AI 지원 재현성을 개선하기 위한 실질적인 권장 사항을 제시하며 마무리합니다.

arXiv:2607.09691v1cs.LG

코딩 에이전트가 실제로 행동하기 위해 필요한 컨텍스트는 무엇인가

What Context Does a Coding Agent Actually Need to Act?

현대적인 코딩 에이전트는 컨텍스트 윈도우에 전체 저장소를 담을 수 있다. 그 대부분의 읽기는 낭비되며, 흥미로운 질문은 에이전트가 얼마나 많은 컨텍스트를 활용할 수 있는가가 아니라 실제로 무엇이 필요한가이다. 우리는 가장 중요한 순간, 즉 에이전트가 코드를 편집해야 할 때 그 질문을 연구한다. 작업 위치를 찾는 것과 실제로 행동하는 것을 분리하여, 오라클로 로컬라이제이션을 고정하고 코드 표현 방식만 변화시키며, SWE-bench Verified에서의 실제 이슈 해결을 기준으로 컨텍스트를 평가한다. 그 답은 극히 최소적이다. 신호는 편집 중인 코드 자체에 있다: 자연어 요약은 소스 코드가 답하는 행동적 질문의 거의 어느 것도 답하지 못하며(4/45 대 27/45, 보류된 저장소, 독립 판정), 이 격차는 요약기가 아닌 표현 방식에서 비롯된다 -- 최첨단 모델의 요약도 30억 파라미터 모델의 요약과 정확히 동일하게 낮은 점수를 기록한다. 주변 컨텍스트도 거의 중요하지 않다: Verified의 모든 멀티 파일 인스턴스에서, 어떠한 데이터도 보기 전에 고정된 프로토콜 하에, 파일의 나머지 부분을 UML 스켈레톤과 시그니처로 렌더링하는 것은 해당 나머지를 완전히 삭제하는 것보다 더 많은 이슈를 해결하지 못했다($N{=}70$, 정확한 McNemar $p{=}0.75$). 이것이 우리의 사전 등록된 가설이었으며, 기각되었다. 한편 압축된 컨텍스트는 토큰의 3분의 1로 전체 파일에 필적하는 성능을 보인다: 해결된 이슈당 컨텍스트 토큰 비용은 94K가 아닌 19K이다. 또한 이 도구는 해당 분야가 주목해야 할 발견을 산출했다: temperature-0 API 추론은 바이트 단위로 동일한 실행 간에 인스턴스별 결과의 약 9%를 반전시킨다. 이는 우리의 것을 포함하여 이 벤치마크에서 보고된 모든 소규모 효과 아래의 노이즈 플로어에 해당한다. 우리는 이 도구를 공개한다 -- 골드 검증 환경, 모든 참조 편집이 각 조건의 컨텍스트로부터 표현 가능함에 대한 인스턴스별 증명, 결정론적 패치 구성, 그리고 귀무 가설을 함께 공개하는 사전 등록된 가설들.

arXiv:2607.09510v1cs.SE

과정으로서의 실패: CLI 코딩 에이전트 궤적 해부

Failure as a Process: An Anatomy of CLI Coding Agent Trajectories

대규모 언어 모델(LLM) 코딩 에이전트는 터미널 기반 환경에서 소프트웨어 엔지니어링 작업을 자율적으로 수행하기 위해 점점 더 광범위하게 배포되고 있으며, 이에 따라 신뢰성에 대한 우려도 커지고 있다. 기존 실증 연구들은 코딩 에이전트가 실패하는 이유를 조사하지만, 대부분 실패를 시간적 과정이 아닌 최종 결과로 다루어 실패가 어떻게 발생하고, 전개되며, 회복 불가능한 상태에 이르는지에 대한 통찰이 제한적이다. 우리는 CLI 코딩 에이전트 실패 궤적에 관한 최초의 대규모 실증 연구를 제시하며, 실행 궤적 전반에 걸쳐 실패의 발생, 전개, 회복을 분석하는 과정 지향적 프레임워크를 도입한다. 먼저 Terminal-Bench에서 세 가지 코딩 에이전트 스캐폴드(OpenHands, MiniSWE, Terminus2)에 걸쳐 일곱 개의 프론티어 모델이 생성한 3,843개의 실행 궤적을 수집한 후, 이를 신중하게 필터링하여 수작업 주석을 위한 1,794개의 완전하고 유효한 궤적(63,000개 이상의 실행 단계)을 확보하였으며, 이로부터 실패 발생, 근본 원인, 회복, 시스템 간 일관성에 걸친 14가지 발견을 도출하였다. 우리의 발견에 따르면 코딩 에이전트의 실패는 주로 인식론적 오류에 의해 유발되고, 일반적으로 처음 몇 번의 실행 단계 내에 시작되며, 회복이 더 이상 불가능해질 때까지 은폐된 채로 남아 있는 경우가 많다. 이는 코딩 에이전트의 신뢰성 향상이 최종 결과 평가에만 의존하기보다 더 이른 검증과 개입을 필요로 함을 시사한다.

arXiv:2607.01415v1cs.LG

The Rollout Infrastructure Tax in Coding-Agent Reinforcement Learning

코딩 에이전트 강화학습에서 실행 인프라가 훈련 효율에 미치는 오버헤드, 즉 "롤아웃 인프라 세금(rollout infrastructure tax)"을 정량화하기 위해 단일 컨테이너, 호스팅 샌드박스, Kubernetes 컨테이너, 클라우드 VM 등 네 가지 실행 기판을 비교 분석했다. 콜드 스타트 지연 시간이 최대 110배 차이를 보였으며, 100만 개의 150-스텝 궤적 기준으로 기판 선택에 따라 롤아웃 워커 시간이 최대 1.8배(약 5,316 워커-시간) 차이가 발생해, 실행 기판을 단순 배포 인프라가 아닌 훈련 시스템의 핵심 구성 요소로 최적화해야 한다고 주장한다.

arXiv:2602.11103v2cs.AI

GameDevBench: Evaluating Agentic Capabilities Through Game Development

Despite rapid progress on coding agents, progress on their multimodal counterparts has lagged behind. A key challenge is the scarcity of evaluation testbeds that combine the complexity of software development with the need for deep multimodal understanding. In game development, agents must navigate large, dense codebases while manipulating intrinsically multimodal assets such as shaders, sprites, and animations within a visual game scene. We present GameDevBench, the first benchmark for evaluating agents on game development tasks. GameDevBench consists of 333 tasks derived from web and video tutorials. Tasks require significant multimodal understanding and are complex: the average solution requires over three times the lines of code and file changes compared to prior software development benchmarks. Agents struggle with game development, with the best agent and method solving only 53.8% of tasks. We find a strong correlation between perceived task difficulty and multimodal complexity, with average success rate dropping from 51.4% on gameplay-oriented tasks to 33.0% on 2D graphics tasks. To improve multimodal capability, we introduce two simple image- and video-based feedback mechanisms for agents. Despite their simplicity, these methods consistently improve performance, increasing GPT-5.4's performance from 41.1% to 52.0% when given visual feedback.

arXiv:2606.30573v1cs.LG

SWE-INTERACT: SWE 벤치마크를 사용자 주도 장기 코딩 세션으로 재구성하기

SWE-INTERACT: Reimagining SWE Benchmarks as User-Driven Long-Horizon Coding Sessions

우리는 멀티턴(multi-turn) 대화형 사용자 주도 소프트웨어 엔지니어링 태스크에서 코딩 에이전트를 평가하기 위한 새로운 테스트베드인 SWE-Interact를 소개한다. 기존의 최신 SWE 벤치마크는 일반적으로 완전한 요구사항을 사전에 제공하고 자율적 구현에 대해 에이전트를 평가한다. 이와 달리, SWE-Interact는 에이전트를 실제적인 개발자 워크플로우에 배치한다. 세심하게 설계된 사용자 시뮬레이터는 모호하거나 불완전한 지시에서 시작하여, 요구사항을 점진적으로 공개하고, 에이전트의 작업 공간을 검토하며, 전체 태스크 목표가 완전히 전달될 때까지 구체적인 피드백, 수정 사항, 새로운 제약 조건을 제공한다. 실제 코딩 에이전트 상호작용에 대한 대규모 연구에 기반한 이 설정은 에이전트가 사용자 의도를 파악하고, 변화하는 요구사항에 적응하며, 자신의 이전 작업을 기반으로 발전할 수 있는지를 검증한다. 최신 모델 및 오픈 가중치(open-weight) 모델 일체를 대상으로 한 실험에서, 단일 턴(single-turn) SWE 태스크에서의 높은 성능이 멀티턴 사용자 주도 워크플로우로 안정적으로 이전되지 않음을 확인했다. 최고 성능 모델이 단일 턴 기준선(baseline) 태스크의 약 50%를 해결하는 반면, 해당하는 SWE-Interact 태스크는 25%만 해결한다. 평가에서 가장 강력한 모델인 Opus 4.8과 GPT 5.5를 포함한 모델들은 모호한 초기 지시에서도 양호한 출발을 보이고, 사용자가 모든 요구사항을 제시할 때까지 지속적으로 수행하며, 요구사항을 더 잘 통합하고 깔끔한 코드를 작성한다. 그러나 이들 모델도 여전히 과도한 에이전트 행동, 요구사항 망각, 기술적 실수로 인한 문제를 겪는다. 성능이 낮은 모델들은 모호한 상황에서 부진한 시작을 보이고, 일찍 포기하며, 지시를 잊거나 무시하고 코드를 더 많이 재작성한다. 전반적으로, SWE-Interact는 최신 모델 개발을 위한 직교적(orthogonal)이고 실세계에 가까운 역량 축, 즉 사용자가 개입된 대화형 목표 발견 및 반복적 개선을 측정한다.

arXiv:2606.09774v2cs.AI

경량 코딩 에이전트 어댑터를 활용한 과학 시뮬레이터 자동 구성

Auto-Configuring Scientific Simulators with Lightweight Coding-Agent Adapters

고급 과학 시뮬레이터를 구성하고 모델링 목표를 유효하고 실행 가능한 입력 덱(input deck)으로 변환하는 것은, 도메인 과학자에게 수 시간에서 수 일의 비용을 치르게 하는 지속적인 병목이다. 입력 덱은 실행 가능한 인터페이스이며, 시뮬레이션이 실행되려면 시뮬레이터별 어휘, 파일 간 참조, 스키마 제약, 검증 규칙이 정렬되어야 한다. 우리는 이 병목이 맞춤형 시뮬레이터 에이전트가 아니라 범용 코딩 에이전트 주변의 경량 어댑터로 실질적으로 완화될 수 있음을 보인다. 코딩 에이전트는 이미 파일 탐색, 코드 편집, 명령 실행, 출력 수정을 수행하지만, 부족한 것은 시뮬레이터의 실행 계약(executable contract)이며, 에이전트 루프를 재구축하면 하네스(harness)로 보정된 도구 사용과 자기 수정(self-correction) 행동을 버릴 위험이 있다. 우리는 검색(retrieval), 절차적 메모리(procedural memory), 에이전트 호출 가능 검증, 검증 게이트 종료(validation-gated termination)를 통해 이 계약을 제공하면서 모델과 루프는 고정한 채 두는 코딩 에이전트 어댑터인 SIGA를 제안한다. 이 계약이 작고 외부적이기 때문에 SIGA는 어댑터 자기 진화(adapter self-evolution)도 지원한다. 이전 궤적(trajectory)이 기본 에이전트를 수정하지 않고도 어댑터 내용을 다시 쓸 수 있다. 다중물리 지하 시뮬레이터인 GEOS에서 SIGA의 주요 이득은 신뢰성이다. 더 어려운 홀드아웃(hold-out) 작업에서 TreeSim을 0.720에서 0.789로 향상시키고, 빈 덱이나 유효하지 않은 덱을 방지하여 실행 간 표준편차를 약 16배 줄인다. 인간 보정(calibration)에서 SIGA는 약 5분 만에 도메인 전문가가 약 3시간에 달성한 덱 품질에 도달한다. OpenFOAM과 LAMMPS로의 전이(transfer)는 이 방법(recipe)이 이식 가능하지만 인터페이스에 따라 달라짐을 보여준다. 구조적 완전성이 병목일 때는 완료 게이트(completion gates)가 도움이 되고, 값의 정확성(value correctness)이 병목일 때는 메모리와 검색이 도움이 된다.