PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.33987v2cs.CL

Opera: 장기 코딩 에이전트를 위한 언어적 비평가 프레임워크

Opera: A Verbal Critic Framework for Long-horizon Coding Agents

장기(long-horizon) 코딩 에이전트는 시의적절한 교정이 필요하지만, 피드백이 진행 중인 작업을 잘못 판단하거나 근본적인 문제를 해결하지 못할 경우 비효과적이거나 심지어 해로울 수 있습니다. 기존의 비평가(critic)들은 궤적(trajectory)을 평가하고 피드백을 생성하는 데 초점을 맞추지만, 피드백이 전달된 이후 어떤 일이 일어나는지는 거의 추적하지 않습니다. 본 논문에서는 각 교정을 지속적인 메모로 취급하여 진단된 문제가 해결될 때까지 추적하는 언어적 비평가 프레임워크인 Opera를 제시합니다. Opera는 주기적 및 이벤트 기반 트리거를 통해 검토 시점을 결정하고, 타입화된 연산자(typed operator)로 문제를 진단하며, 전달 전에 가시적인 근거를 바탕으로 피드백을 검증하고, 에이전트의 후속 행동을 추적하여 단순한 순응과 실제 해결을 구분합니다. 테스트 시점 비평가(test-time critic)로서 Opera는 4개의 정책 모델 전반에 걸쳐 Terminal-Bench 2.1, SWE-Bench Pro 하위 집합, DeepSWE v1.1에서 비-비평가 에이전트의 해결률을 각각 최대 12.4%p, 15.0%p, 8.9%p 향상시키며, 세 벤치마크 모두에서 경쟁력 있는 비평가 베이스라인 중 가장 높은 평균 해결률을 달성하고, 정책이 스스로를 비평할 때도 정책 모델을 개선합니다. 추론을 넘어, Opera 기반 롤아웃은 대략적인 온-정책(on-policy) 학습 데이터를 제공합니다. 이를 통해 Qwen3.5-9B를 미세조정(fine-tuning)하면 추론 시 비평가 없이도 미평가(held-out) SWE-Bench Pro 리포지토리에서 해결률이 10.2%p 향상되어 더 강력한 모델의 롤아웃으로 미세조정한 것과 동등한 성과를 내는 동시에, 하네스(harness)를 전환할 때(즉, Openhands에서 Terminus-2로 전환 시 후자의 경우 성능이 크게 저하됨)에도 성능을 유지합니다. 저희 코드는 https://github.com/dongyuanjushi/Opera 에서 확인할 수 있습니다.

arXiv:2610.02563v1cs.LG

OpenGameEval: 상태 유지형 게임 엔진에서의 에이전틱 프로그래밍 및 탐험 벤치마킹

OpenGameEval: Benchmarking Agentic Programming and Exploration in a Stateful Game Engine

우리는 Roblox Studio 내에서 에이전틱(agentic) 게임 개발을 위한 벤치마크 및 평가 프레임워크인 OpenGameEval을 제시한다. 이 프레임워크는 언어 모델을 재현 가능하고 상태를 유지하는 게임 엔진 세션 내에서 에이전트로 실행하며, 편집된 장면(scene)과 시뮬레이션된 플레이 세션 양쪽에 대해 실행 가능한 검사(executable checks)를 통해 각 실행을 평가한다. 대부분의 에이전틱 코딩 벤치마크는 탐험을 요구하지만 최종 과제 성공 여부만을 평가한다. OpenGameEval은 8개의 도구로 구성된 행동 공간(action space)에서 관찰 도구와 편집 도구를 분리하여, 탐험을 직접 측정할 수 있도록 한다. 우리는 16회의 시도로 구성된, 사람이 직접 선별한 84개의 핵심 과제에 대해 13개의 최신(frontier) 모델의 통과율과 탐험 행동을 측정한다. 이 과제들은 현재 모델들에게 어려운 것으로 나타난다. 최고 성능 모델은 한 번의 시도로 과제의 51.7%를 해결하고, 다섯 번 모두 성공하는 비율은 39.4%이며, 테스트된 모델 중 6개 과제를 해결한 모델은 없었다. 최신 모델들은 서로 다른 과제를 해결함으로써 비슷한 통과율에 도달한다. 과제를 요구되는 작업 종류별로 나누어 보면, 스크립트 작성(script-authoring) 과제에서는 상위 5개 모델 간 격차가 5.0퍼센트포인트(pp)로 벌어지고, 장면 변경(scene-change) 과제에서는 12.5퍼센트포인트로 벌어진다. 탐험 행동은 실행의 성공 여부를 예측한다. 과제와 모델을 고정했을 때, 참조 솔루션이 다루는 모든 객체를 행동에 앞서 검사하는 실행은, 장면 전용(scene-only) 과제에서는 그중 아무것도 검사하지 않은 실행보다 13.4퍼센트포인트 더 높은 비율로 성공하며, 스크립트 전용(script-only) 과제에서는 9.8퍼센트포인트 더 높은 비율로 성공한다. 우리는 과제 모음(task suite)과 해당 place 파일, 과제별 주석(annotation), Roblox Studio 내에서 과제를 실행하는 플러그인, 그리고 업데이트된 리더보드를 MIT 라이선스로 https://github.com/Roblox/open-game-eval 에 공개한다.

arXiv:2605.28258v2cs.SE

지속적 게임 생성을 위한 GUI 에이전트

GUI Agents for Continual Game Generation

게임을 생성하는 것은 실제로 플레이 가능한 게임을 만드는 것과 같지 않습니다. 기존의 코드 생성 접근 방식은 종종 프롬프트(prompt)를 결과물로 직접 변환하므로 상호작용 수준의 결함을 감지하지 못합니다. 본 논문에서는 게임 생성에 플레이어가 필요하다고 주장하며, 그래픽 사용자 인터페이스(GUI) 에이전트(agent)의 두 가지 역할을 연구합니다. 첫째, 8개 장르에 걸친 200개의 브라우저 기반 게임 생성 작업과 각 작업에 매핑된 플레이 중 예상 동작 루브릭을 포함하는 평가 환경(environment)인 PlaytestArena를 소개합니다. 독립적인 GUI 심사위원은 각 빌드를 로드하고 플레이하여 이러한 루브릭을 판정합니다. 둘째, 게임 에이전트와 루브릭을 알지 못하는(rubric-blind) GUI 플레이테스터가 공유 메모리를 통해 반복적으로 게임을 생성, 플레이, 개선하는 Play2Code를 제안합니다. 플레이테스터는 게임플레이 트레이스와 실행 가능한 피드백을 제공하고, 별도의 GPT-5.5 심사위원이 최종 벤치마크 점수를 부여합니다. 3개의 프론티어 백본 전반에서 Play2Code는 66.8%의 루브릭 통과율을 달성하여 단일 패스(single-pass) 및 에이전트 기반 코딩 기준선(baseline)을 각각 37.1점과 14.6점 능가했습니다. 또한 점수는 개선 라운드를 거치며 단조롭게 향상됩니다. 추가 분석에 따르면 GUI 에이전트 피드백은 완전히 기록되고 추적 가능한 반면, 피드백의 우선순위는 모델(model) 백본에 따라 크게 달라집니다. 이러한 결과는 GUI 플레이테스트가 대화형 코드 생성을 위한 평가 및 개선 신호로 확립될 수 있음을 보여줍니다. 프로젝트 웹사이트는 https://continual-game-generation.vercel.app/ 에서 확인할 수 있습니다.

arXiv:2610.01863v1cs.CV

LiteReality-Agent: 상호작용 가능한 3D 실내 장면 복원을 위한 에이전틱 시스템

LiteReality-Agent: An Agentic System for Interactable 3D Indoor Scene Reconstruction

본 논문에서는 RGB-D 스캔으로부터 실제 실내 환경을 사실적이고 관절 구조를 갖추며(articulated) 시뮬레이션 가능한 3D 장면으로 복원하는 에이전틱(agentic) 시스템인 LiteReality-Agent를 제안한다. LiteReality-Agent는 근본적으로 3D 복원을 코딩 문제로 정식화하며, 여기서 코딩 에이전트(agent)는 특화된 도구를 사용해 근거를 수집하고 실행 시 방의 3D 디지털 트윈을 생성할 수 있는 파이썬(Python) 스크립트인 Room.py를 반복적으로 수정한다. 이러한 정식화를 바탕으로, 복원 과정 전반에 걸쳐 근거 수집, 측정, 검증, 레이아웃 최적화, 시뮬레이션 준비성 및 품질 제어를 지원하는 견고한 관찰-수정-검증(observe-edit-verify) 하네스를 개발한다. LiteReality-Agent는 시뮬레이션 및 다운스트림 체화된 AI(embodied AI) 작업에 적합한 고품질 복원 결과를 생성한다. 나아가 에이전트의 역량이 빠르게 지속적으로 향상됨에 따라, LiteReality-Agent가 도입한 시스템은 향후 에이전트를 위한 강력한 오케스트레이션 프레임워크로 기능한다. 즉, 복원 품질과 신뢰성을 크게 향상시키는 특화된 도구, 구조화된 워크플로, 견고한 검증 메커니즘을 에이전트에 제공한다. 우리는 LiteReality-Agent가 Astra 및 Fable과 같은 최근 프론티어 모델들이 생성한 결과보다 기하학적으로 더 정확하고, 시각적으로 더 사실적이며, 시뮬레이션과 더 잘 호환되는 복원 결과를 생성함을 입증한다. 따라서 우리는 LiteReality-Agent를 견고한 real-to-sim 시스템을 위한 실용적이고 중요한 기반 요소로 본다. 소스 코드와 데이터 캡처 애플리케이션은 모두 공개되어 있다. 코드: https://github.com/LiteReality/LiteReality-Agent/

arXiv:2607.09902v1cs.SE

격렬한 기쁨은 격렬한 결말을 맞는가? 에이전틱 코드의 병합 후 운명 측정

Do These Violent Delights Have Violent Ends? Measuring the Post-Merge Fate of Agentic Code

에이전틱 코딩 도구는 실제 프로젝트에 대한 자율적인 저장소 수준의 변경을 수행하는 데 점점 더 많이 활용되고 있다. 선행 연구는 풀 리퀘스트(pull request) 수락 및 검토 노력과 같은 결과를 통해 이러한 기여를 주로 병합 전 단계에서 평가해 왔다. 그러나 에이전틱 코드가 병합 후 어떻게 되는지에 대해서는 알려진 바가 훨씬 적다. 병합 성공 여부만으로는 해당 기여가 안정적으로 유지될지, 아니면 하위 과정에서 버그 수정이나 기타 수정 유지보수가 필요할지를 알 수 없다. 우리는 182개의 저장소에서 에이전틱 기여와 인간 기여에 대한 종단적 실증 분석을 수행하여, 시간에 따른 병합 후 운명을 추적하고, 후속 수정의 의도를 분석하며, 이들이 도입하는 결함과 취약점을 조사했다. 전체 유지보수 비율은 유사하지만, 에이전틱 기여는 수정 유지보수 비율이 유의하게 높고 보안 취약점 및 의존성 취약점을 더 많이 도입하는 것으로 나타났다. 또한 에이전틱 유지보수 부담이 저장소 특성과 통계적으로 유의하게 연관된다는 증거를 발견했다. 특히, 프로젝트의 무검토 비율(no-review rate)이 10퍼센트포인트 증가할 때마다 평균적으로 에이전틱 유지보수 부담이 약 6% 증가하는 것과 관련된다. 코딩 에이전트가 소프트웨어 개발에 널리 보급됨에 따라, 우리의 연구 결과는 에이전틱 도구를 단순히 병합 가능한 변경사항을 생성하는 데 그치지 않고, 안전하고 유지보수 가능한 기여를 생성하도록 평가하고 설계해야 할 필요성을 강조한다.

arXiv:2512.23236v4cs.LG

KernelEvolve: Meta의 이기종 AI 가속기를 위한 에이전틱 커널 코딩 스케일링

KernelEvolve: Scaling Agentic Kernel Coding for Heterogeneous AI Accelerators at Meta

심층 학습 추천 모델(DLRM) 학습 및 추론의 고속화와 효율화는 매우 중요하다. 그러나 이를 위해서는 세 가지 핵심 시스템 과제, 즉 모델 아키텍처 다양성, 커널 프리미티브 다양성, 하드웨어 세대 및 아키텍처 이기종성을 해결해야 한다. 본 논문은 DLRM의 대규모 이기종성 문제를 해결하기 위한 에이전틱(agentic) 커널 코딩 프레임워크인 KernelEvolve를 제시한다. KernelEvolve는 커널 명세를 입력으로 받아 이기종 하드웨어 아키텍처 전반에 걸친 추천 모델의 커널 생성 및 최적화 과정을 자동화하도록 설계되었다. 이를 위해 KernelEvolve는 Triton과 CuTe DSL부터 저수준 하드웨어 독립 언어에 이르기까지 다양한 프로그래밍 추상화 계층에서 동작하며, 전체 하드웨어-소프트웨어 최적화 스택을 아우른다. 커널 최적화 과정은 선택 정책, 범용 연산자, 적합도 함수, 종료 규칙을 갖춘 그래프 기반 탐색으로 기술되며, 검색-증강 프롬프트 합성(retrieval-augmented prompt synthesis)을 통해 런타임 실행 컨텍스트에 동적으로 적응한다. KernelEvolve는 여러 세대의 NVIDIA 및 AMD GPU와 Meta의 AI 가속기에 걸쳐 다양한 프로덕션 추천 모델을 최적화하도록 설계, 구현 및 배포되었다. 공개된 KernelBench 벤치마크에서의 검증 결과, 세 가지 난이도에 걸친 250개 문제 전체에서 100% 통과율을 달성하였으며, 세 가지 이기종 하드웨어 플랫폼에서 160개의 PyTorch ATen 연산자에 대해 100% 정확도를 입증하였다. KernelEvolve는 개발 기간을 수 주에서 수 시간으로 단축하고, 다양한 프로덕션 사용 사례 및 대규모 이기종 AI 시스템에서 PyTorch 기준 대비 상당한 성능 향상을 달성한다. 성능 효율성 개선을 넘어, KernelEvolve는 자체 개발 AI 하드웨어에 대한 커널 자동 생성을 가능하게 함으로써 새로운 AI 하드웨어의 프로그래밍 장벽을 크게 낮춘다.

arXiv:2607.05471v1cs.SE

KAT-Coder-V2.5 기술 보고서

KAT-Coder-V2.5 Technical Report

KAT-Coder-V2.5는 실제 실행 가능한 리포지토리 내에서 자율적으로 동작하는 코딩 에이전트 모델로, 재현 가능한 환경 구축(AutoBuilder), 프로세스 인식 궤적 필터링, 대규모 도구 사용 궤적 합성(KwaiClawEnv), 비대칭 PPO 기반 강화학습, 멀티-티처 온-정책 지식 증류를 결합한 엔드투엔드 사후학습 프레임워크를 제시한다. 6개의 소프트웨어 엔지니어링 및 에이전트 벤치마크 평가에서 PinchBench 에이전트 도구 사용 부문 1위, 리포지토리 수준 소프트웨어 엔지니어링에서 Opus 4.8에 이어 2위를 달성했다.