PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.23321v2cs.CL

Tmax: 터미널 에이전트를 위한 간단한 레시피

Tmax: A simple recipe for terminal agents

Terminal-using agents have quickly become a popular and important downstream application of language models (LMs). Despite their prevalence, relatively little academic work has examined RL-based training of these models, due to difficult benchmarks, a lack of data, and a lack of simple baseline recipes. We present TMax, an open RL recipe for terminal agents that brings small open models closer to the frontier. While simple, our recipe achieves 33% on Terminal-Bench 2.0 with only 9B parameters, outperforming much larger models from prior work. Our recipe first involves generating data using a novel taxonomy, combining difficulty control, personas, and verifier diversification, which allows us to cheaply generate large amounts of terminal environments for RL and SFT training. We then train open-weight models using RL with our data, using a simple, outcome-only recipe, with small adjustments to improve stability. Our recipe works for models from 2B to 27B and across model families, dominating the Pareto curve for open terminal-agent performance at smaller sizes. We release our data, models, and code as a strong baseline for future open academic work on terminal agents at https://github.com/hamishivi/tmax.

arXiv:2609.21423v5cs.AI

DENSE: 자기 정제를 위해 에이전트 궤적을 근거 기반 지름길 트리로 증류하기

DENSE: Distilling Agent Trajectories into Evidence-Grounded Shortcut Trees for Self-Refinement

온라인 에이전트(agent) 배포 환경에서는 대규모이자 행동적으로 다양한 실행 궤적(trajectory)이 축적되지만, 이에 대한 사전 정의된 주석 기준은 거의 존재하지 않습니다. 따라서 유용한 근거를 추출하려면 비용이 많이 드는 수동 주석이나 확장이 어려운 검증기(verifier) 신호가 필요하며, 이로 인해 귀중한 근거가 중복되거나 불완전하고 실패한 실행 속에 묻히게 됩니다. 이는 한 가지 질문을 제기합니다. 실행 후 보상이나 정답 레이블 없이, 궤적 자체에서 어떻게 재사용 가능한 경험을 증류(distillation)할 수 있을까요? 이러한 과제를 해결하기 위해, 저희는 궤적에서 파생된 근거를 중첩 지름길 트리(nested shortcut tree)로 구성하는 DENSE(Distilling Evidence from Nested Subtask Executions)를 소개합니다. DENSE는 중복된 시도를 통합하고, 해결된 하위 작업을 식별하며, 미해결된 요구사항과 함께 유용한 단계를 유지함으로써 노이즈가 많은 실행 흔적을 구조화되고 재사용 가능한 작업 해결 피드백으로 변환합니다. 이러한 피드백이 에이전트가 동일한 작업을 재시도하는 데 도움이 되는지 평가하기 위해, 초기 시도와 피드백 기반 재시도 간의 성공률 변화를 측정하는 REFIT을 설계했습니다. 외부 결과 감독이 없는 피드백 방법 중 DENSE는 Terminal-Bench 2.1에서 4개 에이전트 모델에 걸쳐 가장 높은 엄격 통과율(strict pass rate)을 달성했으며, 재시도 시 19.0-43.6% 더 적은 에이전트 토큰(token)을 사용하면서 초기 시도 대비 7.12-21.81%p 향상되었습니다. 또한 어려운 작업에서 DENSE는 4개 모델 모두에서 여러 차례의 피드백 반복에 걸쳐 누적 통과율 면에서 지속적으로 자기 반성(self-reflection)을 능가하여, 지속적인 에이전트 자기 개선에 대한 강력한 잠재력을 입증했습니다.

arXiv:2610.02826v1cs.AI

재귀적 자기 재작성을 통한 복합 작업을 위한 궤적 스케일링

Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite

어려운 작업에서의 성공적인 궤적(trajectory)은 모델 개선을 위한 귀중한 지도(supervision) 정보를 제공하지만, 특화된 하네스(harness)는 배포 환경에서는 사용할 수 없는 개입을 도입하기도 합니다. 본 연구에서는 단일 베이스 모델인 Qwen-3.8-27B를 사용하여 다양한 하네스 환경에서 성공적인 해결책을 탐색하고, 이를 일반 하네스 환경의 학습(training) 궤적으로 재구성하는 프레임워크인 재귀적 자기 재작성(Recursive Self-Rewrite, RSR)을 제안합니다. 플래너(planner)는 절차를 런북(runbook)으로 추출하고, 크리틱(critic)은 검증기(verifier) 및 솔루션 유출을 걸러내며 재귀적 수정을 유도하고, 실행기(executor)는 새로운 샌드박스 환경에서 적격한 런북을 따릅니다. 자체 선별한 약 3천 개의 터미널 작업 전반에서 세 가지 하네스가 공동으로 759개의 작업을 해결하여, 기록된 풀에서 가장 뛰어난 개별 하네스보다 34.3% 더 많은 작업을 해결했습니다. RSR은 지도 파인튜닝(supervised finetuning)을 위해 2,001개의 성공적인 소스 궤적을 11,094개의 재작성된 궤적으로 확장합니다. 이러한 궤적으로 학습을 진행하면 베이스 모델과 직접 궤적 SFT 모두보다 우수한 성능을 보입니다. 베이스 모델과 비교하여 pass@3은 Terminal-Bench 2에서 57.0%에서 74.2%로, Terminal-Bench 4에서 1.5%에서 9.1%로, 자체 선별한 Terminal-Bench Hard에서 39.0%에서 63.0%로, Software Terminal-Bench에서 3.0%에서 6.0%로 증가합니다. Long-Horizon Terminal-Bench에서의 과정 보상(process reward)은 0.21에서 0.29로 상승합니다. 이러한 결과는 하네스의 지원을 받은 다양한 경험이 일반 하네스 환경에서 작동하는 모델을 위한 재사용 가능한 역량으로 재구성될 수 있음을 보여줍니다.

arXiv:2609.26826v1cs.LG

무엇이 Terminal-Bench 태스크를 어렵게 만드는가? 판정된 에이전트 코퍼스에서 진정한 난이도와 가짜 난이도 분리하기

What Makes a Terminal-Bench Task Hard? Separating Genuine Hardness from Fake-Hardness on an Adjudicated Agentic Corpus

프론티어 벤치마크(frontier benchmark)에는 현재 모델들이 해결할 수 없는 태스크가 필요합니다. 그러나 어떤 모델도 해결하지 못하는 태스크라고 해서 그것이 곧바로 어려운 태스크가 되는 것은 아닙니다. 동일한 0%의 통과율이라 하더라도 실제 역량 격차에서 비롯될 수 있지만, 누락된 맥락, 오류가 있는 참조 솔루션, 인프라 장애, 혹은 우회 가능한 검증기(verifier) 때문일 수도 있습니다. 본 논문에서는 1,081개의 풀 리퀘스트(pull request), 639개의 평가 태스크, 28,801회의 시도, 그리고 기록된 에이전트 비용 105,933달러에 달하는 고정된 Terminal-Bench 3 / Frontier-Bench 0.1 프로덕션 기록을 사용하여 이 문제를 연구합니다. 우리는 전원 실패(all-fail) 태스크가 실제로 무엇을 증명하는지 질문을 던집니다. 정상적인 통과가 전혀 없는 125개 태스크를 대상으로 태스크 아티팩트, 참조 솔루션 실행, 빈 솔루션 대조군, 적대적 시도, 궤적(trajectory), 텔레메트리, 리뷰 기록을 결합하고 순차적 유효성 검사를 적용합니다. 그 결과 125개 태스크 중 단 78개만이 검증된 미해결(certified-unsolved) 후보로 남습니다. 나머지 태스크에는 오라클(oracle) 오류가 있는 14개, 인프라 장애가 지배적인 8개, 검증기 우회를 통해서만 통과 가능한 4개, 그리고 확보된 증거로는 해결 가능성이 입증되지 않는 21개가 포함됩니다. 따라서 성능 미포화(lack of saturation)와 진정한 난이도는 동일한 것이 아닙니다. 또한 '검증된 미해결'이라는 라벨의 범위는 좁습니다. 즉, 작성된 경로가 통과되었고, 인프라 장애가 주원인이 아니었으며, 명백한 우회가 관찰되지 않았고, 평가된 모든 에이전트가 실패했음을 의미할 뿐입니다. 이것이 본질적인 난이도, 검증기의 완전성, 또는 의도된 역량에서의 실패를 증명하지는 않습니다. 나아가 우리는 반려된 제출물과 통과 태스크를 분석하여 통과율만으로는 태스크가 왜 어려운지 설명할 수 없음을 보여줍니다. 종합적으로, 본 연구 결과는 프론티어 벤치마크가 전원 실패 태스크를 역량 주장의 근거로 사용하기 전에 그 배후에 있는 증거를 먼저 보고해야 함을 시사합니다.

arXiv:2607.14004v1cs.AI

에이전트 옵티마이저는 누적되는가? Terminal-Bench 2.0에서의 지속 학습 평가

Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0

에이전트 최적화 방법에서 보고되는 대부분의 성능 향상은 일회성이다. 에이전트가 고정된 벤치마크에 대해 최적화되고, 그로 인한 개선이 해당 방법의 안정적인 특성인 것처럼 보고된다. 이는 실제 배포된 에이전트에 중요한 상황을 검증하지 못한다. 배포 환경에서는 새로운 실패와 새로운 태스크가 시간이 지남에 따라 등장할 때 최적화가 재귀적으로 적용되기 때문이다. 이로 인해 제기되는 핵심 질문은 옵티마이저가 이끈 성능 향상이 누적되는지 여부이다. 에이전트가 한 번 최적화된 후, 새로 도착한 태스크에 대해 다시 최적화할 수 있는가, 그리고 그 과정에서 1차 최적화가 만든 이득을 침식하지 않는가? 우리는 Terminal-Bench 2.0의 어려운 태스크로 구성한 2단계 지속 학습 평가를 통해 이 질문을 연구하며, 동일한 최적화 예산 하에서 세 가지 에이전트 하네스 최적화 접근법(GEPA, Meta Harness, RELAI의 Verifiable Continual Learning, RELAI-VCL)을 비교한다. 세 방법 모두 기존의 정적·단일 단계 설정에서 기준선 에이전트보다 개선된다. 그러나 새로운 태스크가 도입되면 방법들은 크게 갈라진다. GEPA로 최적화된 에이전트는 최적화되지 않은 기준선보다 낮은 전이 성능을 보이고, Meta Harness는 잘 전이되지만 두 번째 최적화 예산이 주어져도 추가 개선에 실패하며, RELAI-VCL만이 보지 못한 태스크에 긍정적으로 전이하면서 해당 태스크들이 최적화 목표에 편입된 후에도 계속 개선된다. 모든 평가 단계에서 최고 통과율과 전체 수명 평균 통과율(76.4% 대 GEPA 66.0%, Meta Harness 64.6%, 기준선 58.7%)을 달성한다. 우리의 핵심 관찰은, 최적화 이득은 최적화 루프에 회귀 제어가 내재되어 일반화에 실패하는 지름길 해법에 대한 귀납적 바이어스를 제공할 때에만 누적된다는 것이었다.

arXiv:2606.22883v1cs.AI

CLI-Universe: 터미널 에이전트를 위한 검증 가능한 태스크 합성 엔진을 향하여

CLI-Universe: Towards Verifiable Task Synthesis Engine for Terminal Agents

최근 LLM 기반 터미널 에이전트가 유망한 성능을 보여주고 있지만, 고품질의 실행 가능한 학습 데이터 부족은 여전히 핵심적인 병목으로 남아 있다. 기존 합성 파이프라인은 일반적으로 표면적 아티팩트를 태스크로 변환하는 방식으로 규모를 확장하며, 이로 인해 모호한 지시문, 얕은 실행 경로, 그리고 학습 신호가 약한 불안정한 테스트가 빈번히 생성된다. 이를 극복하기 위해 우리는 터미널 에이전트 태스크를 구성하는 원칙적 합성 엔진인 CLI-Universe를 소개한다. CLI-Universe는 다차원 역량 분류 체계(도메인, 스킬 유형, 역량, 엔지니어링 기반)에 걸친 조합을 샘플링하여 후보 태스크를 생성하고, 실제 기술 자료에 대한 증거 기반 심층 리서치를 통해 각 후보를 구체화한다. 엄격한 감독 신호를 보장하기 위해, 검증된 블루프린트는 Dockerized 환경에서 인스턴스화되고, 루브릭 기반 테스트 구성, 힌트 조건부 필터링, 엄격한 실패-통과 검사를 포함하는 다단계 실행 검증 파이프라인을 거친다. 후보 생성부터 검증에 이르는 전체 파이프라인에서 후보의 약 3분의 2가 제거되며, 진정성 있고 검증 가능하며 비자명하게 도전적인 태스크만이 보존된다. 프레임워크 검증을 위해 CLI-Universe-6K라고 불리는 6,000개의 경로로 구성된 고도로 정제된 데이터셋을 구축하였다. 주목할 만하게도, CLI-Universe-6K로 Qwen3-32B를 미세조정한 결과 Terminal-Bench 2.0에서 33.4%를 달성하였다. 이는 오픈소스 데이터로 학습된 32B 이하 파라미터 모델에서 새로운 최고 성능을 기록하며, 규모가 한 자릿수 더 큰 여러 모델을 능가함으로써 구조화된 고품질 합성의 탁월한 데이터 효율성을 입증한다.