PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.23321v2cs.CL

Tmax: 터미널 에이전트를 위한 간단한 레시피

Tmax: A simple recipe for terminal agents

Terminal-using agents have quickly become a popular and important downstream application of language models (LMs). Despite their prevalence, relatively little academic work has examined RL-based training of these models, due to difficult benchmarks, a lack of data, and a lack of simple baseline recipes. We present TMax, an open RL recipe for terminal agents that brings small open models closer to the frontier. While simple, our recipe achieves 33% on Terminal-Bench 2.0 with only 9B parameters, outperforming much larger models from prior work. Our recipe first involves generating data using a novel taxonomy, combining difficulty control, personas, and verifier diversification, which allows us to cheaply generate large amounts of terminal environments for RL and SFT training. We then train open-weight models using RL with our data, using a simple, outcome-only recipe, with small adjustments to improve stability. Our recipe works for models from 2B to 27B and across model families, dominating the Pareto curve for open terminal-agent performance at smaller sizes. We release our data, models, and code as a strong baseline for future open academic work on terminal agents at https://github.com/hamishivi/tmax.

arXiv:2610.02710v1cs.SE

과학 분야를 위한 터미널 환경의 자기지도 스케일링

Self-Supervised Scaling of Terminal Environments for Scientific Domains

터미널 에이전트(agent)는 소프트웨어 공학을 넘어 과학 및 기타 전문 분야에 점점 더 많이 배포되고 있습니다. 학습(training) 환경을 구축하려면 실행 가능한 기준 동작과 겉으로만 그럴듯한 결과물과 의미론적 정확성을 구분하는 도메인 특화 검증기(verifier)가 필요합니다. 각 작업마다 이러한 구성 요소를 직접 작성하는 것은 반복적인 엔지니어링을 요구하며 재사용성을 제한합니다. 본 연구에서는 구조화된 입력을 출력으로 매핑하는 실행 가능한 프로그램인 기존 소프트웨어 워크플로로부터 기준 출력과 검증 대상을 얻는 자기지도(self-supervised) 프레임워크인 소프트웨어 인 더 루프 재구성(software-in-the-loop reconstruction, SWR)을 소개합니다. 각 워크플로에 대해 여러 입력 구성을 실행하고 사례를 공개 관측치와 비공개 평가로 분할합니다. 지시문, 입력 스키마, 공개된 입출력 관측치가 주어지면 에이전트는 소스 워크플로에 직접 접근하지 않고도 편집 가능한 프로그램을 구성합니다. 후보 프로그램은 비공개 구성에서 워크플로 출력을 기준으로 평가됩니다. 계층적 검증기는 도메인 특화 의미 비교, 구조적 유효성, 지름길 방지(anti-shortcut) 검사를 결합하며, 공개 피드백은 반복적인 수정을 지원합니다. 이러한 구축 방식은 각 작업마다 기준 솔루션을 직접 작성하지 않고도 추가적인 워크플로와 구성을 수용할 수 있습니다. 6개 도메인에 걸쳐 500개의 워크플로와 46개의 소프트웨어 패밀리로 SWR을 구현했습니다. 작업당 3회의 시도에 걸쳐 Qwen3.8-Max는 838개의 작업을 해결하고 1,422개의 검증된 궤적을 생성했으며, 이를 오버샘플링하여 3,000개의 재구성 전용 학습 예제를 구축했습니다. Qwen3.8-27B의 지도 미세조정(supervised fine-tuning)은 3개 시드에 걸쳐 평균 Terminal-Bench 2 성능을 47.94%에서 53.56%로 향상시켰으며, 보고된 4개의 평가 모두에서 토큰(token) 수가 일치하는 4개의 말뭉치 대조군 중 가장 높은 평균을 달성했습니다. 이러한 결과는 기존의 과학 소프트웨어가 터미널 에이전트를 위한 확장 가능하고 동작 검증된 지도 신호를 제공할 수 있음을 보여줍니다.

arXiv:2610.02405v1cs.AI

터미널 에이전트 학습이 정체될 때: 데이터 생성 및 검증의 과제 규명

When Terminal-Agent Training Stalls: Demystifying Data Generation and Verification Challenge

강화학습(RL) 학습을 위한 터미널 작업과 검증기(verifier)를 생성하기 위해 Claude Opus와 같은 프론티어 모델을 메타 에이전트로 사용하는 방식이 점차 보편화되고 있습니다. 그러나 실행 가능한 Docker 이미지와 실행 테스트 스위트가 존재하더라도 터미널 에이전트 학습을 위한 신뢰할 수 있는 엔드투엔드 파이프라인이 보장되지는 않습니다. 본 연구에서는 이러한 간극에서 착안하여 벤치마크 무효성, 하네스 취약성, 보상 정렬 불일치라는 세 가지 유형의 실패를 진단하는 메타 에이전트 파이프라인을 제시합니다. 프롬프트 재설계와 컨텍스트 확장을 통해 기준선(baseline) 해결 가능성을 5.6배 높였으나, Claude Opus가 생성한 작업에서 9B 모델은 20스텝 이내에 평균 pass@2 81.3%로 포화 상태에 도달합니다. 학습 설정을 변경하지 않고 고난도 작업을 추가하면 평균 pass@2가 20.6%로 감소하며, 이는 해결 가능성 대역(solvability band)이 모델에 따라 고유함을 보여주는 강력한 증거입니다. 이러한 결과는 메타 에이전트의 신뢰성을 확보하기 위해 해결 가능성 대역 보정, 검증기 감사, 인프라 오류 계산이 사후 진단이 아닌 일급(first-class) 평가 기준으로 요구됨을 보여줍니다.

arXiv:2607.10891v1cs.AI

SETA: 터미널 에이전트를 위한 환경 스케일링

SETA: Scaling Environments for Terminal Agents

대규모 언어 모델(LLM)은 웹 및 그래픽 사용자 인터페이스(GUI)를 포함한 다양한 인터페이스를 통해 작업을 수행하는 에이전트로 빠르게 진화하고 있다. 그 중에서도 터미널 커맨드 라인은 텍스트 기반의 범용 인터페이스로, 시스템 운영부터 데이터 과학 및 머신러닝에 이르는 광범위한 작업을 포괄한다. 그러나 터미널 에이전트 학습의 스케일링은 다양하고 일관된 작업 지시, 실행 가능한 환경, 신뢰할 수 있는 검증이 요구되는 한편, 자연스럽게 레이블된 지도 데이터가 부족하여 여전히 어려운 과제로 남아 있다. 본 연구에서는 강화학습(RL)을 위한 검증 가능한 터미널 환경을 생성하는 확장 가능한 프레임워크인 SETA를 제안한다. 이 프레임워크는 통합된 검증 메커니즘을 공유하는 두 가지 파이프라인으로 구성된다: SETA-Synth는 다양한 소스를 표준화된 RL 환경으로 변환하고, SETA-Evol은 난이도와 다양성의 적응적 제어를 통해 기존 환경을 더욱 확장한다. 이를 통해 4,500개 이상의 환경을 포함하는 현재까지 가장 규모가 큰 오픈소스 검증 가능 터미널 RL 데이터셋인 SETA-Env를 구축하여 공개한다. SETA-Env에서 Qwen3-8B를 GRPO로 학습시켜 데이터셋을 평가한 결과, Terminal-Bench 2.0에서 12%의 통과율을 달성하였으며, 이는 8B 규모의 RL 학습 모델로서 보고된 최고 성능이다. 또한 동일한 터미널 에이전트 환경에서 DeepSeek-V4-Flash에도 성능 향상이 관찰되어, Terminal-Bench 2.0의 pass@1이 40%에서 43%로, pass@5가 54%에서 58%로 향상되었다. 이러한 결과는 SETA-Env가 터미널 에이전트를 위한 고품질 학습 환경을 제공하며, 터미널 기반 에이전트 학습 연구 발전에 기여하는 귀중한 자원임을 입증한다.

arXiv:2606.28480v1cs.SE

TUA-Bench: A Benchmark for General-Purpose Terminal-Use Agents

As large language models and harness frameworks continue to advance, agents operating in terminals are increasingly capable of performing a broader range of general computer-use tasks beyond coding. However, existing benchmarks do not adequately evaluate general-purpose terminal computer-use agents (TUAs): general computer-use benchmarks primarily target graphical user interfaces (GUIs), whereas terminal-based benchmarks largely emphasize technical and programming-centric workflows historically native to the shell. We introduce TUA-Bench, a general-purpose benchmark for terminal-use agents. TUA-Bench includes 120 real-world tasks across five task families, covering routine digital activities-including document editing, email management, and live-web information seeking-as well as scientific and engineering workflows co-designed with PhD-level domain experts that require specialized software. This breadth distinguishes TUA-Bench from prior shell-focused or domain-specific benchmarks. Each task is manually designed, runs in a real terminal with a deterministic setup script, and is evaluated by an execution-based scoring protocol. We find that the strongest frontier agent, Claude Code with Claude Opus 4.8 max reasoning effort, achieves 65.8% overall performance, with substantial gaps across both tracks. By providing a broad and realistic evaluation of terminal-use capabilities, TUA-Bench aims to accelerate the transition from narrow, task-specific assistants to general-purpose agents capable of operating reliably across diverse digital environments.

arXiv:2606.22883v1cs.AI

CLI-Universe: 터미널 에이전트를 위한 검증 가능한 태스크 합성 엔진을 향하여

CLI-Universe: Towards Verifiable Task Synthesis Engine for Terminal Agents

최근 LLM 기반 터미널 에이전트가 유망한 성능을 보여주고 있지만, 고품질의 실행 가능한 학습 데이터 부족은 여전히 핵심적인 병목으로 남아 있다. 기존 합성 파이프라인은 일반적으로 표면적 아티팩트를 태스크로 변환하는 방식으로 규모를 확장하며, 이로 인해 모호한 지시문, 얕은 실행 경로, 그리고 학습 신호가 약한 불안정한 테스트가 빈번히 생성된다. 이를 극복하기 위해 우리는 터미널 에이전트 태스크를 구성하는 원칙적 합성 엔진인 CLI-Universe를 소개한다. CLI-Universe는 다차원 역량 분류 체계(도메인, 스킬 유형, 역량, 엔지니어링 기반)에 걸친 조합을 샘플링하여 후보 태스크를 생성하고, 실제 기술 자료에 대한 증거 기반 심층 리서치를 통해 각 후보를 구체화한다. 엄격한 감독 신호를 보장하기 위해, 검증된 블루프린트는 Dockerized 환경에서 인스턴스화되고, 루브릭 기반 테스트 구성, 힌트 조건부 필터링, 엄격한 실패-통과 검사를 포함하는 다단계 실행 검증 파이프라인을 거친다. 후보 생성부터 검증에 이르는 전체 파이프라인에서 후보의 약 3분의 2가 제거되며, 진정성 있고 검증 가능하며 비자명하게 도전적인 태스크만이 보존된다. 프레임워크 검증을 위해 CLI-Universe-6K라고 불리는 6,000개의 경로로 구성된 고도로 정제된 데이터셋을 구축하였다. 주목할 만하게도, CLI-Universe-6K로 Qwen3-32B를 미세조정한 결과 Terminal-Bench 2.0에서 33.4%를 달성하였다. 이는 오픈소스 데이터로 학습된 32B 이하 파라미터 모델에서 새로운 최고 성능을 기록하며, 규모가 한 자릿수 더 큰 여러 모델을 능가함으로써 구조화된 고품질 합성의 탁월한 데이터 효율성을 입증한다.