원문 초록
Terminal-using agents have quickly become a popular and important downstream application of language models (LMs). Despite their prevalence, relatively little academic work has examined RL-based training of these models, due to difficult benchmarks, a lack of data, and a lack of simple baseline recipes. We present TMax, an open RL recipe for terminal agents that brings small open models closer to the frontier. While simple, our recipe achieves 33% on Terminal-Bench 2.0 with only 9B parameters, outperforming much larger models from prior work. Our recipe first involves generating data using a novel taxonomy, combining difficulty control, personas, and verifier diversification, which allows us to cheaply generate large amounts of terminal environments for RL and SFT training. We then train open-weight models using RL with our data, using a simple, outcome-only recipe, with small adjustments to improve stability. Our recipe works for models from 2B to 27B and across model families, dominating the Pareto curve for open terminal-agent performance at smaller sizes. We release our data, models, and code as a strong baseline for future open academic work on terminal agents at https://github.com/hamishivi/tmax.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.23321v2제출 시각 미확인
- arXiv:2606.23321v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
틀에서 벗어난 사고: 언어 모델은 외부 지침에 선택적으로 의존할 수 있는가?
Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively?
에이전트 하네스(agent harness)는 사람이 설계한 워크플로우를 통해 언어 모델을 개선하는 경우가 많지만, 모델의 능력이 향상됨에 따라 신뢰할 수 없는 지침은 오히려 모델의 실행을 제약할 수 있습니다. 본 연구에서는 유용한 지침을 활용하는 동시에 신뢰할 수 없는 지침은 기각하는 능력을 '틀에서 벗어난 사고(thinking outside the box)'라고 부릅니다. 저자들은 모델이 지침에 대한 의존도를 어떻게 조절하는지 분리해 파악하기 위해, 모델과 작업을 고정한 채 워크플로우의 신뢰도를 다양하게 변화시키는 Box$^2$-Bench를 도입합니다. Box$^2$-Bench에서 프론티어 모델들은 신뢰할 수 있는 지침으로부터 이점을 얻는 경우가 많지만, 지침이 오도하거나 신뢰할 수 없게 될 때는 여전히 취약한 상태로 남아 있습니다. 이러한 능력을 학습할 수 있는지 검증하기 위해, 평가를 위해 우수한 워크플로우는 남겨두고 불량한 워크플로우를 사용하여 두 개의 오픈 가중치(open-weight) 모델을 학습시킵니다. 또한 두 가지 상호 보완적인 학습 전략을 탐색합니다. 반사실적 지도 미세조정(counterfactual supervised fine-tuning)은 강건성을 향상시키는 반면, 결과 기반 강화학습(outcome-based reinforcement learning)은 도움이 되는 워크플로우를 더 적극적으로 활용하도록 균형을 이동시킬 수 있습니다. 나아가 이러한 동작이 워크플로우를 넘어 다른 형태의 외부 정보로도 확장되어 동료 수정(peer correction) 능력을 향상시키고 오염된 메모리에 대한 강건성을 높임을 확인했습니다. 종합적으로, 본 연구 결과는 오류 가능성이 있는 외부 정보에 대한 선택적 의존이 작업 수행 성능만으로는 포착되지 않는 에이전트 신뢰성의 중요한 한 차원임을 밝혀냅니다.
공허한 약속: 에이전트가 이행할 수 없는 약속을 할 때
Empty Commitments: When Agents Promise What They Cannot Deliver
"내일 알려드리겠습니다"라고 말하는 챗봇은 사용자가 다시 메시지를 작성하기 전까지는 실행되지 않습니다. 우리는 이러한 약속을 공허한 약속(empty commitment)이라 부릅니다. 이는 현재 턴 이후의 행동에 대한 약속이지만, 에이전트의 도구나 런타임 환경에 이를 실행할 수 있는 수단이 전혀 없는 경우를 의미합니다. 깨진 약속과 달리 공허함은 발화 순간 에이전트의 구성(configuration)에 따라 결정되므로, 배포 전이나 런타임 시 단일 턴만으로도 감지할 수 있습니다. 본 연구에서는 약속 의미론(commitment semantics)을 기반으로 공허한 약속을 정의하고, 세 가지 실패 유형, 도구를 통해 실현될 수 있는 약속에 대한 앵커링 조건, 그리고 이러한 실패를 정직한 보류(honest deferral) 및 과도한 거부(over-refusal)와 구분하는 결과 분류 체계를 제시합니다. 우리는 400개의 인간 레이블로 검증된 체커(환경 미인지 감지기, 결정론적 실행 가능성 규칙, 응답 판정기)를 구축했습니다. 지속성 어포던스(persistence affordance)를 하나씩 추가하는 5가지 설정에 걸쳐 293개의 후속 요청으로 구성된 통제된 벤치마크에서, 8-14B 파라미터의 4개 오픈 가중치(open-weight) 모델은 도구가 존재하지 않고 아무것도 명시되지 않았을 때 응답의 45.9%에서 실패했습니다. 프론티어 모델은 4.4%의 실패율을 기록했으나, 이는 보유한 도구를 사용해서가 아니라 보류하고 되물음으로써 달성한 수치였습니다. 즉, 실행을 위한 도구 호출 없이 행해지는 약속은 모든 모델에 여전히 남아 있었습니다. 가장 저렴한 해결책인 모델에게 런타임 정보를 알려주는 방식은 아무것도 수행할 수 없는 환경에서 오픈 가중치 모델의 실패를 거의 절반으로 줄였으나, 스케줄러가 존재하는 환경에서는 아무런 변화를 주지 못했습니다. 지시적 역량 카드(directive capability card)는 과도한 거부라는 가장 큰 대가를 치르면서 대부분의 실패를 제거했으며, 루프 내에서 체커를 실행하고 플래그가 지정된 응답을 다시 작성하는 방식은 더 적은 비용으로 더 많은 실패를 제거했습니다. 코드, 프롬프트, 모델 출력 및 인간 레이블이 공개됩니다.
활성화 프로브에 필요한 합성 데이터의 양을 결정하는 것은 난이도가 아닌 커버리지다
Coverage, Not Difficulty, Sets How Much Synthetic Data an Activation Probe Needs
배포된 언어 모델을 모니터링하는 활성화 프로브(activation probe)는 합성 대화로 학습(training)되지만, 프로브에 얼마나 많은 데이터가 필요한지는 아직 명확하지 않습니다. 본 연구는 생성자 LLM과 프롬프트의 구체성을 변경해가며, 14개의 홀드아웃 평가(evaluation) 분포와 4개의 프로브 모델에서 세 가지 모니터링 개념(중대한 위험 상황, 사람에게 유해한 답변, 사용자의 지시를 따르지 않는 답변)에 대해 10~590개의 합성 샘플에 걸친 학습 곡선을 추적합니다. 필요한 데이터양은 모니터링 대상에 따라 결정됩니다. 중대한 위험 및 유해성에 대한 프로브는 Gemma-3-27B-IT에서 80개 샘플부터 정체기(plateau)의 수백 분의 1 이내에 도달하는 반면, 지시 프로브는 몇 배 더 많은 샘플을 필요로 하며, 이러한 순서는 세 개의 더 작은 프로브 모델과 (개발 세트의) 실제 샘플에서도 유지됩니다. 선행 연구에서는 생성 예산을 깊이(각 유형의 데이터 수 증대)보다 너비(더 다양한 유형의 데이터 확보)에 투자할 것을 권장합니다. 본 연구에서는 개념에 필요한 깊이를 적합 곡선의 절반-이득 크기(half-gain size, 즉 이득의 절반을 달성하는 샘플 수)로 해석합니다. 개념과 분포가 해당 분산의 42~45%를 설명하며, 생성자, 프로브 모델, 프롬프트 구체성은 10% 미만을 차지합니다. 절반-이득 크기의 값을 결정하는 것은 유형별 난이도(분포가 포화되는 데 필요한 자체 유형 샘플 수)가 아니라 커버리지(coverage)입니다. 평가 분포당 하나씩 할당된 모든 유형은 세 가지 개념 모두에서 동일하게 자체 유형 합성 샘플 기준 7~11개의 중앙값 절반-이득 크기를 보입니다. 차이를 만드는 것은 한 유형의 샘플이 해당 개념의 다른 유형으로 얼마나 잘 전이되는지 여부로, 중대한 위험에서는 거의 완전히 전이되고, 유해성에서는 덜 전이되며, 지시에서는 가장 적게 전이됩니다. 이는 생성된 샘플과 실제 샘플 전반에서 개념 간 격차의 대부분을 설명합니다. 따라서 너비에 투자하는 효과는 개념에 따라 다릅니다. 어떤 유형도 다른 유형을 포괄하지 못하는 지시에서는 여러 유형이 필수적이지만, 한 유형이 나머지를 포괄하는 중대한 위험에서는 거의 불필요합니다. 본 연구는 평가 스위트, 개발 세트 및 생성된 세트를 공개합니다.
코드 이해는 코딩 에이전트의 병목 현상이다
Code Understanding is a Bottleneck for Coding Agents
코딩 에이전트(coding agent)를 위한 저장소 벤치마크(예: SWE-bench)는 편집된 코드 라인 수가 작업 난이도를 예측할 수 있다고 가정하는 경우가 많지만, 이러한 데이터셋은 코드와 작업 유형에 대한 통제가 미흡하여 어떤 능력이 실제로 에이전트 오류를 유발하는지 파악하기 어렵게 만듭니다. 우리는 엄격한 에이전트 평가를 위한 코딩 능력 청사진인 CABRA(Coding Ability Blueprint for Rigorous Agent evaluation)를 제시합니다. CABRA는 작업을 호출 그래프(call graph) 변환 형태로 처음부터 구축하며, 함수 순회, 검색, 런타임 해석, 인스트럭션 추종의 네 가지 축에서 작업 크기 매개변수를 통해 난이도를 조절합니다. 우리는 6,840개의 CABRA 작업에서 8개의 대규모 언어 모델(LLM)과 6개의 코딩 에이전트를 실행하여 다음을 입증합니다. 1) 작업 크기가 커질수록 LLM의 정확도는 떨어지지만, 에이전트는 도구(예: grep)로 작업을 오프로딩하여 거의 완벽한 상태를 유지합니다. 2) 더 큰 CABRA 작업은 읽기 및 분석을 위한 도구 호출을 더 많이 유발하는 한편, SWE-bench Verified에 대한 별도 연구에서는 이러한 도구 호출 수가 편집된 코드 라인 수보다 에이전트의 정확도를 더 잘 예측함을 보여주며, 이는 에이전트의 작업 난이도가 단순히 편집을 수행하는 것만이 아니라 편집할 코드를 이해하는 데 있을 수 있음을 시사합니다. 3) 두 클래스에 걸쳐 분기되는 로직을 분석하는 심층적인 이해 작업으로 CABRA를 확장했을 때 에이전트 정확도가 마침내 떨어지면서 이러한 발견을 뒷받침합니다. 더 나아가, 우리는 도구에 의해 사소해진 LLM의 약점(예: needle-in-a-haystack)과 코딩 에이전트가 여전히 어려워하는 단순 편집 이상의 능력(예: 이해)을 드러내기 위해, SWE-bench 스타일의 작업과 통제된 진단을 결합하는 CABRA와 같은 합성 평가가 필요하다고 주장합니다.
AgentHorizon: 장기 컴퓨터 사용 작업을 위한 에이전틱 심사자 평가
AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks
컴퓨터 사용 에이전트(computer-use agent)는 복잡한 작업을 완료할 수 있으며, 이는 학습을 위해서든 인간의 개입 없는 평가를 위해서든 성공 여부를 판정하는 자동 심사자(judge)의 사용을 늘리고 있다. 이러한 유연성에도 불구하고, 여러 애플리케이션에 걸친 장기 작업(long task)에 대한 신뢰성은 아직 명확하지 않다. 스크린샷과 행동(action)의 긴 시퀀스로 구성된 궤적(trajectory)은 완료된 것처럼 보일 수 있지만, 실제로는 지시문(instruction)의 제약 조건을 위반하거나 의도치 않은 부작용을 일으킬 수 있다. 이러한 오류를 식별하기 위해서는 심사자가 사용자의 지시문을 기준으로 궤적을 검토해야 한다. 이를 위해 우리는 세 가지 운영체제에 걸친 166시간의 인간 기록 궤적에서 추출한 1,373개의 컴퓨터 사용 작업(지시문-궤적 쌍)으로 구성된 벤치마크인 AgentHorizon을 소개한다. 밀접하게 관련된 지시문에 대한 궤적을 기록함으로써, 우리는 지시문을 교체하여 네거티브(negative) 작업을 구성할 수 있다. 이 짝지어진(paired) 설계는 성공적인 궤적과 유사하지만 호환되지 않는 요청을 완료한 궤적을 구별하는 심사자의 능력을 평가한다. 우리는 이 벤치마크를 프런티어(frontier) 분할인 AgentHorizon(AH), 단순화된 분할인 AgentHorizon-Simple(AH-S), 개발용 분할인 AgentHorizon-Development(AH-D)의 세 가지 분할로 공개한다. 나아가 우리는 (1) 전체 궤적(최대 300개의 스크린샷과 행동 포함)을 직접 전달하는 방식과 (2) 다섯 가지 에이전트 하니스(agent harness)에 걸쳐 코딩 에이전트로 사용하는 방식으로 11개의 심사자를 평가한다. 우리의 최고 성능 에이전틱 심사자인 GPT-5.5는 AH 부분집합에서 80.9%의 균형 정확도(balanced accuracy)를 달성한다는 것을 발견했다. 또한 도구 사용(tool-use)이 특정 모델의 성능을 향상시키지만 오픈 가중치(open-weight) 모델에서는 오히려 성능을 저하시키며, 심사자들이 유효한 궤적을 수락하고 실패한 궤적을 거부하는 능력에서 큰 차이를 보인다는 것을 발견했다. 우리의 연구 결과는 긴 상호작용 기록(interaction history) 안에서 작업이 제대로 완료되었다는, 종종 숨겨져 있는 증거를 찾아내고 검증할 수 있는 심사자가 필요하다는 점을 강조한다.
터미널 에이전트 학습이 정체될 때: 데이터 생성 및 검증의 과제 규명
When Terminal-Agent Training Stalls: Demystifying Data Generation and Verification Challenge
강화학습(RL) 학습을 위한 터미널 작업과 검증기(verifier)를 생성하기 위해 Claude Opus와 같은 프론티어 모델을 메타 에이전트로 사용하는 방식이 점차 보편화되고 있습니다. 그러나 실행 가능한 Docker 이미지와 실행 테스트 스위트가 존재하더라도 터미널 에이전트 학습을 위한 신뢰할 수 있는 엔드투엔드 파이프라인이 보장되지는 않습니다. 본 연구에서는 이러한 간극에서 착안하여 벤치마크 무효성, 하네스 취약성, 보상 정렬 불일치라는 세 가지 유형의 실패를 진단하는 메타 에이전트 파이프라인을 제시합니다. 프롬프트 재설계와 컨텍스트 확장을 통해 기준선(baseline) 해결 가능성을 5.6배 높였으나, Claude Opus가 생성한 작업에서 9B 모델은 20스텝 이내에 평균 pass@2 81.3%로 포화 상태에 도달합니다. 학습 설정을 변경하지 않고 고난도 작업을 추가하면 평균 pass@2가 20.6%로 감소하며, 이는 해결 가능성 대역(solvability band)이 모델에 따라 고유함을 보여주는 강력한 증거입니다. 이러한 결과는 메타 에이전트의 신뢰성을 확보하기 위해 해결 가능성 대역 보정, 검증기 감사, 인프라 오류 계산이 사후 진단이 아닌 일급(first-class) 평가 기준으로 요구됨을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.