Command-Line Interface (CLI) agents based on large language models (LLMs) demonstrate remarkable autonomous capabilities, but they also introduce significant safety and misuse risks during multi-turn interactions with external environments. Existing safety mechanisms mainly rely on external guardrails, which have a limited ability to perform fine-grained behavioral control during execution. Meanwhile, recent mechanistic interpretability methods for LLM safety are mostly confined to single-turn or jailbreak-style QA settings, limiting their ability to capture the evolving risk dynamics of multi-turn agent execution. In this paper, we investigate the safety of multi-turn CLI agents from an internal perspective. We propose Agent MechSuits (Mechanistic Subspace Intervention and Steering), a white-box defense framework that performs runtime safety detection and representation-level mitigation for CLI agents. Unlike conventional agent guardrails, Agent MechSuits detects harmful execution states from step-level hidden representations and mitigates unsafe behavior by intervening in a 10-dimensional subspace within a single layer. To support this research, we introduce the Mechanistic Agent Safety (MAS) benchmark, comprising comprehensively annotated multi-turn execution trajectories across 194 tasks using LLaMA-3.1-8B, Qwen-2.5-7B, and Gemma-2-9B. Extensive experiments show that Agent MechSuits achieves strong safety detection performance, provides preliminary evidence for lookahead risk anticipation, and substantially reduces harmful actions of the CLI agent, establishing a foundation for applying mechanistic interpretability to dynamic LLM agent safety.
계획을 수립하고 도구를 호출하며 환경과 상호작용하는 다중 턴(multi-turn) 에이전트(agent)는 복잡한 작업을 해결하기 위한 유망한 패러다임을 제공하지만, 이들의 역량은 일반적으로 실제 사용 시 추론(inference) 비용 부담이 매우 큰 대규모 모델에 의존합니다. 온-정책 증류(On-Policy Distillation, OPD)는 이러한 역량을 더 작은 학생 모델로 이전하기 위한 자연스러운 방법이지만, 본 연구에서는 이 설정에서 전형적인 실패 모드가 발생함을 발견했습니다. 즉, 작은 학생 모델의 오류가 여러 턴에 걸쳐 누적되면서 궤적(trajectory)이 교사 모델에 익숙한 상태 분포를 벗어나게 되고, 그 결과 학생 모델이 가장 필요로 하는 바로 그 지점에서 교사 모델의 지도(supervision)가 가장 신뢰할 수 없게 됩니다. 우리는 각 롤아웃(rollout) 내에서 교사 모델과 학생 모델이 생성한 턴을 혼합하고 교사 모델의 개입 확률을 0으로 감소하는 커리큘럼에 따라 조절하는 단순하면서도 효과적인 알고리즘인 지도형 온-정책 증류(Guided On-Policy Distillation, Guided-OPD)를 제안합니다. 초기에는 강력한 지도를 통해 궤적을 교사 모델의 분포에 가깝게 유지한 다음, 점진적으로 지도를 거두어 추론 시 사용되는 순수 온-정책 환경을 회복합니다. ALFWorld, ScienceWorld, WebShop에서 Qwen3-30B-A3B 교사 모델로부터 Qwen3 학생 모델들을 증류한 결과, Guided-OPD는 바닐라 OPD 대비 점수(Score)에서 평균 21.1%, 성공률(Success Rate)에서 25.5%의 상대적 향상을 달성했으며, 더 작은 학생 모델일수록 더 큰 향상을 보였습니다.
다중 턴 사용자 대면 에이전트(agent)는 불완전한 요청으로부터 사용자의 의도를 추론하고, 대화와 도구를 통해 누락된 정보를 수집하며, 유효한 작업을 실행해야 합니다. 학습(training) 궤적은 이러한 과정을 사용자 메시지, 에이전트 응답, 도구 호출 등이 교차 배치된 시퀀스로 기록합니다. 충분히 복잡한 궤적을 합성하는 것은 에이전트를 학습시키기 위한 핵심 경로가 되었으나, 기존 파이프라인은 주로 여러 사용자 요청을 더 긴 작업으로 구성하여 난이도를 높임으로써 순차적 실행을 학습시키는 쓰기 집약적(write-intensive) 궤적을 생성합니다. 우리는 에이전트가 인자(argument)를 식별하기 전에 상당한 양의 읽기 도구 근거를 수집하고 비교해야 하는 경우, 단일 쓰기 결정 자체도 어려워질 수 있으며 이는 쓰기 집약적 데이터만으로는 해결할 수 없는 과제라고 주장합니다. 이러한 통찰을 바탕으로, 우리는 작업 내 쓰기 결정의 수와 개별 결정 각각의 근거 부담이라는 두 가지 복잡성 축을 따라 다중 턴 에이전트 학습 궤적을 합성하는 파이프라인인 WRIT(Write-Read Intensive Trajectory Synthesis)를 제안합니다. WRIT은 먼저 쓰기 집약적이면서도 읽기 부하가 큰 작업을 생성합니다. 그런 다음 현실적인 대화 변형을 반영하도록 사용자 행동 지침을 다양화하고, 마지막으로 실행 가능한 환경(environment)에서 에이전트-사용자 상호작용을 시뮬레이션하여 완전한 학습 궤적을 생성합니다. 이렇게 도출된 데이터는 에이전트가 더 긴 작업을 실행할 수 있도록 학습시킬 뿐만 아니라, 높은 정보 부하 하에서도 견고하고 근거 기반(evidence-grounded)의 의사결정을 내릴 수 있도록 학습시킵니다. 단 2,000개의 합성된 궤적만으로 WRIT으로 학습된 4B 모델(model)은 $τ^2$-bench에서 GPT-5.1 no-think를 능가하고 추론(inference) 시점의 토큰(token) 사용량을 대폭 줄여, 컴팩트한 SFT 데이터가 값비싼 테스트 시점 추론의 일부를 효율적인 에이전트 행동으로 전환할 수 있음을 보여줍니다.
다중 턴(multi-turn) 에이전트는 최종 답을 생성하기 전까지 도구 상호작용의 긴 연속 과정을 통해 복잡한 작업을 해결하므로, 사후 학습에서 크레딧 할당(credit assignment)이 근본적인 과제가 된다. 결과 보상(outcome reward)은 단기 호라이즌 추론에 대해 신뢰할 수 있는 감독을 제공하지만, 궤적이 수십 또는 수백 번의 도구 호출로 늘어나면 희소해지고 분산이 커진다. 또한 결과 보상은 오해의 소지가 있다. 실패한 롤아웃에는 목표에 에이전트를 더 가까이 이끄는 유용한 행동이 많이 포함될 수 있지만, 결과만을 사용하는 학습은 그러한 행동들에 최종 실수와 동일한 음의 advantage를 부여한다. 우리는 에이전틱 강화학습(agentic reinforcement learning)을 위한 밀집(dense) 크레딧 할당 방법인 TRACE(Turn-level Reward Assignment via Credit Estimation, 크레딧 추정을 통한 턴 단위 보상 할당)를 제안한다. TRACE는 롤아웃을 도구 호출 경계에서의 상태 전이(state transition)로 표현하고, 고정된 참조 모델(frozen reference model)로부터 정답(gold-answer) 로그 확률(log-probability)을 얻어 이를 로그 비율(log-ratio) 상태 가치(state value)로 변환하며, 해당 가치의 시간차(Temporal-Difference, TD) 변화량으로 행동별 보상을 도출한다. 이는 추가 critic이나 프로세스 레이블(process-label) 학습이 필요 없으며, 1단계(one-step) 로그 비율 TD 구성요소가 중복된 도구 호출 전체에 걸쳐 망원(telescope) 효과를 낸다. 장기 호라이즌 복합 검색에서 TRACE는 콜드스타트 지도 미세조정(cold-start supervised fine-tuning) 단계, 에이전틱 중간 학습(agentic mid-training) 단계, 또는 실시간 웹(live-web) 데이터 학습 없이 순수 강화학습(pure RL)만으로 기본 모델의 도구 사용 능력을 크게 향상시킨다. 폐쇄 웹(closed-web) BrowseComp-Plus 벤치마크에서 Qwen3-4B를 $7.2$에서 $35.6$으로, Qwen3-30B-A3B를 $8.4$에서 $42.6$으로 끌어올린다. 학습된 검색 행동은 공개 웹(open-web) 벤치마크로도 전이(transfer)되며, 학습 곡선은 강화학습 학습 중 더 빠른 초기 개선과 더 빠른 수렴을 보여준다.
멀티턴 LLM 에이전트 학습 시 희소한 결과 보상(outcome reward)의 느린 수렴 문제를 해결하기 위해, 밀집 과정 보상(dense process reward)으로 학습된 Agent B가 다양한 궤적을 탐색한 뒤 이를 결과 보상 기반으로 Agent A를 업데이트하는 보상 교환 메커니즘인 RSPO를 제안한다. WebShop과 ALFWorld 벤치마크에서 GRPO, PPO, GiGPO 등 다양한 강화학습 알고리즘에 적용한 결과, 일관된 성능 향상을 달성하였다.
소프트웨어 엔지니어링 에이전트 작업에서 모든 태스크를 고비용 프론티어 모델에 라우팅하는 비효율을 해결하기 위해, SWE-Router는 저비용 모델이 몇 턴 탐색을 수행한 후 생성된 부분 궤적(partial trajectory)을 학습된 가치 함수(value function)로 평가해 계속 진행할지 강력한 모델로 에스컬레이션할지 결정하는 시간적 라우팅 프레임워크를 제안한다. 이 방식은 프롬프트만으로 라우팅하는 기존 방법의 정보 이론적 베이즈 오류 하한을 극복함을 이론적으로 증명했으며, SWE-Bench-Verified에서 강력한 모델의 성능 대부분을 유지하면서 비용 효율을 크게 개선했다.
다중 턴 에이전트는 결과를 좌우하는 의사결정과 일상적인 실행을 교차한다. 어떤 행동은 하류의 return 분포를 바꾸지만, 다른 행동은 필요하지만 보상 측면에서 동등하다. 궤적 수준의 credit assignment 비용은 종종 긴 horizon 탓으로 돌려지지만, 실제로는 의사결정 밀도 $ρ$, 즉 return에 영향을 주는 행동이 있는 턴의 비율에 의해 좌우된다. 의사결정 밀도가 낮을 때 일상적인 턴은 신호 희석을 만든다. GRPO와 같은 궤적 수준 추정기에 기대 신호는 추가하지 않으면서 그래디언트 분산만 더한다. 명시적 가정 하에서, 턴 수준에서 궤적 수준으로의 신호 대 잡음비는 critic 오류가 통제된 상태에서 $ρ^{-1/2}$로 스케일링된다. 동일한 분석은 상보적인 영역도 밝힌다. 의사결정 밀도가 높을 때 궤적 수준 방법은 critic의 비용을 피하면서도 경쟁력을 유지할 수 있다. $ρ$를 정확히 조절할 수 있는 통제된 환경에서 예측된 스케일링이 $R^2 = 0.999$로 재현되며, $ρ\to 0$에 가까워질수록 학습 스텝 격차가 크게 벌어진다.