장기 실행 에이전트의 GHOST: 턴 전반에서 간과된 안전 제약 조건으로 인한 거버넌스 위험
A GHOST in Long-Horizon Agents: Governance Hazard from Overlooked Safety Constraints across Turns
한국어 초록
장기 실행 에이전트(long-horizon agent)는 복잡한 문제 해결에서 인간을 보조하는 데 점점 더 중요한 역할을 하고 있습니다. 그러나 이러한 확장된 상호작용 이력은 지금까지 충분히 탐구되지 않은 실행 안전성(execution-safety) 문제를 유발합니다. 정상적인 상호작용 환경에서도 에이전트는 여러 턴(turn) 이전에 명시된 안전 제약 조건을 위반하는 행동을 실행할 수 있습니다. 본 연구에서는 비가역적인 피해를 초래할 수 있는 이러한 실패 모드를 '턴 전반에서 간과된 안전 제약 조건으로 인한 거버넌스 위험(GHOST, Governance Hazard from Overlooked Safety Constraints across Turns)'이라고 명명합니다. 실험 결과 GHOST 사건은 개별적인 예외 사례가 아님을 확인했습니다. 정상적인 상호작용 조건에서도 정확히 발생하는 이 실패 모드는 GPT-5.5에서 11.5%의 발생률을 나타냈습니다. 나아가 본 논문에서는 이론적으로 각 안전한 접두 문맥(safe prefix)에 따른 잔여 조건부 위반 위험이 발산하는(non-summable) 수열로 아래로 유계되는 경우, 실행이 거의 확실하게(almost surely) 위험 영역에 진입함을 증명합니다. 이러한 이론적 통찰을 바탕으로, 과거 의미론적 안전 제약 조건 복원과 실행 전 감사를 결합한 2개 층의 방어 메커니즘인 STAR-Guard를 제안합니다. STAR-Guard는 적용 가능한 안전 제약 조건을 복원하여 안전하지 않은 제안을 줄이는 동시에, 결정론적 감사 층을 통해 잔여 위반 사항이 환경(environment)에 도달하지 못하도록 방지합니다. 이러한 2개 층 설계에 힘입어, GPT-5.5 설정에서의 실험에서 GHOST 사건이 전혀 발생하지 않음을 관찰했습니다.
원문 초록
Long-horizon agents are now playing an increasingly significant role in assisting humans with complex problem-solving. However, it is exactly their extended interaction history that introduces an underexplored execution-safety concern. Under benign interaction conditions, an agent may execute an action that violates a safety constraint specified many turns earlier. We term this failure mode Governance Hazard from Overlooked Safety Constraints across Turns (GHOST), which may cause irreversible damage. Our experiments reveal that GHOST events are not isolated cases: this failure mode, occurring precisely under benign interaction conditions, yields an occurrence rate of 11.5% on GPT-5.5. Furthermore, we theoretically show that if the residual conditional violation hazard along each safe prefix is bounded below by a non-summable sequence, the execution enters the hazard region almost surely. Leveraging this theoretical insight, we further propose STAR-Guard, a two-layer defense coupling historical semantic safety constraint restoration with pre-execution audit. STAR-Guard restores applicable safety constraints to reduce unsafe proposals, while its deterministic audit layer prevents residual violations from reaching the environment. Consistent with this two-layer design, we observe no GHOST events in our experiments under the GPT-5.5 setup.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
X-AgentRed: 진화하는 다중 서비스 생태계에서 개인용 에이전트의 레드팀 테스팅
X-AgentRed: Red-Teaming Personal Agents in Evolving Multi-Service Ecosystems
개인용 에이전트(personal agent)는 도구를 활용하여 웹과 애플리케이션 전반의 서비스와 연결되는 경우가 점점 늘어나고 있습니다. 에이전트의 행동 효과가 여러 서비스에 걸쳐 누적되고 상호작용함에 따라, 무해한 사용자 요청을 수행하는 과정에서도 의도치 않거나 유해한 결과가 발생할 수 있습니다. 이러한 복합적인 실패를 선제적으로 식별하려면 다양한 서비스 간 경로를 체계적으로 탐색해야 합니다. 기존의 레드팀 테스팅(red-teaming) 방식은 과업 및 환경 설명으로부터 잠재적으로 유해한 경로를 식별하도록 대규모 언어 모델(LLM)에 단순히 프롬프트를 제공하거나, 인간 또는 LLM이 지정한 유해 목표를 겉보기에 무해한 행동 조합으로 분해하는 방식을 주로 사용합니다. 그러나 생성 결과는 학습(training) 중에 습득한 패턴으로 편향되어 익숙한 도구 조합을 선호하고 새로운 교차 서비스 상호작용을 충분히 탐색하지 못할 가능성이 있습니다. 이를 해결하기 위해, 도구 의존성 그래프를 통해 유해한 도구 호출 경로를 발견하고 실행 피드백을 활용해 이를 확장 및 개선하는 자기 진화형 레드팀 테스팅 프레임워크인 X-AgentRed를 제안합니다. 레드팀 테스팅 에이전트는 각 도구의 효과, 잠재적 유해요소 및 실행 전제 조건을 분석하여 한 도구의 효과가 다른 도구의 실행 전제 조건을 어떻게 충족하는지 포착하는 방향성 그래프를 구축합니다. 이 그래프에서 추출된 레시피는 에이전트가 유해한 결과를 초래할 수 있는 현실적인 시나리오로 구체화됩니다. 실행 피드백은 도구 대체를 통해 유해성을 유발하는 경로를 다변화하고, 실패한 경로의 차단된 단계에서 전제 조건을 개선하여 추가 실행을 가능하게 함으로써 자기 개선을 실현합니다. 4개의 프론티어 에이전트 모델 전반에 걸쳐 X-AgentRed는 STAC 대비 1.77배의 유해 경로 발견율을 달성하고 더 다양한 도구 집합을 탐색하여 평균 2.99배의 도구 커버리지를 보였습니다.
에이전트 오류 데이터셋: 실패 분석 및 오류 인식 사후 학습을 위한 50,000개 오류-진단 쌍 확장
Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training
실패한 대규모 언어 모델(LLM) 에이전트 롤아웃(rollout)은 최종 보상(reward) 이상의 정보, 즉 에이전트가 이용할 수 있었던 관찰값, 에이전트가 선택한 행동, 그리고 환경(environment)의 반응을 담고 있습니다. 이러한 경험을 학습(training)에 재사용하려면 수정해야 할 결정을 식별하고 구체적인 대안을 검증해야 합니다. 본 연구에서는 텍스트 기반 에이전트 시스템의 33개 환경, 19개 하네스 제품군, 23개 정책 모델에 걸친 9,961개 소스 작업에서 수집된 50,228개의 오류-진단 쌍으로 구성된 에이전트 오류 데이터셋(Agent Error Dataset, AED)을 소개합니다. 우리는 원래 롤아웃을 반복하지 않고도 다양한 설정 간 실패 분석 및 재진단을 지원할 수 있도록 소스 추적 기록과 실행 메타데이터를 보존합니다. 본 논문의 5단계 에이전틱 오류-학습(Agentic Error-to-Training, AET) 파이프라인은 자연스럽게 발생한 실패를 수집하고, 진단 및 제안된 수정 사항을 생성하며, 기록된 증거를 바탕으로 이를 검증합니다. 리플레이(replay)가 지원되는 환경에서는 일치하는 실행 설정 하에 동일한 체크포인트(checkpoint)로부터 원래 행동을 재시도한 결과와 수정 사항을 비교합니다. 그런 다음 진단 및 액터 복구를 위한 별도의 학습 뷰를 구성합니다. 3,062개의 매칭된 리플레이 쌍 전반에서 첫 번째로 제안된 수정 사항은 검증기 통과율을 18.4%에서 51.1%로 높여 32.7%p의 향상을 달성했습니다. 별도로 동결된 진단 릴리스를 사용하여 1,656개 소스 작업에 대해 전체 진단 미세조정(fine-tuning)을 수행한 결과, 943개 케이스의 홀드아웃(holdout)에서 3개 시드 평균으로 Qwen3-8B의 내부 교사 라벨과의 정확한 단계 일치율이 47.2%에서 63.6%로 향상되었습니다. 이 비교에서 가장 강력한 프롬프트 기반 참조 모델은 54.7%를 기록했으며, 4단계로 증가하는 학습 세트 크기마다 평균 일치율이 향상되었습니다. 액터 학습 레시피에 대한 단일 시드 비교에서, 행동 전용 복구 학습은 WebShop-lite에서 성공 전용 학습보다 6.67%p 더 높은 점수를 기록했습니다.
자기 진화형 에이전트의 안전성: 서베이
Safety in Self-Evolving Agents: A Survey
대규모 언어 모델(LLM)은 강력한 범용 능력을 보여주지만, 배포 후에는 일반적으로 매개변수가 고정되어 있어 새로운 상호작용으로부터의 학습이 제한됩니다. 개방형 환경에서는 이러한 한계로 인해 데이터, 피드백, 축적된 경험을 바탕으로 모델 매개변수, 메모리, 도구 정의, 스킬, 워크플로 등 재사용 가능한 상태를 지속적으로 업데이트하는 자기 진화형 에이전트(self-evolving agent)가 주목받고 있습니다. 이러한 변화는 안전성(safety) 문제를 변화시킵니다. 경험이 재사용 가능한 상태가 되면 과거의 사건이 미래의 원인이 되며, 특정 맥락에서는 무해했던 정보가 이후 더 큰 지속성, 권한 또는 범위를 가지고 의사결정에 영향을 미칠 수 있습니다. 따라서 자기 진화형 에이전트의 안전성은 단순히 응답이 정렬(alignment)되었는지 또는 행동이 승인되었는지만을 묻는 데 그치지 않고, 국소적으로 유용했던 경험의 축적, 일반화 및 맥락 간 재사용 과정에서도 안전성 특성이 유지되는지를 질문합니다. 본 논문에서는 기저(Substrate)가 재사용 가능한 영향을 특정하고, 적응(Adaptation)이 그 변화 방식을 포착하며, 위반(Violation)이 훼손된 안전 속성을 식별하고, 노출(Exposure)이 실패가 관측 가능해지는 지점을 표시하며, 대응(Response)이 격리, 복구 또는 철회를 평가하는 전이 중심 프레임워크인 SAVER를 소개합니다. 본 서베이를 통해 실패가 반드시 유해한 정보에서 비롯되는 것은 아니며, 적응 과정에서 상태의 지속성, 권한 또는 범위가 유효했던 조건을 벗어나 확장될 때 합법적인 상태도 안전하지 않게 변할 수 있음을 밝힙니다. 기존 연구들은 진입 허가, 검색, 활성화, 노출 및 국소적 격리에 대해서는 비교적 강력한 증거를 제시하지만, 후속 파생 요소(descendant)의 복구 및 적응 재개 후 평가에 대해서는 훨씬 부족합니다. 따라서 우리는 안전하지 않은 영향을 최초 발생 전이까지 추적하고, 후속 파생 요소 전반의 복구를 검증하며, 지속적인 진화 속에서 해당 영향이 다시 나타날 수 있는지를 테스트하는 종단적 평가를 제안합니다.
메모리를 넘어서: 명시적 신념 상태를 활용한 장기적 에이전트 제어
Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States
대규모 언어 모델(LLM) 에이전트(agent)는 점점 더 복잡한 작업을 수행할 수 있게 되었지만, 상호작용 이력을 메모리로 구성하는 기존 방식은 현재 세계에 대한 일관된 이해를 보장하지 못합니다. 본 논문에서는 에이전트의 의사결정 맥락으로서 명시적 신념 상태(belief state)를 구성하고 지속적으로 유지하는 추론(inference) 시점 프레임워크인 PoS를 소개합니다. 각 신념은 현재 세계 상태에 대한 추정과 미해결된 작업 요구사항을 결합하여, 에이전트가 여전히 무엇을 학습하고 달성해야 하는지를 명시화합니다. 이러한 신념을 신뢰할 수 있고 실행 가능한 상태로 유지하기 위해, PoS는 일관성을 검증(validation)하고 작업 진행 상황을 모니터링하여 에이전트가 목표를 향한 유의미한 진전 없이 행동을 지속하는 '신념 갇힘(Belief Trapping)' 현상을 감지합니다. 이후 갇힘 패턴과 미해결된 작업 요구사항의 유형 모두에 맞추어 복구가 이루어집니다. 실행 및 진단을 아우르는 4개의 벤치마크(benchmark)에 걸친 실험 결과, PoS는 세 가지 LLM 백본 모두에서 모든 벤치마크에 걸쳐 가장 높은 종합 성능을 달성함을 보여줍니다. 소거 연구(ablation)를 통해 일관성 검증과 복구의 중요성을 입증하였으며, 문맥 스케일링(context-scaling) 실험에서는 문맥 증가에 대한 견고성을 확인했습니다. 종합적으로 이러한 결과는 단순한 이력 유지 및 압축을 넘어, 장기적(long-horizon) 문맥 관리의 기반으로서 신념 구성과 지속적 유지의 유효성을 뒷받침합니다.
Mimir: 장기 관개 제어를 위한 물리 기반 LLM 에이전트
Mimir: Physics-Grounded LLM Agents for Long-Horizon Irrigation Control
대규모 언어 모델(LLM) 에이전트는 추론, 도구 사용 및 행동을 점진적으로 결합하고 있으나, 대부분의 연구 결과는 비교적 즉각적인 피드백과 실패 시 리셋이 가능한 에피소드형 작업에 기반합니다. 장기간 실행되는 물리적 제어는 다른 영역에서 작동합니다. 즉, 행동이 미래 상태를 변화시키고, 결정 전반에 걸쳐 오류가 누적되며, 에이전트는 실행의 안전성을 담보하는 물리적 규칙을 임의로 변경하지 않으면서 경험을 통해 개선되어야 합니다. 본 연구에서는 일일 결정이 전체 생육 기간에 걸쳐 토양-수분 동역학과 상호작용하는 관개를 통해 이러한 영역을 탐구합니다. 저자들은 두 가지 수정 시간 척도(timescale)를 중심으로 구성된 물리 기반 LLM 에이전트인 Mimir를 제안합니다. 빠른 시간 척도에서는 구조화된 물리적 인터페이스와 결정론적 시뮬레이터가 LLM 출력을 제안으로 변환하며, 이를 실행 전에 수치적으로 확인, 수정하고 한계가 지정된 결정론적 행동 선택을 적용합니다. 느린 시간 척도에서는 물리적 모델, 평가기 및 실행 제약 조건은 불변으로 유지되는 반면, 반복되는 실패 패턴은 향후 제안을 조건화하는 지속적인 맥락적 원칙으로 통합됩니다. 여러 장소, 작물 및 연도에 걸친 공통의 소급 평가 환경에서, Mimir는 평가된 기준 모델 중 가장 낮은 총 제어 비용을 달성했으며 과거 일정 재생(schedule replay) 대비 약 51% 적은 관개 용수를 사용했습니다. 절제 연구(ablation study) 결과, 전방 시뮬레이션, 검증된 수정 또는 지속적인 맥락이 제거될 때 더 높은 제어 비용이 발생하는 것으로 나타났으며, 모델 크기 및 모델 패밀리 연구에서는 LLM 크기 증가에 따른 단조로운 성능 향상이 나타나지 않았습니다. 이러한 결과는 지속적인 물리 에이전트가 물리적 진실과 구동기 권한을 명시적인 수치 메커니즘에 남겨두면서도, 의미론적 추론과 제약된 증거 기반 자기 개선을 결합할 수 있음을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.