에이전트 안전성은 행동적 속성이 아닌 인식론적 속성이다
Agentic Safety is an Epistemic Property, Not a Behavioral One
한국어 초록
현대 AI 안전성은 사전학습 개입, 사후 학습 정렬, 배포 시 제어, 모니터링, 레드팀 테스팅을 아우른다. 이러한 방법들은 필요하지만, 주로 시스템 행동의 스냅샷을 인증하는 데 그친다. AI 시스템이 더 유능해지고, 동적이며, 체화되고, 자기 개선이 가능해짐에 따라, 이 스냅샷 관점은 불완전해진다: 안전성은 시스템이 현재 수용 가능하게 행동하는지뿐 아니라, 시간이 지남에 따라 학습하고, 적응하고, 행동하고, 스스로를 수정하면서도 교정 가능한 상태를 유지하는지에 달려 있다. 본 논문은 따라서 안전성이 현재 정책의 행동적 속성이 아닌, 진화하는 학습자의 인식론적 속성으로 취급되어야 한다고 주장한다. 우리는 교정 수용성(teachability)을 제한된 인간, 제도적, 또는 환경적 개입 하에서 미래의 교정 레버리지를 보존하는 능력으로 정의한다. 우리는 고도화된 시스템이 미래 교정에 필요한 표현적, 알고리즘적, 또는 메타 의사결정 조건을 훼손하면서도 가시적 역량을 유지할 수 있다고 주장한다. 안전한 고도화 AI 시스템은 현재 수용 가능하게 행동할 뿐 아니라, 이후에도 교정 수용성을 유지해야 한다.
원문 초록
Contemporary AI safety spans pre-training interventions, post-training alignment, deployment-time controls, monitoring, and red-teaming. These methods are necessary, but they primarily certify snapshots of system behavior. As AI systems become more capable, dynamic, embodied, and self-improving, this snapshot view becomes incomplete: safety depends not only on whether a system behaves acceptably now, but whether it remains correctable as it learns, adapts, acts, and modifies itself over time. This paper argues that safety should therefore be treated as an epistemic property of the evolving learner, not merely a behavioral property of the current policy. We introduce teachability as the capacity to preserve future corrective leverage under bounded human, institutional, or environmental intervention. We argue that advanced systems can retain visible competence while eroding the representational, algorithmic, or meta-decision conditions needed for future correction. Safe advanced AI systems must not only behave acceptably now; they must remain teachable later.
요약
현재 AI 안전성 연구들이 시스템의 행동 스냅샷 인증에 집중하는 한계를 지적하며, 자기 수정 에이전트(SMA)에서는 안전성을 현재 정책의 행동적 속성이 아닌 진화하는 학습자의 인식론적 속성으로 다루어야 한다고 주장한다. 이를 위해 교정 수용성(teachability)—제한된 인간·제도적 개입 하에서도 미래 교정 레버리지를 보존하는 능력—을 핵심 안전 요건으로 제시하며, 고도화된 시스템이 겉으로 역량을 유지하면서도 표현·업데이트·메타 의사결정 축의 구조적 교정 불가능 상태에 빠질 수 있음을 경고한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.28347v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DENSE: 자기 정제를 위해 에이전트 궤적을 근거 기반 지름길 트리로 증류하기
DENSE: Distilling Agent Trajectories into Evidence-Grounded Shortcut Trees for Self-Refinement
온라인 에이전트(agent) 배포 환경에서는 대규모이자 행동적으로 다양한 실행 궤적(trajectory)이 축적되지만, 이에 대한 사전 정의된 주석 기준은 거의 존재하지 않습니다. 따라서 유용한 근거를 추출하려면 비용이 많이 드는 수동 주석이나 확장이 어려운 검증기(verifier) 신호가 필요하며, 이로 인해 귀중한 근거가 중복되거나 불완전하고 실패한 실행 속에 묻히게 됩니다. 이는 한 가지 질문을 제기합니다. 실행 후 보상이나 정답 레이블 없이, 궤적 자체에서 어떻게 재사용 가능한 경험을 증류(distillation)할 수 있을까요? 이러한 과제를 해결하기 위해, 저희는 궤적에서 파생된 근거를 중첩 지름길 트리(nested shortcut tree)로 구성하는 DENSE(Distilling Evidence from Nested Subtask Executions)를 소개합니다. DENSE는 중복된 시도를 통합하고, 해결된 하위 작업을 식별하며, 미해결된 요구사항과 함께 유용한 단계를 유지함으로써 노이즈가 많은 실행 흔적을 구조화되고 재사용 가능한 작업 해결 피드백으로 변환합니다. 이러한 피드백이 에이전트가 동일한 작업을 재시도하는 데 도움이 되는지 평가하기 위해, 초기 시도와 피드백 기반 재시도 간의 성공률 변화를 측정하는 REFIT을 설계했습니다. 외부 결과 감독이 없는 피드백 방법 중 DENSE는 Terminal-Bench 2.1에서 4개 에이전트 모델에 걸쳐 가장 높은 엄격 통과율(strict pass rate)을 달성했으며, 재시도 시 19.0-43.6% 더 적은 에이전트 토큰(token)을 사용하면서 초기 시도 대비 7.12-21.81%p 향상되었습니다. 또한 어려운 작업에서 DENSE는 4개 모델 모두에서 여러 차례의 피드백 반복에 걸쳐 누적 통과율 면에서 지속적으로 자기 반성(self-reflection)을 능가하여, 지속적인 에이전트 자기 개선에 대한 강력한 잠재력을 입증했습니다.
SafeCoEvo: 테스트 시점에서 LLM 에이전트를 위한 안전 하네스 및 가드의 공진화
SafeCoEvo: Co-Evolving Safety Harnesses and Guards for LLM Agents at Test-Time
실제 환경에 배포된 대규모 언어 모델(LLM) 에이전트(agent)는 새로운 태스크와 안전성(safety) 위험에 지속적으로 직면하지만, 실행 피드백은 대개 각 태스크가 완료된 후에야 얻을 수 있습니다. 그러나 기존의 자기 진화(self-evolving) 접근 방식은 고정되어 반복적으로 접근 가능한 태스크 분포에 대한 여러 차례의 최적화(optimization)에 주로 의존하므로, 과거 태스크에서 축적된 경험만을 활용해 미래의 미확인 태스크에 대한 안전 결정을 개선해야 하는 실제 배포 환경에서의 테스트 시점 적응(test-time adaptation)과는 근본적으로 다릅니다. 이러한 한계를 해결하기 위해, 우리는 런타임에 축적된 경험으로부터 외부 안전 시스템이 지속적으로 적응할 수 있도록 지원하는 LLM 에이전트 안전을 위한 테스트 시점 하네스-가드(Harness-Guard) 공진화 프레임워크인 SafeCoEvo를 제안합니다. SafeCoEvo는 서로 다른 시간 척도에서 두 가지 상호 보완적인 안전 역량을 공동으로 향상합니다. S-Harness는 최근의 런타임 경험을 후속 태스크에 신속하게 영향을 미칠 수 있는 갱신 가능한 명시적 안전 지식으로 빠르게 외재화하는 반면, GuardVPO는 더 긴 시간 척도에 걸쳐 축적된 런타임 안전 경험을 매개변수 기반 위험 판단 역량으로 내재화합니다. 단기적인 빠른 적응과 장기적인 역량 강화를 결합함으로써 SafeCoEvo는 에이전트의 안전 역량을 지속적으로 개선하여, 가장 강력한 기준선(baseline) 대비 안전하지 않은 결과 발생률을 10.05% 줄이는 동시에 태스크 성공률을 12.15% 향상해 안전성과 태스크 유용성 모두에서 동시 이득을 달성합니다.
MobiAgent: 장기 모바일 조작을 위한 이중 루프 재귀적 정책 자가 개선
MobiAgent: Dual-Loop Recursive Policy Self-Improvement for Long-Horizon Mobile Manipulation
장기(long-horizon) 모바일 조작은 복합적인 실행 오류와 이동(locomotion) 및 로봇 팔 제어 간의 용량 간섭(capacity interference)으로 인해 상당한 어려움을 야기합니다. 최근의 비전-언어-행동(VLA, Vision-Language-Action) 모델은 단기 태스크에는 뛰어나지만 다단계 목표에 필요한 계층적 추론 능력이 부족합니다. 게다가 기존의 계층적 에이전트는 경직된 하위 태스크 매핑, 유연하지 못한 재계획(replanning), 그리고 지속적인 학습의 부재로 어려움을 겪습니다. 이러한 한계를 해결하기 위해, 우리는 견고한 배포 실행과 재귀적 정책 자가 개선을 연결하는 이중 루프 에이전트 프레임워크인 MobiAgent를 소개합니다. 배포 중에 내부 루프(Inner Loop)는 구성 가능성이 높은 원자적 기술(atomic skills)을 통해 고차원 추론을 저수준 제어와 분리합니다. 이는 축소 지평 계획(receding-horizon planning)과 시각적 반추(visual reflection)를 위해 비전-언어 모델을 활용하며, 기술을 동적으로 구성하여 견고한 오류 복구를 보장합니다. 이러한 기술들은 통일된 VLM 백본을 공유하는 특화된 플로우 매칭(flow-matching) 전문가에 의해 실행되어 용량 간섭을 완화하는 동시에 재사용성을 극대화합니다. 동시에 외부 루프(Outer Loop)는 배포 롤아웃을 자율적으로 분할 및 검증하고, 이를 클러스터링하여 원자적 기술을 발견하며, 인간의 주석 없이 스킬 라이브러리를 지속적으로 미세조정함으로써 자동화된 평생 학습을 주도합니다. RoboCasa, BEHAVIOR-1K, 그리고 실제 환경 태스크에서의 평가는 MobiAgent의 효과를 입증합니다. 본 모델은 BEHAVIOR-1K에서 $\pi_{0.5}$-TA보다 22.5%p 높은 성능을 보이며 실행 실패로부터의 견고한 복구를 가능하게 합니다. 자율적인 데이터 재활용을 통해 RoboCasa에서는 성공률이 7.50%에서 27.50%로 향상되었고, Astribot S1에서는 32.5%에서 57.5%로 향상되었습니다.
FinEvo-Bench: 전문 금융 워크플로우 내 자기 진화형 에이전트를 위한 종단적 벤치마크
FinEvo-Bench: A Longitudinal Benchmark for Self-Evolving Agents in Professional Financial Workflows
시간이 지남에 따라 사용되는 에이전트(agent)는 반복되는 전문적인 업무에 직면합니다. 각 사례는 서로 다른 근거와 판단을 요구하지만, 기초가 되는 워크플로우는 재사용될 수 있습니다. 독립적인 작업들로 구축된 벤치마크는 에이전트가 이전 경험을 후속 사례를 위한 더 나은 절차로 전환하는지 여부를 드러낼 수 없습니다. 우리는 이러한 구조를 기반으로 설계된 종단적(longitudinal) 벤치마크인 FinEvo-Bench를 소개합니다. 이는 6개 금융 도메인의 20개 비즈니스 장면(scene)에 걸친 실제 사례에서 추출한 120개의 개방형 작업으로 구성됩니다. 각 장면은 전문적인 워크플로우와 작업 품질 및 금융 규제 준수를 위해 전문가가 작성한 루브릭을 공유하는 실질적으로 서로 다른 6개의 사례를 포함합니다. 벤치마크를 구축하고 검증하는 데에는 약 1,200인시(person-hours)가 소요되었습니다. 금융은 반복적인 분석이 이질적인 입력에 공유된 전문적 및 규제 준수 요구사항을 적용하여 사례별 분석과 결론을 도출하므로 자연스러운 테스트베드를 제공합니다. 우리는 독립적으로 셔플되고 전역적으로 인터리브된 3개의 작업 스트림에서 Qwen3.7-Max 기반의 네 가지 자기 진화형 에이전트 스캐폴드를 평가합니다. Claude Opus~4.6으로 구동되는 Claude Code 루브릭 판별기가 모든 결과물을 평가하며, 쌍을 이룬 상태 재설정(state-reset) 대조군은 축적된 경험으로부터 각 스캐폴드가 얻은 이득을 추정합니다. 진화하는 실행은 쌍을 이룬 대조군에 비해 작업당 9.33--19.37점 더 높은 점수를 기록하고 규제 준수 문제를 0.12--0.44건 더 적게 유발합니다. 장면 내 순위 4--6에서의 쌍 점수 상승폭은 순위 1--3에서의 상승폭을 6.10--8.70점 초과합니다. FinEvo-Bench는 지속적인 사용 환경에서 축적된 경험이 이후의 전문 업무를 개선하는지 여부를 측정합니다.
자기 진화형 에이전트의 안전성: 서베이
Safety in Self-Evolving Agents: A Survey
대규모 언어 모델(LLM)은 강력한 범용 능력을 보여주지만, 배포 후에는 일반적으로 매개변수가 고정되어 있어 새로운 상호작용으로부터의 학습이 제한됩니다. 개방형 환경에서는 이러한 한계로 인해 데이터, 피드백, 축적된 경험을 바탕으로 모델 매개변수, 메모리, 도구 정의, 스킬, 워크플로 등 재사용 가능한 상태를 지속적으로 업데이트하는 자기 진화형 에이전트(self-evolving agent)가 주목받고 있습니다. 이러한 변화는 안전성(safety) 문제를 변화시킵니다. 경험이 재사용 가능한 상태가 되면 과거의 사건이 미래의 원인이 되며, 특정 맥락에서는 무해했던 정보가 이후 더 큰 지속성, 권한 또는 범위를 가지고 의사결정에 영향을 미칠 수 있습니다. 따라서 자기 진화형 에이전트의 안전성은 단순히 응답이 정렬(alignment)되었는지 또는 행동이 승인되었는지만을 묻는 데 그치지 않고, 국소적으로 유용했던 경험의 축적, 일반화 및 맥락 간 재사용 과정에서도 안전성 특성이 유지되는지를 질문합니다. 본 논문에서는 기저(Substrate)가 재사용 가능한 영향을 특정하고, 적응(Adaptation)이 그 변화 방식을 포착하며, 위반(Violation)이 훼손된 안전 속성을 식별하고, 노출(Exposure)이 실패가 관측 가능해지는 지점을 표시하며, 대응(Response)이 격리, 복구 또는 철회를 평가하는 전이 중심 프레임워크인 SAVER를 소개합니다. 본 서베이를 통해 실패가 반드시 유해한 정보에서 비롯되는 것은 아니며, 적응 과정에서 상태의 지속성, 권한 또는 범위가 유효했던 조건을 벗어나 확장될 때 합법적인 상태도 안전하지 않게 변할 수 있음을 밝힙니다. 기존 연구들은 진입 허가, 검색, 활성화, 노출 및 국소적 격리에 대해서는 비교적 강력한 증거를 제시하지만, 후속 파생 요소(descendant)의 복구 및 적응 재개 후 평가에 대해서는 훨씬 부족합니다. 따라서 우리는 안전하지 않은 영향을 최초 발생 전이까지 추적하고, 후속 파생 요소 전반의 복구를 검증하며, 지속적인 진화 속에서 해당 영향이 다시 나타날 수 있는지를 테스트하는 종단적 평가를 제안합니다.
ReLiveGym: 수 주간 재현된 현실 스트림 상에서 장기 생존 에이전트 평가
ReLiveGym: Evaluating Long-Lived Agents over Weeks of Replayed Reality
대규모 언어 모델(LLM) 에이전트가 널리 채택됨에 따라, 지속적인 모니터링이나 반복적인 행동이 필요한 작업(예: 시장 분석)에 점점 더 많이 배포되고 있습니다. 이러한 에이전트는 며칠 또는 몇 주 동안 사람의 개입 없이 운영되고, 적절한 타이밍에 행동하며, 시간에 따른 동적 환경에 적응할 것으로 기대됩니다. 그러나 기존의 장기(long-horizon) 에이전트 연구는 시간에 따라 변화하지 않는 정적인 환경을 고려하는 경우가 많아 이러한 문제를 완전히 포착하지 못합니다. 본 논문에서는 에이전트가 시간 순서대로 재현된 실제 뉴스, 시장 및 소셜 미디어 스트림의 시뮬레이션된 수 주에 걸쳐 드물게 행동하는 장기 생존(long-lived) 작업 진단 평가 환경인 ReLiveGym을 소개합니다. 이 작업들은 다양한 수준의 시간 민감도, 추론 강도 및 반복성을 아우릅니다. 본 연구에서는 8개의 베이스 언어 모델에 걸쳐 모델 선택과 하네스(harness) 설계가 이러한 장기 생존 작업에서 에이전트 성능에 어떤 영향을 미치는지 조사합니다. 실험 결과, 에이전트가 언제 행동할지 결정하는 방식이 장기 생존 작업을 위한 중요한 하네스 설계 축으로 나타났으며, 최적의 설계는 작업에 따라, 때로는 모델 선택에 따라서도 달라진다는 점을 보여줍니다. 또한 사후 피드백(hindsight feedback)을 통한 지속적 학습이 성능에 미치는 영향과 이러한 장기 생존 작업에서 관찰되는 실패 모드를 어떻게 해결하는지 평가합니다. 이러한 발견은 모델 선택, 행동 타이밍 메커니즘, 피드백 활용이 장기 생존 에이전트 설계에서 중요한 고려 사항임을 시사합니다. 코드: https://github.com/SaharaLabsAI/ReLiveGym
토론
이 논문과 연결된 포럼 글이 아직 없습니다.