로봇 정책(policy)에 대한 런타임 실패 모니터는 일반적으로 실패한 실행과 성공한 실행을 얼마나 정확하게 구분하는지로 평가된다. 그러나 정확한 알람도 복구하기에는 너무 늦게 도착할 수 있으며, 불필요한 개입(intervention)은 그렇지 않았다면 성공했을 실행을 방해할 수 있다. 우리는 모니터의 알람이 유용한 개입을 가능하게 하는지 평가하기 위한 반사실적(counterfactual) 프레임워크인 RESCUE를 소개한다. 실행 체크포인트에서 시뮬레이터와 정책 상태를 복원함으로써, RESCUE는 대안적 행동을 비교하고 지정된 복구 기준을 만족하는 가장 마지막 체크포인트를 식별하며, 알람에 따라 행동하는 것이 예상 작업 완료 비용을 줄이는지를 평가한다. 우리는 LIBERO-Spatial과 LIBERO-Plus에서 OpenVLA-OFT와 $π_{0.5}$를 사용하여 128,340개의 반사실적 분기로 RESCUE를 평가한다. 복구 가능성은 로봇 상태만이 아니라 상태-개입 쌍에 의존한다: $τ=0.5$에서 OpenVLA-OFT/LIBERO-Plus 실패 66건 중 14건은 계속(continuation) 조건에서 복구 가능한 체크포인트를 포함하는 반면, 계속 또는 스크립트 기반 복구 조건에서는 66건 중 34건이 그러하며, 다른 조건에서는 복구가 오히려 복구 가능성을 감소시킨다. 주요 강한 정책 조건에서는 우수한 탐지 점수가 더 낮은 개입 비용을 보장하지 않는다. 평가된 정지 후 재설정 모델 하에서는, 이상적인 탐지기조차도 불필요한 재설정으로 인한 비용이 실패를 조기에 멈춤으로써 얻는 절감 효과를 상회하기 전까지 2.0~3.3%의 오탐 비율만을 감당할 수 있다. 이러한 결과는 모니터의 가치가 사용 가능한 개입과 그것이 배치되는 작업 부하에 공동으로 의존한다는 것을 보여준다.
금융 기관들은 신용, 이상 거래 탐지(fraud), 채권 추심, 규제 준수(compliance) 및 운영 제어 분야에 에이전트 기반 워크플로를 배포하기 시작하고 있습니다. 그러나 거버넌스는 여전히 구성요소 중심적(component-centric) 수준에 머물러 있어, 각 모델(model)이나 에이전트(agent)는 개별적으로 명세화, 테스트, 승인 및 모니터링됩니다. 이러한 방식은 기관 차원의 리스크가 개별적으로는 수용 가능한 다수 구성요소의 결합된 동작에서 비롯될 때 불충분합니다. 본 논문에서는 이러한 격차를 '구조적 비합성성(constitutional non-compositionality)'이라고 부릅니다. 즉, 개별 컴플라이언스 점검 결과가 제한된 차등 영향(bounded disparate impact), 시장 건전성, 추적 가능한 책임성 등과 같이 허용 가능한 집단적 결과로 반드시 종합되는 것은 아닙니다. 이에 본 논문에서는 에이전트 집단 거버넌스를 위한 금융 특화 참조 아키텍처이자 반증 가능한 연구 과제로 ARIA를 제안합니다. ARIA는 규범-책임, 실행-제어, 보증-학습의 세 가지 영역에 걸쳐 정책 명세, 집단 수준의 관측 대비 예상 동작 모니터링(M2), 제한적 권한, 런타임 격리, 적응형 정책 변경, 인간 감독 역량 보존이라는 6가지 기능을 체계화합니다. 두 가지 시뮬레이션을 통해 개별 통제 환경에서의 공유 신호 기반 금융이력 부족자(thin-file) 배제 현상과, 인위적으로 조성된 드리프트 환경에서 관측 대비 예상 분포 모니터링을 통한 조기 경보 가능성을 입증합니다. 본 연구는 이러한 통제 기법을 공정 대출, EU AI 법(EU AI Act), 모델 리스크 및 영업행위 감독 증빙 요건과 연계하며, 즉각적인 운영 효과성을 주장하기보다는 향후 검증(validation) 과제를 제시하며 마무리합니다.
경험적 피셔 정보 행렬(FIM)의 지배 고유값 λ_max가 입력 분포 이탈 및 가중치 양자화(quantization) 노이즈라는 두 가지 섭동 하에서 어떻게 변하는지를 이론적으로 분석하며, Weyl 부등식을 통해 양자화 시 λ_max가 비섭동 값보다 크게 증가함을 증명한다. 이를 배포된 자동회귀 언어 모델의 런타임 모니터링 통계량 σ_t = λ_max(F̂_t)/λ_base로 활용하는 방법을 제안하고, 12개 모델과 1,080개 생성 궤적의 실험을 통해 4비트 양자화 모델에서 보정 임계값이 전정밀도 추정치 대비 약 244배 커지는 현상을 이론과 일치하는 결과로 보고한다.
Multi-agent AI systems can improve answer selection by allowing different language models to exchange reasoning traces, revise initial predictions, and support a final decision. However, such communication may also introduce reliability risks: reasoning from one agent can correct another agent's mistake, but it can also mislead an agent that was initially correct. This paper studies reliable multi-agent AI communication through reasoning exchange and runtime answer revision. We develop a framework in which agents first answer multiple-choice questions independently, then share reasoning traces and revise their decisions. We conduct numerical experiments where we evaluate whether this process improves accuracy, produces more positive than negative answer transitions, and remains effective across domains such as cybersecurity, networking, and general knowledge. The results help identify when multi-agent reasoning improves reliability and when it may propagate errors.
자율 에이전트를 위한 런타임 모니터는 일반적으로 누적된 내부 상태(행동 기준선, 드리프트 통계, 또는 우리의 이전 연구에서는 모델링된 정서 상태)에 임계값을 적용한다. 우리는 이전에 상태 포화 함정(State Saturation Trap)을 보고한 바 있다: 연속적인 정서 엔진(affect engine)에 대한 상태 임계값 트리거가 SWE-bench 디버깅 에이전트에서 거의 일정한 경보로 작동한다는 것이다(Modgil 2026). 출시 후 감사 결과 엔진이 행동 사이에 dt=0을 수신했으므로 지수 감쇠가 작동하지 않았음이 밝혀졌다: 게시된 함정은 순수 누적기 결과였다. 우리는 기록을 수정하고(정오표, v2) 이 결함을 실험으로 간주한다. 이것이 드러내는 핵심 변수는 모니터의 역학이 샘플 시간(관측당, CUSUM처럼)으로 보정되었는지, 아니면 실제 시간(초 단위 반감기, 정서 모델 및 EMA 기준선처럼)으로 보정되었는지 여부이다. 고정 속도 스트림에서는 이들이 일치하지만, 행동 간 시간이 수 단위로 차이가 나는 에이전트 스트림에서는 일치하지 않는다. 20개 궤적에 대한 균일한 간격(dt in {0..600}s)에 대한 사전 등록된 스윕(sweep)은 실제 시간 레벨 트리거가 두 가지 영역을 가짐을 보여준다: dt<=1s에서는 일정한 경보(20/20; 중앙값 18회 발사), dt>=60s에서는 무음이다. 모든 임계 dt는 (1,30]s 사이에 있다. 실제 에이전트 실행은 지연 시간을 중앙값 1.53s(p90 2.33s)로 측정한다; 실제 코딩 수행 속도는 함정 영역 내에 위치하며, 이는 수정된 메커니즘 하에서의 경험적 발견을 입증한다. 이 구조는 엔진이 아닌 보정 클래스의 속성이다: 원본 오류 스트림에 대한 최소 실제 시간 누적기는 동일한 절벽(cliff)을 재현하는 반면, 동일한 스트림에 대한 샘플 시간 CUSUM은 정확히 dt 불변이다(20/20). 히스테리시스가 포함된 상승 에지 트리거는 모든 조건에서 궤적당 0-3회 발사한다. 우리는 실제 시간 기준 보정 누수 적분기(leaky-integrator) 모니터가 에이전트 스트림에서 순간 탐지기로 작용하는 영역을 허용하지 않는다고 결론짓는다; 전이 탐지는 모든 수행 속도에서 함정을 피하지만, 인간 개입 타이밍은 회복하지 못한다.