로봇 정책(policy)에 대한 런타임 실패 모니터는 일반적으로 실패한 실행과 성공한 실행을 얼마나 정확하게 구분하는지로 평가된다. 그러나 정확한 알람도 복구하기에는 너무 늦게 도착할 수 있으며, 불필요한 개입(intervention)은 그렇지 않았다면 성공했을 실행을 방해할 수 있다. 우리는 모니터의 알람이 유용한 개입을 가능하게 하는지 평가하기 위한 반사실적(counterfactual) 프레임워크인 RESCUE를 소개한다. 실행 체크포인트에서 시뮬레이터와 정책 상태를 복원함으로써, RESCUE는 대안적 행동을 비교하고 지정된 복구 기준을 만족하는 가장 마지막 체크포인트를 식별하며, 알람에 따라 행동하는 것이 예상 작업 완료 비용을 줄이는지를 평가한다. 우리는 LIBERO-Spatial과 LIBERO-Plus에서 OpenVLA-OFT와 $π_{0.5}$를 사용하여 128,340개의 반사실적 분기로 RESCUE를 평가한다. 복구 가능성은 로봇 상태만이 아니라 상태-개입 쌍에 의존한다: $τ=0.5$에서 OpenVLA-OFT/LIBERO-Plus 실패 66건 중 14건은 계속(continuation) 조건에서 복구 가능한 체크포인트를 포함하는 반면, 계속 또는 스크립트 기반 복구 조건에서는 66건 중 34건이 그러하며, 다른 조건에서는 복구가 오히려 복구 가능성을 감소시킨다. 주요 강한 정책 조건에서는 우수한 탐지 점수가 더 낮은 개입 비용을 보장하지 않는다. 평가된 정지 후 재설정 모델 하에서는, 이상적인 탐지기조차도 불필요한 재설정으로 인한 비용이 실패를 조기에 멈춤으로써 얻는 절감 효과를 상회하기 전까지 2.0~3.3%의 오탐 비율만을 감당할 수 있다. 이러한 결과는 모니터의 가치가 사용 가능한 개입과 그것이 배치되는 작업 부하에 공동으로 의존한다는 것을 보여준다.
작업 지향 대화 시스템(task-oriented dialogue system)은 최종 실패가 명확해지기 전에 이미 오류가 발생하는 경우가 많지만, 대부분의 평가는 대화가 이미 잘못된 이후에야 실패를 측정한다. 본 논문에서는 작업 지향 대화의 조기 실패 감지를 위한 방법인 TRACER를 제안한다. TRACER는 부분적인 대화로부터 전체 대화가 결국 실패할지를 예측하며, 이를 위해 믿음 상태(belief-state) 변화에서 추출한 단순한 궤적 신호와 진화하는 대화 상태의 텍스트 표현을 결합한다. 본 방법은 오라클(oracle) 및 생성된 믿음 상태 설정 모두에서 평가되며, 대화의 25%, 50%, 75%, 100%만 관측 가능한 경우에 대해서도 성능을 검증한다. 이러한 설정 전반에 걸쳐 TRACER는 대화가 끝나기 훨씬 전에 유용한 실패 신호를 감지하며, 휴리스틱, 전통적 방법, 단일 스트림 기반 기준 모델을 능가한다. 이 결과는 조기 실패 감지가 상호작용이 완전히 붕괴되기 전에 대화 시스템에 실용적인 경고 신호를 제공할 수 있음을 시사한다.
GPU 학습 작업 실패(대형 클러스터에서 약 40%)를 학습 스크립트 수정 없이 프로세스 경계에서 모니터링하는 커맨드라인 래퍼 GPUAlert를 제안하며, 사전 로그 보장·알림 격리·아티팩트 버짓 등 세 가지 신뢰성 프리미티브를 통해 실패 원인을 자동 분류하고 이메일로 전송한다. 15개 GPU 실패 유형에 걸쳐 474개 로그로 구성된 공개 코퍼스에서 ordered-rule 분류기가 macro-F1 0.997을 달성했으며, 래퍼 오버헤드는 작업당 약 3ms에 불과하다.
비전-언어-액션 모델(VLA)은 다양한 로봇 조작 작업에서 최첨단 성능을 달성하지만, 분포 외(out-of-distribution) 시나리오에서는 여전히 예측 불가능한 동작을 보일 수 있다. 따라서 런타임 실패 감지는 VLA의 안전한 실제 환경 배포에 필수적이다. 그러나 기존의 작업 실패 감지기는 계산 비용이 높은 액션 샘플링을 필요로 하거나, VLA에 대한 적용성을 제한하는 아키텍처 가정에 기반하거나, 실패 롤아웃에 대한 접근이 필요하다. 우리는 실패 데이터 없이 최소한의 오버헤드로 두 가지 새로운 실패 감지기를 결합한, VLA를 위한 경량의 범용 실패 감지 프레임워크인 VLA-FAIL을 제안한다. 첫 번째인 마지막 층 마할라노비스 거리(LLMD)는 학습 데이터 대비 마지막 층 특징에서의 토큰별 편차를 측정하여 분포 외 상태를 감지한다. 두 번째인 액션 청크 일관성(ACC)은 후퇴 수평선 제어(receding-horizon control)에 의해 유도되는 시간적 중첩을 활용하여, 연속적인 액션 청크가 일관성을 잃을 때 실패를 감지한다. 감지 정확도와 감지 지연 간의 트레이드오프를 포착하기 위해, 우리는 정밀도, 재현율, 감지 시간을 공동으로 평가하는 임계값 독립적 지표인 AUCPDT를 도입한다. 광범위한 실제 환경 및 시뮬레이션 실험을 통해, LLMD와 ACC가 상호 보완적인 실패 모드를 포착하며, 이 둘의 조합이 다양한 작업에 걸쳐 신뢰할 수 있는 조기 실패 감지를 가능하게 하여, 훨씬 더 비용이 높은 기준선 방법들을 자주 능가함을 입증한다.
비전-언어-행동(VLA) 모델은 다양한 작업에 걸쳐 점점 더 배포되고 있으나, 여전히 블랙박스로 남아 있으며 물리적 상호작용은 되돌릴 수 없는 손상을 초래할 수 있어, 일반화 가능하고 해석 가능한 실패 탐지가 필수적입니다. 우리는 성공적인 롤아웃과 실패한 롤아웃이 체계적으로 다른 정보이론적 특징을 지님을 관찰했습니다. 이를 바탕으로 VLA 제어를 폐루프 정보 파이프라인으로 공식화하고, 행동이 다양성을 유지하는지, 시간적으로 일관적인지, 그리고 상태 전이(state transitions)와 결합되어 있는지를 포착하는 삼중 정보이론적(Tri-Info) 신호를 도출했습니다. 6개의 VLA 모델과 3개의 벤치마크 환경에서 Tri-Info는 동일 도메인(in-domain) 내에서 가장 강력한 베이스라인과 대등한 성능을 보였습니다. 더욱이, Tri-Info는 재학습 없이 아키텍처, 환경, 시뮬레이션-실제(sim-to-real) 격차에 걸쳐 전이되며, 이전 탐지기들이 무작위 수준(chance)으로 추락하는 실제 세계(real-world) 작업에서 83%의 정확도에 도달했습니다. 이는 Tri-Info가 강력한 교차 도메인 일반화(cross-domain generalization)로 실패를 탐지할 뿐만 아니라, 근본적인 실패 모드에 대한 해석 가능한 진단을 제공하는 간단하면서도 강력한 방법임을 입증합니다.