arXiv:2610.02662v1 cs.LG

정제 격차(Refinement Gap)에 주의하라: 안전한 상위 수준 로봇 계획이 안전하지 않은 실행을 낳을 때

Mind the Refinement Gap: When Safe High-Level Robot Plans Produce Unsafe Executions

Stabak Das, Priyesh Ranjan, Xiangfang Li, Lijun Qian

제출 2026-10-02

저자 비고

arXiv Comments

5 pages, 1 figure

한국어 초록

언어 기반 로봇 시스템은 시맨틱 그래프 계획(semantic-graph planning)과 시간 논리(temporal-logic) 기반 안전성 모니터를 점점 더 많이 결합하고 있다. 본 연구는 이러한 시스템에서의 궤적 완전성(trace-completeness) 가정, 즉 모니터가 점검하는 상위 수준 행동 시퀀스가 실행 중 유발되는 내비게이션 및 암묵적 행동 효과를 실제로 대표하는지를 조사한다. 우리는 RoboGuard에서 이 가정을 검증하기 위해, 동일한 선형 시간 논리(Linear Temporal Logic, LTL) 명세 하에서 표면적(surface) 계획에 대한 판정과 그래프로 정제된(graph-refined) 궤적에 대한 판정을 비교한다. 평가는 다섯 가지 행동 추상화(action-abstraction) 계열에 걸친 28개의 통제된(controlled) 사례와, SPINE [1]이 자연어 지시로부터 계획을 생성하고 RoboGuard가 장면에 기반한(scene-grounded) 안전성 명세를 생성하는 14개의 종단간(end-to-end) 사례로 구성된다. 통제된 평가에서, 표적이 된 12개의 추상화 사례 모두 예측된 표면-정제 간 불일치를 보였으며, 16개의 대조(control) 사례 모두 예상대로 동작하였다. 이는 그래프 기반 궤적 정제(trace refinement)를 경량 완화 기법이자 피지컬 AI(physical-AI) 안전성 모니터를 위한 진단 도구로 활용할 근거가 된다.

원문 초록

Language-enabled robot systems increasingly combine semantic-graph planning with temporal-logic safety monitors. We investigate a trace-completeness assumption in these systems: whether the high-level action sequence checked by a monitor represents the navigation and implicit action effects induced during execution. We audit this assumption in RoboGuard by comparing its verdict on a surface plan with its verdict on a graph-refined trace under the same Linear Temporal Logic (LTL) specification. Our evaluation comprises 28 controlled cases spanning five action-abstraction families and 14 end-to-end cases in which SPINE [1] generates plans from natural-language instructions while RoboGuard generates scene-grounded safety specifications. In the controlled evaluation, all 12 targeted abstraction cases exhibit the predicted surface-versus-refined discrepancy while all 16 controls behave as expected, motivating graph-based trace refinement as a lightweight mitigation and a diagnostic tool for physical-AI safety monitors.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02662v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20476v1cs.AI공통 태그 Decision Making, safety monitoring

다중 센서 물리적 위험 평가에 대한 대규모 언어 모델 벤치마킹

Benchmarking Large Language Models on Multi-Sensor Physical Hazard Assessment

우리는 다섯 개의 대규모 언어 모델이 다중 센서 물리적 위험 데이터를 어떻게 평가하는지를 평가하는 실증 벤치마크를 제시한다. 세 가지 범주—다중 센서 공동 평가, 대응 비례성, 패턴 모호성 해소—에 걸쳐 60개 시나리오를 temperature 0.0으로 1,800회의 API 호출을 통해 테스트한 결과, 모든 테스트된 모델이 개별 안전 한계 이하에서 여러 센서가 동시에 상승한 테스트 시나리오에서 일관되게 예방적 경고 신호를 생성하지 않았으며, 단일 센서 임계값 위반에서는 거의 완벽한 정확도를 달성한 것으로 나타났다. 다섯 모델(ChatGPT-4o, Gemini 2.5 Flash, DeepSeek, Kimi, Llama 3.1 8B) 모두 Category A 다중 센서 시나리오에서 거의 0점(Q2: 0.000-0.208; Q3: 0.000-0.592)을 기록했으며, 이는 단일 센서 시나리오(Category B Q1: 0.975-1.000)에서의 우수한 성능과 대조적이다. 구조화된 표 형식은 일반 산문 대비 일관된 이점을 보이지 않았으며, ChatGPT-4o는 산문 형식에서 유의미하게 더 나은 성능을 보였다(p = 0.001). 이러한 결과는 물리적 안전 모니터링 시스템에 테스트된 모델을 배포하는 실무자에게 직접적인 함의를 갖는다.

arXiv:2610.01834v3cs.AI공통 태그 Decision Making

시뮬레이션은 코드가 담당하고, 평가는 Jev가 담당한다

Code Owns the Simulation, Jev Owns the Evaluation

Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.

arXiv:2607.20827v2cs.AI공통 태그 Decision Making

LLM 에이전트 행동 선택에서 출처 민감도 감사

Auditing Provenance Sensitivity in LLM Agent Action Selection

LLM 에이전트는 사용자 요청, 도구 출력, 검색된 레코드, 메모리, 신뢰할 수 없는 텍스트가 혼합된 컨텍스트에서 도구와 인자를 선택한다. 증거는 결정을 내릴 권한이 없어도 관련 있을 수 있으므로, 올바른 행동이라고 해서 반드시 허용된 증거에만 그라운딩된 것은 아니다. 우리는 각 도구 및 인자 대상에 대해 컨텍스트 요인을 별도로 라벨링하는 대상별 승인(authorization) 감사를 도입한다. 주요 테스트는 과제, 명제(proposition), 위치, 정책을 고정한 채 명제의 출처 권한(source authority)만 변경한다. 그런 다음 유효한 증거가 약화되었을 때의 행동을 테스트하고, 컨텍스트 부분집합 상호작용을 보조적 국소화(localization) 진단으로 사용한다. 450개의 통제된 다음 행동(next-action) 과제와 여러 오픈 가중치 LLM 계열에 걸쳐, 신뢰할 수 있는 변형과 신뢰할 수 없는 변형은 경쟁(competing) 사례의 5.4%에서, 대조적으로 지지(supporting) 사례의 1.7%에서 서로 다른 행동을 생성한다. 통제된 성능 저하(degradation) 하에서, 무권한 경쟁(unauthorized competition)은 full-correct, mixed-error, clean-correct 패턴에서 비교의 2.4%에서 유지되며, 95% 신뢰구간은 2.1~3.0%이다. 이는 배포 유병률(prevalence)이 아니라 통제된 스트레스 세트(stress-set) 비율이다. 모델은 텍스트적 출처 권한 단서에 반응하지만, 이는 신뢰할 수 없는 증거가 행동에 영향을 미치는 것을 막지 못한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.