arXiv:2606.07211v1 cs.RO

위험 환경에서의 설명 가능한 자율성을 위한 추상 아키텍처

An Abstract Architecture for Explainable Autonomy in Hazardous Environments

Matt Luckcuck, Hazel M Taylor, Marie Farrell

제출 2026-06-05

한국어 초록

자율 로봇 시스템은 인간 작업자의 위험을 줄이기 위해 위험 환경에서의 활용이 제안되고 있다. 가까운 미래에는 인간 작업자가 다른 전산화 도구와 유사하지만 보다 정교한 의사결정 기능을 갖춘 이러한 자율 로봇을 계속해서 사용하고 지휘할 가능성이 높다. 따라서 엔지니어링 노력을 집중해야 할 중요한 영역 중 하나는 사용자가 시스템을 신뢰하도록 보장하는 것이다. 최근 문헌에 따르면 설명 가능성(explainability)은 시스템의 신뢰성과 밀접한 관련이 있다. 안전성 및 보안 속성과 마찬가지로, 설명 가능성은 사후에 추가되는 것이 아니라 시스템 설계 단계에서부터 내재되어야 한다. 본 논문은 자율 시스템이 자신의 행동을 설명하는 기능(설명 가능한 자율성)을 지원하는 추상 아키텍처를 제시하며, 설명 가능한 자율 시스템 구현을 위한 설계 템플릿을 제공한다. 또한 작업자와 규제 기관 모두 시스템의 의사결정 능력을 신뢰해야 하는 민간 핵산업 분야에 본 아키텍처를 적용하는 구체적인 사례를 제시한다.

원문 초록

Autonomous robotic systems are being proposed for use in hazardous environments, often to reduce the risks to human workers. In the immediate future, it is likely that human workers will continue to use and direct these autonomous robots, much like other computerised tools but with more sophisticated decision-making. Therefore, one important area on which to focus engineering effort is ensuring that these users trust the system. Recent literature suggests that explainability is closely related to how trustworthy a system is. Like safety and security properties, explainability should be designed into a system, instead of being added afterwards. This paper presents an abstract architecture that supports an autonomous system explaining its behaviour (explainable autonomy), providing a design template for implementing explainable autonomous systems. We present a worked example of how our architecture could be applied in the civil nuclear industry, where both workers and regulators need to trust the system's decision-making capabilities.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.07211v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22353v1cs.AI공통 태그 Decision Making, robotics

PAANI: 강 로봇 시뮬레이션을 위한 온디바이스 시각적 증거 융합 및 설명 가능한 가이던스

PAANI : On Device Visual Evidence Fusion and Explainable Guidance for River Robot Simulation

이동형 하천 모니터링 로봇은 지리적 웨이포인트만으로는 설명할 수 없는 장애물과 수역 경계를 해석해야 한다. 자원이 제한된 플랫폼에서는 불완전한 시각 예측을 시의적절하고 검사 가능한 가이던스로 바꾸는 것이 별도의 과제이다. 객체 레이블이나 조향 명령만으로는 어떤 증거가 결정을 뒷받침하는지, 그 증거가 언제 신뢰할 수 없는지 설명되지 않는다. 우리는 프로젝트에서 학습한 YOLO11n 검출기와 맞춤형 MobileNetV3 Small 의미 분할기를 Arduino UNO Q에서 타임스탬프 정렬 증거 융합과 결합한, 온디바이스 지각-가이던스 아키텍처인 PAANI를 제시한다. bounded tracking은 객체 지속성을 제공하고, 명시적 통로(corridor) 정책은 수면 레이블, 수용된 검출, 긴급도, 마스크 불확실성을 결합한다. 각 최종 권고는 기여한 증거와 정책 근거를 노출한다. ROS 2 인터페이스는 로컬 AI 파이프라인을 별도의 Gazebo 선박, 위치 추정 및 제어 테스트베드와 연결한다. 학습에는 4클래스 검출용 WaterScenes 이미지 10,000장과 분할용 MaSTr1325 이미지 1,127장(분할 검증 이미지 198장 포함)을 사용한다. 선택한 FP32 ONNX 모델은 14.817 MB를 차지한다. 검출기 체크포인트 테스트 mAP(0.5 IoU)는 0.7388이며, 별도로 평가한 직사각형 ONNX 내보내기의 검증 mAP(0.5 IoU)는 0.7367이다. 분할 ONNX 검증 mIoU는 0.9750이다. 5분간 UNO Q 녹화에서 구성된 0.5 Hz 주기로 파이프라인 지연의 중앙값과 95백분위는 각각 467.8 ms와 580.3 ms였다. 평가에서는 검은 입력 오분류와, 진단용 겉보기 운동(apparent motion) 추정기가 충분한 증거를 수집하지 못하게 하는 샘플링 속도 불일치도 확인했다. 이 결과는 모델 정확도 및 온보드 실행과 검증된 수상 충돌 회피를 명확히 구분하면서, 검사 가능하고 재사용 가능한 엣지 로보틱스 기반을 뒷받침한다.

arXiv:2609.23486v1cs.RO공통 태그 Decision Making, robotics

인간 중심 멀티모달 관측에 기반한 선제적 로봇을 위한 인지적 행동 추론

Cognitive Action Reasoning for Proactive Robots from Human-Centered Multimodal Observations

인간 중심 환경에서 동작하는 로봇은 일반적으로 명시적 지시를 수행하도록 설계되며, 대부분의 로봇 학습 데이터셋 역시 관측을 작업 지시나 저수준 행동과 짝지어 구성한다. 최근 연구들이 선제적(proactive) 체화 보조(embodied assistance)를 탐구하기 시작했지만, 기존 자원들은 서로 다른 설정과 행동 수준을 대상으로 하여 실세계의 인간 중심 멀티모달 의사결정은 여전히 충분히 탐구되지 않은 상태이다. 우리는 이 문제를 \textit{선제적 로봇 행동 추론}(\textit{ProRobo})으로 정식화하는데, 이는 로봇이 명시적인 행동 지시 없이 인간 및 환경의 멀티모달 단서에 기반하여 어떤 행동을 취할지 결정해야 하는 상위 인지적 의사결정 문제이다. ProRobo를 지원하기 위해, 우리는 다섯 가지 일반적인 장면 속 12가지 일상생활 시나리오에 걸쳐 시각적 관측, 오디오 신호, 텍스트 입력으로 구성된 1만 개(10K) 샘플을 포함하는 실세계 멀티모달 데이터셋 \textit{ProAction}을 소개한다. 인지적으로 근거 있는 상위 수준 행동 지도(supervision)를 구성하기 위해, 우리는 평가(appraisal) 기반 후보 생성과 정서적 마음 이론(Affective Theory-of-Mind) 기반 인간 정제를 결합한 2단계 인간 참여(human-in-the-loop) 파이프라인을 개발하였으며, 인간의 상태, 긴급성, 실행 가능성, 잠재적 위험에 대한 맥락적 판단을 행동 주석에 명시적으로 반영한다. 이러한 지도를 바탕으로, 우리는 대표적인 멀티모달 대규모 언어 모델(Multimodal Large Language Model, MLLM)들을 벤치마크하고, 멀티모달 관측에서 인지적으로 근거 있는 상위 수준 행동으로의 매핑을 암묵적으로 학습하는 참조 모델인 \textit{MMC2Act}를 소개한다. 모달리티 설정, 피험자 비중첩(subject-disjoint) 일반화, 데이터셋 간 전이, 그리고 인간 평가에 걸친 실험 결과, 범용 MLLM은 멀티모달 단서로부터 상위 수준 행동을 선제적으로 추론하는 데 어려움을 겪는 반면, \textit{ProAction}으로 학습할 경우 성능이 크게 향상됨을 보여준다.

arXiv:2610.01834v3cs.AI공통 태그 Decision Making

시뮬레이션은 코드가 담당하고, 평가는 Jev가 담당한다

Code Owns the Simulation, Jev Owns the Evaluation

Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.

arXiv:2607.20827v2cs.AI공통 태그 Decision Making

LLM 에이전트 행동 선택에서 출처 민감도 감사

Auditing Provenance Sensitivity in LLM Agent Action Selection

LLM 에이전트는 사용자 요청, 도구 출력, 검색된 레코드, 메모리, 신뢰할 수 없는 텍스트가 혼합된 컨텍스트에서 도구와 인자를 선택한다. 증거는 결정을 내릴 권한이 없어도 관련 있을 수 있으므로, 올바른 행동이라고 해서 반드시 허용된 증거에만 그라운딩된 것은 아니다. 우리는 각 도구 및 인자 대상에 대해 컨텍스트 요인을 별도로 라벨링하는 대상별 승인(authorization) 감사를 도입한다. 주요 테스트는 과제, 명제(proposition), 위치, 정책을 고정한 채 명제의 출처 권한(source authority)만 변경한다. 그런 다음 유효한 증거가 약화되었을 때의 행동을 테스트하고, 컨텍스트 부분집합 상호작용을 보조적 국소화(localization) 진단으로 사용한다. 450개의 통제된 다음 행동(next-action) 과제와 여러 오픈 가중치 LLM 계열에 걸쳐, 신뢰할 수 있는 변형과 신뢰할 수 없는 변형은 경쟁(competing) 사례의 5.4%에서, 대조적으로 지지(supporting) 사례의 1.7%에서 서로 다른 행동을 생성한다. 통제된 성능 저하(degradation) 하에서, 무권한 경쟁(unauthorized competition)은 full-correct, mixed-error, clean-correct 패턴에서 비교의 2.4%에서 유지되며, 95% 신뢰구간은 2.1~3.0%이다. 이는 배포 유병률(prevalence)이 아니라 통제된 스트레스 세트(stress-set) 비율이다. 모델은 텍스트적 출처 권한 단서에 반응하지만, 이는 신뢰할 수 없는 증거가 행동에 영향을 미치는 것을 막지 못한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.