arXiv:2611.18026v2 cs.RO

명시적 제약 공간을 활용한 안전 인지 로봇 행동 계획의 일반화 가능한 접근

A Generalizable Approach to Safety-Aware Robotic Behavior Planning with an Explicit Constraint Space

Xianxu Wu, Shang-Ching Liu, Zhaocong Liang, Hengxiang Chen, Yujian Ma, Shenwen Deng, Qiang Li, Yung-Hui Li, Jianwei Zhang

제출 2026-11-13

한국어 초록

대규모 언어 모델과 비전-언어 모델은 자연어 지시와 시각 관측으로부터의 로봇 행동 계획을 크게 발전시켰다. 그러나 작업에 필요한 안전 제약이 주변 장면에 따라 달라지며 지시문에 명시되지 않을 수 있기 때문에, 탁상 환경에서의 안전한 조작은 여전히 어려운 과제이다. 우리는 재사용 가능한 텍스트 안전 규칙을 저장하는 명시적 제약 공간(Constraint Space)에 기반한 안전 인지 행동 계획 프레임워크를 제안한다. 의미적 유사도만으로 규칙을 검색하는 대신, 제약 선택을 작업 및 환경 조건부 적용 가능성 학습으로 정식화한다. 경량의 쿼리 조건부 이중 타워 모델이 현재 맥락에 적용 가능한 제약을 식별하고, 이는 원래의 작업 및 이미지와 함께 멀티모달 행동 계획기에 제공된다. 잘못된 제약 선택과 이전에 보지 못한 위험을 처리하기 위해, 생성된 원시 계획을 평가하고 적용 가능한 전체 제약 집합을 재구성하며 교정적 계획 피드백을 제공하는 멀티모달 안전 검사기(Safety Inspector)를 도입한다. 검증된 검사 피드백은 제약 적용 가능성의 테스트 시점 적응과 LoRA를 통한 안전 검사기의 매개변수 효율적 적응에 추가로 활용되며, 새로 식별된 제약은 제약 공간에 편입된다. 그 결과 이 프레임워크는 명시적 안전 지식 표현, 맥락 인지 제약 선택, 교정적 안전 검사, 테스트 시점 지식 적응을 안전 인지 로봇 행동 계획을 위해 통합한다.

원문 초록

Large language and vision-language models have substantially advanced robotic behavior planning from natural-language instructions and visual observations. However, safe manipulation in tabletop environments remains challenging because the safety constraints required for a task depend on the surrounding scene and may not be explicitly specified in the instruction. We propose a safety-aware behavior planning framework based on an explicit Constraint Space that stores reusable textual safety rules. Rather than retrieving rules solely by semantic similarity, we formulate constraint selection as task- and environment-conditioned applicability learning. A lightweight query-conditioned dual-tower model identifies the constraints applicable to the current context, which are then provided together with the original task and image to a multimodal behavior planner. To handle incorrect constraint selections and previously unseen hazards, we introduce a multimodal Safety Inspector that evaluates generated primitive plans, reconstructs the complete applicable constraint set, and provides corrective planning feedback. Validated inspection feedback is further used for test-time adaptation of constraint applicability and parameter-efficient adaptation of the Safety Inspector through LoRA, while newly identified constraints are incorporated into the Constraint Space. The resulting framework integrates explicit safety knowledge representation,context-aware constraint selection, corrective safety inspection, and test-time knowledge adaptation for safety-aware robotic behavior planning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.18026v2제출 시각 미확인
  2. arXiv:2611.18026v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.