arXiv:2609.05369v1 cs.RO

장기 과제 비전-언어-행동 조작을 위한 뉴로-심볼릭 절차적 추론을 향하여

Towards Neuro-Symbolic Procedural Reasoning for Long-Horizon Vision-Language-Action Manipulation

Vivek Chavan, Yahuan Shi, Oliver Heimann, Kevin Haninger, Jörg Krüger

제출 2026-09-04

한국어 초록

비전-언어-행동(VLA) 모델은 짧은 조작 스킬은 실행할 수 있지만, 지속적인 작업 상태, 의존성을 고려한 추론, 조건부 의사결정, 신뢰할 수 있는 그라운딩이 필요한 장기 절차(long-horizon procedure)에서는 여전히 취약하다. 본 연구는 학습된 VLA 제어와 명시적 작업 그래프(task graph), 멀티모달 절차 메모리를 결합한 뉴로-심볼릭 프레임워크를 탐구한다. 작업 그래프는 행동 간 의존성, 유효한 전이, 분기 조건을 인코딩하고, 메모리는 현재 활성 단계, 완료된 행동, 텍스트 컨텍스트, 작업과 관련된 시각적 증거를 유지한다. 이러한 구조들은 함께 객체 선택, 목적지 그라운딩, 하위 목표 전달(subgoal dispatch), 기대되는 상태 전이의 검증을 안내한다. 사람의 시연은 시선(gaze) 또는 saliency 단서를 통해 추가적인 공간적·시간적 지침을 제공한다. 이러한 지침이 정책 학습에 미치는 효과를 분리하여 살펴보기 위해, 초기 연구에서는 시점 간 시선 전이(cross-view gaze transfer)를 우회하고 로봇 시점의 원격 조작 영상에 의사 시선(pseudo-gaze)을 직접 주석으로 부여한다. 이렇게 얻은 지침은 VLA 미세조정과 추론 과정에서 사용된다. 우리는 순서에 따른 실행, 시각적으로 그라운딩된 의사결정, 조건부 분기가 필요한 두 가지 장기 조작 도메인인 작업 공간 정리와 수술 기구 취급을 연구한다. 올바른 객체 및 목적지 선택, 하위 작업 완료, 작업 진행도, 단계 순서 일관성, 전체 작업 성공 여부, 절차상 또는 실행상의 실수를 평가한다. 본 연구는 구조화된 심볼릭 추론과 시연에서 도출된 시각적 지침을 신뢰할 수 있는 장기 VLA 조작을 위한 상호 보완적 메커니즘으로 제시한다.

원문 초록

Vision-language-action (VLA) models can execute short manipulation skills, but remain brittle in long-horizon procedures requiring persistent task state, dependency-aware reasoning, conditional decisions, and reliable grounding. We investigate a neuro-symbolic framework that combines learned VLA control with explicit task graphs and multimodal procedural memory. Task graphs encode action dependencies, valid transitions, and branch conditions, while memory maintains the active step, completed actions, textual context, and task-relevant visual evidence. Together, these structures guide object selection, destination grounding, subgoal dispatch, and verification of expected state transitions. Human demonstrations provide additional spatial and temporal guidance through gaze or saliency cues. To isolate their effect on policy learning, our initial study bypasses cross-view gaze transfer and directly annotates pseudo-gaze in robot-view teleoperation videos. The resulting guidance is used during VLA fine-tuning and inference. We study two long-horizon manipulation domains, workspace clearing and surgical-instrument handling, which require ordered execution, visually grounded decisions, and conditional branching. We evaluate correct-object and destination selection, subtask completion, task progress, step-order consistency, complete-task success, and procedural or execution mistakes. This work positions structured symbolic reasoning and demonstration-derived visual guidance as complementary mechanisms for reliable long-horizon VLA manipulation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.05369v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.