장기(long-horizon) 1인칭/3인칭 데이터는 풍부한 절차적 증거를 포함하고 있지만, 중복되고 노이즈가 많으며 처리하거나 보관하는 데 많은 비용이 듭니다. 본 논문에서는 연속적인 멀티모달 작업장 비디오를 작업 환경 모델(WEM)로 구현된 구조화된 절차적 상태 메모리(Procedural State Memory)로 변환하는 컴팩트한 프레임워크를 제안합니다. 사건 분할 이론(event segmentation theory)에서 영감을 받아, 고정된 윈도우나 시각적 새로움에만 의존하는 대신 시각적 맥락, 위치, 동작, 내레이션, 시선/물체 상호작용 및 선택적인 3인칭 작업 공간 증거의 변화를 활용하여 경계를 감지합니다. 각 세그먼트는 행위자, 시간 구간, 위치, 행동, 물체/도구, 이전/이후 상태, 신뢰도 및 출처를 포함하는 증거 연계형 이벤트 카드로 추상화됩니다. 이러한 이벤트 카드는 WEM을 점진적으로 업데이트하여 온프레미스(on-premise) 프라이버시 제약 조건 하에서 컴팩트하고 감사 가능한 문서화 및 검색을 가능하게 합니다. 본 연구에서는 동결된 DINOv2 및 VJEPA-2 인코더와 로컬 언어 모델로 설계를 구현하고, 분할 품질, 메모리 압축률, 검색 충실도 및 장기 질의응답(QA)에 대한 평가 기준을 제시합니다.
비전-언어-행동(VLA) 모델은 짧은 조작 스킬은 실행할 수 있지만, 지속적인 작업 상태, 의존성을 고려한 추론, 조건부 의사결정, 신뢰할 수 있는 그라운딩이 필요한 장기 절차(long-horizon procedure)에서는 여전히 취약하다. 본 연구는 학습된 VLA 제어와 명시적 작업 그래프(task graph), 멀티모달 절차 메모리를 결합한 뉴로-심볼릭 프레임워크를 탐구한다. 작업 그래프는 행동 간 의존성, 유효한 전이, 분기 조건을 인코딩하고, 메모리는 현재 활성 단계, 완료된 행동, 텍스트 컨텍스트, 작업과 관련된 시각적 증거를 유지한다. 이러한 구조들은 함께 객체 선택, 목적지 그라운딩, 하위 목표 전달(subgoal dispatch), 기대되는 상태 전이의 검증을 안내한다. 사람의 시연은 시선(gaze) 또는 saliency 단서를 통해 추가적인 공간적·시간적 지침을 제공한다. 이러한 지침이 정책 학습에 미치는 효과를 분리하여 살펴보기 위해, 초기 연구에서는 시점 간 시선 전이(cross-view gaze transfer)를 우회하고 로봇 시점의 원격 조작 영상에 의사 시선(pseudo-gaze)을 직접 주석으로 부여한다. 이렇게 얻은 지침은 VLA 미세조정과 추론 과정에서 사용된다. 우리는 순서에 따른 실행, 시각적으로 그라운딩된 의사결정, 조건부 분기가 필요한 두 가지 장기 조작 도메인인 작업 공간 정리와 수술 기구 취급을 연구한다. 올바른 객체 및 목적지 선택, 하위 작업 완료, 작업 진행도, 단계 순서 일관성, 전체 작업 성공 여부, 절차상 또는 실행상의 실수를 평가한다. 본 연구는 구조화된 심볼릭 추론과 시연에서 도출된 시각적 지침을 신뢰할 수 있는 장기 VLA 조작을 위한 상호 보완적 메커니즘으로 제시한다.