GoferBot: A Visual Guided Human-Robot Collaborative Assembly System
원문 초록
The current transformation towards smart manufacturing has led to a growing demand for human-robot collaboration (HRC) in the manufacturing process. Perceiving and understanding the human co-worker's behaviour introduces challenges for collaborative robots to efficiently and effectively perform tasks in unstructured and dynamic environments. Integrating recent data-driven machine vision capabilities into HRC systems is a logical next step in addressing these challenges. However, in these cases, off-the-shelf components struggle due to generalisation limitations. Real-world evaluation is required in order to fully appreciate the maturity and robustness of these approaches. Furthermore, understanding the pure-vision aspects is a crucial first step before combining multiple modalities in order to understand the limitations. In this paper, we propose GoferBot, a novel vision-based semantic HRC system for a real-world assembly task. It is composed of a visual servoing module that reaches and grasps assembly parts in an unstructured multi-instance and dynamic environment, an action recognition module that performs human action prediction for implicit communication, and a visual handover module that uses the perceptual understanding of human behaviour to produce an intuitive and efficient collaborative assembly experience. GoferBot is a novel assembly system that seamlessly integrates all sub-modules by utilising implicit semantic information purely from visual perception.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DeepSTEP: 동물과 인간을 위한 자세의 동시 추적 및 추정
DeepSTEP: Simultaneous Tracking and Estimation of Pose for Animals and Humans
비디오 프레임 전반에 걸쳐 자세를 추정하면서 일관된 개체 식별을 유지하는 것은 행동 분석과 동작 인식 같은 후속 작업에 매우 중요하지만, 기존 파이프라인은 대체로 추적과 자세 추정을 분리하여 다룬다. 하향식 방법은 프레임별 검출 후 개체 연관을 수행하므로 계산 비용이 증가하고 오류가 전파되며, 상향식 방법은 다중 개체 환경에서 개체 식별을 안정적으로 유지하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 해결하기 위해 본 논문은 다양한 동물 종과 인간을 대상으로 추적과 자세 추정을 결합하여 수행하는 Transformer 기반 프레임워크인 DeepSTEP(STEP)를 제안한다. STEP은 위치 파악, 개체 식별 유지, 키포인트 추정을 단일 모델로 통합하여 프레임별 검출이나 사후 매칭의 필요성을 없앤다. 본 접근법은 판별적 모델 가중치 예측을 활용해 프레임 간에 대상 개체의 식별 정보를 전파하면서 해부학적으로 의미 있는 키포인트를 예측한다. 판별적 모델 예측은 일반적으로 사전 정의된 대상 상태를 필요로 한다. 이에 반해 STEP은 첫 프레임의 초기 바운딩 박스만을 가정하므로 명시적인 키포인트 초기화가 필요하지 않다. 이는 직접적인 키포인트 예측을 가능하게 하고 추론을 단순화하는 두 구성 요소인 가우시안 맵 소프트 예측(GMSP)과 오프셋 맵 회귀 어댑터(OMRA)를 통해 구현된다. STEP은 초기 바운딩 박스에서 출발하여 대상을 추적하고 이후 프레임에서 그 자세를 추정한다. 우리는 여러 종에 걸친 데이터셋에서 STEP을 학습하고 평가하였으며, 기존 방법보다 강력한 성능과 높은 효율성을 보였다. STEP은 추적과 자세를 결합하여 모델링함으로써 효과적이고 확장 가능한 해법을 제공한다.
OmniFall: From Staged Through Synthetic to Wild, A Unified Multi-Domain Dataset for Robust Fall Detection
Zero-shot Skeleton-based Action Recognition with Prototype-guided Feature Alignment
HopaDIFF: Holistic-Partial Aware Fourier Conditioned Diffusion for Referring Human Action Segmentation in Multi-Person Scenarios
EPFL-Smart-Kitchen-30: Densely annotated cooking dataset with 3D kinematics to challenge video and language models
EgoExOR: An Ego-Exo-Centric Operating Room Dataset for Surgical Activity Understanding
토론
이 논문과 연결된 포럼 글이 아직 없습니다.