MATRX 도시 수색·구조(USAR) 환경에서 사람이 기록한 과거 협업 패턴(collaboration patterns)을 지식 그래프(knowledge graph) 에피소드 기억으로 표현하고, 그래프 표현 학습과 노드 분류로 재사용할 대표 패턴을 자동 선택해 새 협업 전 로봇을 초기화하는 방법을 제안한다. 20명 참가자·160라운드 실험에서 구조 성공률은 25.7%에서 41.3%로, 평균 작업 시간은 283초 줄었으며 개선 효과는 상호작용 초기에 가장 두드러졌다.
안전한 인간-로봇 협업(HRC)은 치명적인 충돌을 방지하기 위해 정확한 사람 자세 추정 및 동작 예측을 필요로 합니다. 기존의 인증 가능한 안전 HRC 접근 방식은 지나치게 보수적이거나 마커 기반 모션 트래킹에 의존하는 반면, 비전 기반 자세 추정기는 ISO 13849-1에 따른 인증에 필요한 통계적 보장이 부족합니다. 이에 따라 본 논문에서는 컨포멀 예측(conformal prediction)을 사용하여 3D 사람 동작 및 예측 오차에 대한 강력한 확률적 한계를 예측하는 파이프라인을 제안합니다. 그래디언트 기반 모니터는 분포 외(out-of-distribution) 입력 자세를 감지하고 이를 과거에 예측된 동작의 자세로 대체하여 원활한 작동을 유지합니다. 그 결과로 도출된 컨포멀 예측 집합은 증명 가능하게 안전한 HRC 접근 방식인 SARA shield에 직접 통합됩니다. Human3.6M 데이터셋 및 실제 HRC 환경에서의 실험에서, 제안하는 컨포멀 예측 집합은 모델 기반 예측보다 부피가 7.6배 더 작았으며, 테스트 분포에서 99.999% 신뢰도로 시간당 위험한 고장 확률을 9.5E-7 이하로 제한하였는데, 이는 성능 수준 d(performance level d)에 필요하지만 충분하지는 않은 조건입니다. 모든 코드와 모델은 https://jakob-thumm.com/conformal_human_motion_prediction/ 에서 확인할 수 있습니다.
전 스택 인간-로봇 협업(HRC)에서는 플래너, 파트너 모델, 협조 정책, 또는 제어기를 교체할 때 층 간 신호의 물리적 의미가 바뀌면 시스템이 쉽게 취약해질 수 있다. 본 논문은 물리적 계약(physical contracts)을 통해 이러한 의미를 보존하는 객체 중심 인지-제어(cognition-to-control) 아키텍처 C2C를 제안한다. C2C는 개별 모듈을 표준화하기보다, 모듈 사이에 교환되는 물리적 의미를 표준화한다. 과제 의도는 기하학적으로 검증된 페이로드 경로로, 파트너 정보는 소스에 독립적인 물리 상태로, 학습된 협조는 유계 11차원 작업 공간 명령으로 표현하며, 로봇별 실행 가능성은 전신 제어(WBC) 내부에 둔다. 참조 시스템은 비전-언어 모델, 결정론적 기하 검증, 파트너 인지 협조를 위한 다중 에이전트 강화학습(MARL)을 결합한다. 아홉 가지 운반 시나리오에서 적응형 MARL 변형은 인터페이스를 바꾸지 않은 채 평균 성공률 77.1–82.1%를 달성했으며, 스크립트형 파트너 기준은 56.5%였다. 동일한 계약은 신경망 및 해석 가능한 hard-tree 액터, 2·3인 운반 팀, 시뮬레이션 파트너에서 인간 파트너로의 대체까지 추가로 지원한다. 실제 Unitree G1–인간 시험에서는 공간 제약 운반에서 100% 성공, 초장형 물체 취급에서 80% 성공을 보였고, G1 휴머노이드 2대와 인간 1명으로 구성된 3인 운반 시스템이 하드웨어에서 동일한 인터페이스 구조를 검증했다. 이 결과들은 C2C가 밀접하게 결합된 HRC 스택을 핵심 구성요소를 바꿔도 물리적 협업 과제를 재정의하지 않아도 되는 플러그 호환 시스템으로 전환할 수 있음을 보여준다.
현재 시각-언어-행동(VLA) 벤치마크는 주로 독립적인 조작 기술을 평가하지만, 인간-로봇 상호작용 구조는 거의 모델링하지 않는다. 그러나 실세계 협업은 본질적으로 공유된 주체성(shared agency) 아래의 조율을 요구하며, 여기에는 의도 이해, 시간적 동기화, 프로토콜 준수, 동적 환경에서의 안전한 상호작용이 포함된다. 이 공백을 해소하기 위해, 우리는 실행 가능한 상호작용 시나리오에 기반한 의도 인식(intent-aware) 인간-로봇 협업을 위한 진단 벤치마크인 HRIBench를 제안한다. HRIBench는 협업 태스크를 구조화된 시나리오 스크립트로 표현하며, 에이전트 역할, 시간적 의존성, 조율 제약, 인간 행동 분포를 명시적으로 모델링한다. 이 추상화를 바탕으로 HRIBench는 Instructor, Collaborator, Intruder의 세 가지 대표적 상호작용 역할을 정의하며, 의도 전달, 공동 조율, 인간 개입 하에서의 견고성을 포괄한다. 이 벤치마크는 다양한 상호작용 궤적과 장면 변형으로 생성된 650개 이상의 평가 에피소드를 갖춘 13개의 역할 조건부 태스크를 포함한다. 이진 태스크 성공 여부를 넘어, HRIBench는 동기화, 반응성, 프로토콜 준수, 안전성에 걸친 해석 가능한 상호작용 중심 지표를 도입한다. 우리는 통합 프로토콜 하에서 GR00T, pi0.5, ACT에 기반한 적응 정책을 평가한다. 결과는 현재 파운데이션 로봇 정책이 강한 조작 능력에도 불구하고 협업 설정에서 상당히 어려움을 겪으며, 시간적 조율과 의도 인식 행동에서 주요 한계를 드러냄을 보여준다. HRIBench에서의 미세조정은 협업 성능을 일관되게 향상시킨다. 실세계 적응 연구에서 HRIBench가 생성한 시뮬레이션 데이터는 GR00T N1.5의 물리 태스크 성공률을 0.10에서 0.43으로 높여, 상호작용 중심 로봇 학습을 발전시키는 데 있어 이 벤치마크의 가치를 입증한다.
fARfetch는 AR 헤드셋과 로봇 간 공유 의미론적 환경 매핑, 문맥 인식 미니어처 세계(WIM) 기반 경로 저작, 비전-언어 모델(VLM) 기반 가상 콘텐츠 적응을 통합하여 대규모 야외 환경에서의 인간-로봇 협업(AR-HRC)을 지원하는 시스템이다. Meta Quest 3와 Unitree Go2로 구현된 실사용자 연구(N=13, 30.5m 야외)에서 비AR 기준선 대비 작업 완료 시간을 66% 단축하고 정신적 부하, 시간 압박, 좌절감을 각각 43%, 34%, 66% 감소시켰다.
효과적인 다중 인간-로봇 협업은 도전적이고 고위험인 수중 환경에서 인간 주도 작업을 확장하는 데 필수적이다. 자율 수중 기체(AUV)가 진정한 팀원이 되려면, 주변을 이해하고 잠수부의 활동을 인식하여 지원을 제공하고 안전을 보장할 수 있어야 한다. 이 목표를 향해, 복잡한 수중 장면을 분석하여 잠수부 활동을 분류하는 새로운 트랜스포머 기반 프레임워크인 DAR-Net을 제안한다. 우리의 기여는 트랜스포머 기반 시간적 추론과 픽셀 수준 장면 감독을 결합하는 의미 기반 학습 공식에 있다. 이 다중 손실 학습 전략은 전역 활동 인식과 지역적 인간-로봇 상호작용 의미론을 명시적으로 정렬하며, 이는 특히 가시성이 낮은 수중 조건에서 매우 중요하다. 이 영역에서 데이터 부족이라는 중대한 과제를 해결하기 위해, 픽셀 수준 마스크가 포함된 2,600장 이상의 주석 이미지를 담은 최초의 Underwater Diver Activity(UDA) 데이터셋이라는 기초 자원을 제시한다. 통제된 환경에서의 엄격한 실험 평가를 통해, DAR-Net이 여섯 가지 구별되는 잠수부 활동을 인식하는 데 있어 유망한 정확도를 달성하며 최신(state-of-the-art) 모델들을 능가함을 보여준다. 이 데이터셋이 중요한 기준선을 제공하는 한편, 본 연구는 선구적인 단계로서 향후 연구의 토대를 마련하고 더 지능적이고 협력적인 수중 로봇 시스템의 개발을 촉진한다.