그라운딩된 생성형 지능을 활용한 구조화되지 않은 환경에서의 이질적 로봇 협업
Heterogeneous Robot Collaboration in Unstructured Environments with Grounded Generative Intelligence
이질적 로봇 팀은 일반적으로 의미론이 명확히 정의된 잘 명시된 임무를 위해 설계되어 왔지만, 생성형 지능, 즉 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)은 고수준 자연어 명세와 환경 맥락이 주어졌을 때 임무 관련 의미론과 하위 과업을 추론하는 팀의 가능성을 열어 준다. 그러나 현재 LLM 및 VLM 기반 팀 협업 방법은 대개 잘 구조화되고 알려진 환경을 가정하여 복잡한 실세계 환경에서의 성능을 제한한다. 본 연구는 SPINE-HT를 통해 이러한 한계를 해결한다. 이 프레임워크는 3단계 과정을 통해 LLM의 추론 능력을 이질적 로봇 팀의 변화하는 맥락에 그라운딩한다. 임무 명세와 팀 역량이 자연어로 주어지면 LLM이 필요한 하위 과업을 추론한다. 이 하위 과업은 실행 가능성에 대해 검증된 뒤 통행성이나 지각과 같은 역량에 따라 로봇에 할당된다. 마지막으로 프레임워크는 로봇이 획득한 피드백(의미 지도와 과업 결과)을 사용해 하위 과업을 온라인으로 갱신한다. 폐루프 지각 및 제어를 갖춘 시뮬레이션 실험에서 당사 프레임워크는 기존 LLM 기반 이질적 팀 협업 접근법 대비 거의 두 배의 성공률을 달성한다. Clearpath Jackal, Clearpath Husky, Boston Dynamics Spot, 고고도 UAV를 사용한 실세계 실험에서, 로봇 역량에 대한 추론과 온라인 피드백을 통한 하위 과업 정제가 필요한 임무에서 당사 방법은 87.5%의 성공률을 달성한다. 자세한 내용은 https://zacravichandran.github.io/SPINE-HT 에서 확인할 수 있다.