Barkour: Benchmarking Animal-level Agility with Quadruped Robots
원문 초록
Animals have evolved various agile locomotion strategies, such as sprinting, leaping, and jumping. There is a growing interest in developing legged robots that move like their biological counterparts and show various agile skills to navigate complex environments quickly. Despite the interest, the field lacks systematic benchmarks to measure the performance of control policies and hardware in agility. We introduce the Barkour benchmark, an obstacle course to quantify agility for legged robots. Inspired by dog agility competitions, it consists of diverse obstacles and a time based scoring mechanism. This encourages researchers to develop controllers that not only move fast, but do so in a controllable and versatile way. To set strong baselines, we present two methods for tackling the benchmark. In the first approach, we train specialist locomotion skills using on-policy reinforcement learning methods and combine them with a high-level navigation controller. In the second approach, we distill the specialist skills into a Transformer-based generalist locomotion policy, named Locomotion-Transformer, that can handle various terrains and adjust the robot's gait based on the perceived environment and robot states. Using a custom-built quadruped robot, we demonstrate that our method can complete the course at half the speed of a dog. We hope that our work represents a step towards creating controllers that enable robots to reach animal-level agility.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ADAPT: 소등된 산업 환경 내 내비게이션을 위한 전이 인식 보상 기반 오디오-깊이 행동 계획
ADAPT: Audio-Depth Action Planning with Transition-Aware Rewards for Lights-Out Industrial Navigation
체화된 내비게이션(embodied navigation)을 위한 비전-언어-행동(vision-language-action) 모델은 일반적으로 RGB 관측에 의존하므로, 가시광 조명을 사용할 수 없는 소등된(lights-out) 산업 환경에서는 적용 가능성이 제한됩니다. 본 연구에서는 목표 위치 파악을 위한 공간 오디오(spatial audio)와 장애물 인식 기하학을 위한 깊이(depth) 정보를 활용하여 조명 독립적인 내비게이션을 연구합니다. 이러한 설정을 지원하기 위해 24개의 산업 환경 장면과 점진적으로 까다로워지는 4가지 음향 조건을 갖춘 벤치마크인 DarkNav-Bench를 도입합니다. 나아가 공간 오디오 인지 기능을 갖추고 강화학습(RL)을 통해 폐루프(closed-loop) 내비게이션에 최적화된 오디오-깊이 행동 계획 프레임워크인 ADAPT를 제안합니다. 주요 강화학습 기여인 전이 인식 보상 셰이핑(TARS)은 위치-방향 그래프 상에서 자세 인식 최단 행동 잠재량(pose-aware shortest-action potential)을 정의합니다. 기존의 측지선 진행 보상과 달리, TARS는 실행 가능한 이동과 제자리 회전을 모두 고려하여 정책 최적화를 위한 행동 일관적 피드백을 제공합니다. 실험 결과, ADAPT는 학습 기반 내비게이션 베이스라인과 제로샷 멀티모달 모델 모두를 상대로 확인된 장면과 확인되지 않은 장면 전반에서 일관되게 우수한 성능을 보였습니다. 확인되지 않은 환경에서 본 모델은 Clean 조건 하에 90.6%의 성공률을 달성했으며, 가장 까다로운 Localized Noise 설정에서도 60.0%의 성공률을 유지했습니다. 이러한 결과는 소등된 산업 환경에서 신뢰할 수 있는 RGB-free 내비게이션을 구현하는 데 있어 공간 오디오와 깊이가 상호 보완적인 양식(modality)으로서 지닌 잠재력을 입증합니다.
언어 모델은 위키피디아 게임을 플레이할 수 있는가?
Can Language Models Play the Wikipedia Game?
언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.
기억된 세계를 넘어서: 진화하는 세계에서의 지속적 내비게이션을 위한 예측적 4D 신념
Beyond the Remembered World: Predictive 4D Belief for Persistent Navigation in Evolving Worlds
지속적 공간 메모리는 체화된 에이전트(embodied agent)가 반복적인 방문에 걸쳐 익숙한 환경을 탐색할 수 있도록 돕습니다. 그러나 목표 대상은 관측되지 않는 동안에도 움직일 수 있으며 내비게이션 도중에도 이동할 수 있어, 에이전트가 도착할 즈음에는 기억된 위치의 신뢰성이 떨어지게 됩니다. 메모리 검색 및 상태 예측 기술의 발전에도 불구하고, 지속적으로 숨겨진 세계의 변화(world evolution)를 고려하고 제한된 시야 하에서 신념(belief)을 수정하는 일은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 에이전트가 간헐적인 관측으로부터 목표 위치를 추론하고, 검사 시점의 상태를 예측하며, 시각적 증거를 사용해 신념을 수정하는 '진화하는 세계 내비게이션(Evolving-World Navigation)'을 연구합니다. 우리는 구조화된 지속-재배치 모델을 통해 타임스탬프가 부여된 3D 객체 이력으로부터 시간 인덱싱된 신념을 구축하는 EvolvingNav를 제안합니다. 이 신념은 마지막으로 관측된 위치에서의 지속성과 다른 위치로의 재배치를 구분하며, 알려진 후보군 집합 외부의 확률 질량도 유지합니다. 이벤트 기반 필터는 시간이 경과함에 따라 현재 신념을 전파하고, 후보 검사 시점에서의 목표 점유율을 예측하며, 새로운 RGB-D 증거를 반영합니다. 부정적 관측(negative observation)은 캘리브레이션된 시야 조건부 탐지 확률에 따라 위치 가설의 가중치를 낮추고, 증거 추적 메커니즘은 동일한 관측의 중복 활용을 방지합니다. 동결된 제로샷(zero-shot) 비전-언어(vision-language) 제어기는 업데이트된 신념을 사용하여 행동을 선택하고 재계획을 수행합니다. 나아가 우리는 인간 활동 궤적을 기반으로 하며, 내비게이션 전후 및 도중의 제어된 변화를 포함하는 54개 장면과 803,680개 작업으로 구성된 벤치마크(benchmark)인 EvoWorld-Bench를 소개합니다. 시뮬레이션 및 실제 로봇 실험에서 EvolvingNav는 평가된 베이스라인 대비 내비게이션 성공률과 탐색 효율성을 향상시켰습니다. 쌍체 실험(paired experiments)에서는 학습 가능한 시간적 패턴 하에서 가장 뚜렷한 성능 향상을 보였으며, 소거 연구(ablation study)를 통해 불확실성 보존 및 시야 인식 증거 반영의 유효성을 입증했습니다.
체계적 다중 에이전트 비전-언어 내비게이션: 공식화, 벤치마크 및 방법론
Systematic Multi-Agent Vision-and-Language Navigation: Formulation, Benchmark, and Method
비전-언어 내비게이션(VLN)은 주로 단일 에이전트가 단일 지시를 따르는 데 초점을 맞추어 왔으나, 많은 실제 응용 분야에서는 개별 에이전트의 역량을 넘어서는 작업을 해결하기 위해 로봇 팀을 필요로 합니다. 본 연구에서는 체계적 다중 에이전트 비전-언어 내비게이션을 제시하며, 우리가 아는 한 다중 에이전트 VLN을 제약 조건이 있는 협업 문제로 최초 체계적으로 공식화합니다. 각 임무는 의존성 및 자원 제약(존재 잠금 및 유지 체인)을 수반하는 하위 작업으로 구성됩니다. 검증된 4단계 제작 파이프라인을 통해 세 가지 지시 체제 하에서 최대 4개의 에이전트로 구성된 팀과 함께 145개 장면에 걸친 11,724개 에피소드로 이루어진 MAVLN으로 작업을 인스턴스화하고, 맞춤형 제약 인식 지표를 함께 제공합니다. 나아가 대규모 언어 모델(LLM) 기반 하위 작업 스케줄러, 각 에이전트의 탐험을 팀 지식으로 전환하는 공유 위상학적 메모리, 그리고 동시 의도를 충돌 없는 경로로 구현하는 충돌 인식 실행 메커니즘을 결합한 협업 지원 내비게이션 시스템인 TRISS를 제시합니다. 광범위한 실험을 통해 TRISS가 포괄적인 기준선임을 입증하며, 스케줄링, 계획, 실행 전반에 걸쳐 상당한 개선 여지가 있음을 밝혀 MAVLN 작업 제약 하에서의 협업 과제를 부각합니다. 프로젝트 페이지: https://xyz9911.github.io/mavln.
EmbodiedMemory-Bench: 장기 체감 과업을 위한 체감 메모리 벤치마킹
EmbodiedMemory-Bench: Benchmarking Embodied Memory for Long-Horizon Embodied Tasks
장기 체감 상호작용에서는 에이전트가 관찰하고 행동하며 변화를 겪는 동안 환경에 대한 정보를 유지하고 지속적으로 갱신해야 한다. 그러나 현재 에이전트는 이러한 메모리를 안정적으로 유지하는 데 어려움을 겪는다. 우리 분석은 이 한계를 네 가지 핵심 결함으로 추적한다: 미세한 시각 메모리의 취약함, 신뢰할 수 없는 동적 세계 상태(world-state) 추적, 상호작용 결과로 드러난 세계 상태 기록 실패, 과거 경험으로부터의 제한된 일반화. 그러나 기존 벤치마크는 장기 체감 상호작용 과정에서 이러한 메모리 역량을 직접 평가하지 않는다. 이 공백을 메우기 위해 우리는 네 가지 과업군에 걸친 2,554개의 상호작용 에피소드로 구성된 EmbodiedMemory-Bench(EMem-Bench)를 제안한다. EMem-Bench는 에이전트가 상호작용 이력으로부터 메모리를 구축·갱신한 뒤, 이를 활용해 환경에서 행동함으로써 이후 과업을 완수하도록 요구한다. 또한 체감 경험을 공간, 사건, 장면 메모리로 구조화하는 외부 메모리 시스템 Embodied-Memorizer(EMem)를 제시한다. 또한 이러한 메모리를 관리하고 활용하는 8B 정책(policy) EMem-8B를 학습한다. 오픈소스 및 독점 MLLM과 대표적인 멀티모달 메모리 시스템을 폭넓게 평가한다. 결과는 현재 모델이 네 가지 과제 전반에 걸쳐 여전히 취약하고 불균형함을 보여준다. 동일 백본(backbone) 조건에서 EMem은 평가된 메모리 시스템 중 최고의 전체 성능을 달성하며 오픈소스와 독점 모델 모두를 개선하고, EMem-8B는 백본 대비 추가로 향상된다. 프로젝트 페이지: https://zju-omniai.github.io/EmbodiedMemoryBench/
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.