arXiv:2310.10103

Navigation with Large Language Models: Semantic Guesswork as a Heuristic for Planning

Dhruv Shah, Michael Equi, Blazej Osinski, Fei Xia, Brian Ichter, Sergey Levine

제출 2023-10-16

원문 초록

Navigation in unfamiliar environments presents a major challenge for robots: while mapping and planning techniques can be used to build up a representation of the world, quickly discovering a path to a desired goal in unfamiliar settings with such methods often requires lengthy mapping and exploration. Humans can rapidly navigate new environments, particularly indoor environments that are laid out logically, by leveraging semantics -- e.g., a kitchen often adjoins a living room, an exit sign indicates the way out, and so forth. Language models can provide robots with such knowledge, but directly using language models to instruct a robot how to reach some destination can also be impractical: while language models might produce a narrative about how to reach some goal, because they are not grounded in real-world observations, this narrative might be arbitrarily wrong. Therefore, in this paper we study how the ``semantic guesswork'' produced by language models can be utilized as a guiding heuristic for planning algorithms. Our method, Language Frontier Guide (LFG), uses the language model to bias exploration of novel real-world environments by incorporating the semantic knowledge stored in language models as a search heuristic for planning with either topological or metric maps. We evaluate LFG in challenging real-world environments and simulated benchmarks, outperforming uninformed exploration and other ways of using language models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.20627v4cs.AI공통 태그 Navigate

모델 기반 플래닝을 위한 언어 기반 잠재 목표 예측

Latent Goal Prediction from Language for Model-Based Planning

결합 임베딩 예측 아키텍처(JEPA)를 통해 에이전트는 후보 행동의 결과를 상상함으로써 잠재 공간(latent space)에서 계획을 수립할 수 있지만, 여전히 태스크 명세(task specification)가 병목으로 남아 있습니다. 시각적 타깃은 정밀한 국소적 그래디언트를 제공하지만 장거리 유도에는 취약한 반면, 언어는 유연하지만 노이즈가 있는 크로스모달 정렬이나 별도의 대규모 생성 모델에 대한 의존성으로 인해 한계가 있습니다. 본 연구에서는 단일 예측기가 행동 조건부 역학(dynamics)을 예측하는 동시에 언어 지시를 일련의 중간 잠재 하위 목표(latent subgoal) 시퀀스로 그라운딩(grounding)하는 계층적 월드 모델인 LAGO(Latent Goal Prediction from Language)를 제안합니다. LAGO는 공유된 잠재 공간에서 단일 회귀 목적함수를 사용해 두 모드를 모두 학습합니다. 각 계획 수립 단계에서 LAGO는 언어 지시로부터 잠재 하위 목표 시퀀스를 예측하고, 고정된 경로를 강제하지 않으면서 하위 목표 근접성에 보상을 부여하는 소프트 최소(soft-minimum) 정렬 비용을 활용하여 행동 시퀀스를 최적화합니다. 하위 목표는 에이전트의 상태가 변함에 따라 재예측되어, 단일 장기 지시를 국소적으로 다루기 쉬운 일련의 목표 시퀀스로 전환합니다. 내비게이션 및 매니퓰레이션을 아우르는 환경 전반에서 LAGO는 평탄형(flat) 및 계층적 이미지 목표 플래너보다 우수한 성능을 보였으며, 곡선 형태의 위험 회피 경로가 있는 장기 내비게이션에서 가장 큰 폭의 향상을 달성하여 동일한 시연 데이터로 학습된 목표 조건부 행동 복제(behavior cloning) 정책의 성공률을 두 배 이상 끌어올렸습니다. 월드 모델 자체의 잠재 공간에 언어를 그라운딩하는 방식은 정답 역학(ground-truth dynamics)으로 계획을 수립하는 모델을 포함한 비전-언어(vision-language) 보상 모델보다도 우수한 성능을 보입니다.

arXiv:2606.18634v2cs.RO공통 태그 Navigate

EffiNav: 효율적인 객체 목표 내비게이션을 위한 깊이와 비전-언어 융합

EffiNav: Fusing Depth and Vision-Language for Efficient Object Goal Navigation

미지의 환경을 탐험하며 대상 객체를 찾는 것은 자율 에이전트의 핵심 능력으로, 수색 및 구조부터 현장 로봇에 이르기까지 다양한 응용 분야가 있습니다. 이러한 작업의 단순화된 버전은 객체 목표 내비게이션(ObjNav)입니다. ObjNav에서 대상 객체에 성공적으로 도착하는 것은 성능의 기본 척도가 되지만, 내비게이션 궤적의 효율성 또한 에이전트가 얼마나 지능적으로 탐험하는지와 후속 작업에 얼마나 많은 시간이 남아있는지를 나타내므로 동등하게 중요합니다. 미지의 환경에서 효율적인 내비게이션의 핵심은 다음에 어디를 탐험할지 결정하는 데 있습니다. 많은 기존 연구가 이 핵심 과제를 해결하고 특정 설정에서 유망한 성능을 달성했으나, 최근의 학습 기반 모델과 비학습 프레임워크는 각각 일반화 및 효율성 문제로 인해 여전히 어려움을 겪고 있으며, 최악의 경우 이미 방문한 영역의 과도한 탐험이나 불필요한 왕복 움직임으로 이어질 수 있습니다. 우리는 널리 사용되는 두 시뮬레이션 벤치마크인 Habitat Matterport 3D(HM3D)와 Open-Vocabulary Object goal Navigation(OVON)에서 EffiNav를 평가하고, 실제 환경의 물리적 로봇에서 그 효과를 추가로 검증했습니다. 또한 대규모 시뮬레이션 에피소드에 대한 실패 분석을 수행했습니다. 최소한의 수정만으로 GOAT-BENCH 데이터셋의 메모리 증강 ObjNav 작업으로 EffiNav를 확장하여, 표준 ObjNav 설정을 넘어선 적응성을 입증했습니다. 성공률(SR)과 경로 길이 가중 성공(SPL)이라는 두 가지 표준 지표 전반에서 EffiNav는 최신 기준 모델과 대등하거나 이를 능가하는 성능을 보여, 효율성, 견고성 및 실용적 적용 가능성을 입증했습니다. 두 데이터셋의 서로 다른 강조점을 고려할 때, 이러한 성과는 해당 프레임워크가 효율적인 ObjNav에 있어 더 균형 잡혀 있고 일반화 가능함을 보여줍니다.

arXiv:2608.13545v3cs.CL공통 태그 Language Modelling

LittleLearner: 교육학적으로 제어된 지식 노출 환경에서의 언어 모델

LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure

현대 언어 모델은 이종의 웹 규모 텍스트 말뭉치로 학습됩니다. 결과적으로 관련 콘텐츠에 대한 사전 노출을 명확히 규정하기 어렵기 때문에, 지식 및 기술 습득을 연구하는 데 한계가 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 미국 초등학교 교육 자료에 맞추어 5학년을 초과하는 학년에서 가르치는 개념, 사실 및 어휘를 명시적으로 제외하고 구축한 880억(88B) 토큰 규모의 사전학습 말뭉치인 LittleCurriculum을 소개합니다. LittleCurriculum을 기반으로 50억(5B) 매개변수 대규모 언어 모델(LLM)을 처음부터 학습(scratch)시켜, 개방형 평가를 수행하기에 충분한 언어 능력을 갖추면서도 해석 가능한 교육과정 지침에 부합하는 명확한 지식 및 능력 경계를 지닌 모델인 LittleLearner를 도출했습니다. 잘 정의된 학습 범위 내에서 모델이 데이터를 어떻게 습득하고, 표현하며, 활용하는지 연구할 수 있도록 발달적으로 제한된 샌드박스로 LittleCurriculum과 LittleLearner를 공개합니다. 또한 사후 학습(post-training)과 문맥 내 학습(ICL)을 통해 새로운 지식을 주입하는 첫 번째 일련의 실험을 통해 이 샌드박스의 유용성을 입증합니다. 이러한 방식은 LittleLearner가 기존 지식을 더 잘 활용할 수 있도록 돕지만, 범위를 벗어난 능력을 향상시키지는 못합니다. 본 연구 결과는 향후 연구를 위한 이러한 통제된 환경의 가치를 강조합니다.

arXiv:2605.10938v3cs.CL공통 태그 Language Modelling

ELF: 임베딩 언어 흐름(Embedded Language Flows)

ELF: Embedded Language Flows

확산(diffusion) 및 흐름 기반(flow-based) 모델은 이미지와 동영상 등의 도메인에서 연속 데이터를 생성하는 사실상의 접근법이 되었다. 그 성공은 언어 모델링(language modeling)에 이를 적용하려는 관심을 점점 더 끌어들이고 있다. 이미지 도메인의 대응 모델과 달리, 오늘날 선도적인 확산 언어 모델(diffusion language models, DLMs)은 주로 이산 토큰(discrete tokens) 위에서 동작한다. 본 논문에서는 이산 도메인에 대한 최소한의 적응만으로 연속 DLM을 효과적으로 만들 수 있음을 보인다. 우리는 연속 시간 Flow Matching에 기반한 연속 임베딩 공간에서의 확산 모델 클래스인 Embedded Language Flows(ELF)를 제안한다. 기존 DLM과 달리 ELF는 마지막 시간 단계까지 주로 연속 임베딩 공간 내에 머무르며, 이 단계에서 공유 가중치(shared-weight) 네트워크를 사용하여 이산 토큰으로 매핑한다. 이 구성은 이미지 도메인 확산 모델에서 확립된 기법, 예를 들어 classifier-free guidance(CFG)를 적응시키기 쉽게 만든다. 실험 결과 ELF는 선도적인 이산 및 연속 DLM을 크게 능가하며, 더 적은 샘플링 단계로 더 나은 생성 품질을 달성한다. 이 결과는 ELF가 효과적인 연속 DLM을 향한 유망한 경로를 제공함을 시사한다.

arXiv:2602.02220v4cs.CV공통 태그 Navigate

LangMap: 계층적 개방형 어휘 목표 내비게이션을 위한 인간 검증 벤치마크

LangMap: A Human-Verified Benchmark for Hierarchical Open-Vocabulary Goal Navigation

언어 조건부 목표 내비게이션은 체화된 에이전트가 단계별 안내 없이 사용자가 지정한 대상을 찾아야 한다. 그러나 기존 벤치마크는 대체로 범주 수준의 목표에 초점을 맞추거나 비전-언어 모델이 생성한 인스턴스 설명에 의존하는데, 이러한 설명에는 모호성과 의미 오류가 자주 포함되어 체계적이고 신뢰할 수 있는 평가를 제한한다. 우리는 장면, 방, 영역, 인스턴스의 네 가지 계층적 의미 수준의 목표를 갖는 개방형 어휘 내비게이션 과제인 HieraNav를 소개한다. 또한 네 가지 목표 수준 전반의 과제를 지원하는, 사람이 검증한 의미 주석으로 실제 실내 3D 스캔을 풍부하게 한 최초의 목표 내비게이션 벤치마크인 Language as a Map(LangMap)을 제시한다. 같은 장면의 영역과 인스턴스를 비교하는 대조적 주석 프로토콜을 사용하여 HM3D 위에 구축된 LangMap은 영역 레이블과 변별력 있는 영역 및 인스턴스 설명을 제공하며, 414개의 객체 범주를 포괄하고 18K개 이상의 과제를 포함한다. 각 대상에는 간결한 설명과 상세한 설명이 모두 있어 지시 방식에 따른 평가가 가능하다. 자동 평가와 사람 평가는 우리 주석의 품질을 검증한다. 우리의 설명은 공유되는 모든 주석 인스턴스에서 GOAT-Bench의 설명보다 텍스트-뷰 매칭 정확도를 23포인트 향상시키며, 독립적인 사람 감사에서는 92.5%가 유일하고 올바른 매칭으로 확인되었다. 또한 우리는 Bounded Diverse Memory와 상위 수준 계획을 결합하여 반응형 정책을 다중 목표 내비게이션에 맞게 준비시키는 RGB 전용 기준 모델 PlaNaVid를 제안하며, 깊이, 3D 장면 표현, 객체 마스크 없이도 최상위권의 성공률을 달성한다. 추가 분석은 탐색 실패와 계층적 모호성 해소 실패가 더 세밀한 목표 수준에서 두드러지는 반면, 롱테일 범주, 작은 객체, 먼 대상, 적시 정지, 다중 목표 완수는 여전히 어려운 과제임을 보여 준다. 벤치마크와 코드: https://bo-miao.github.io/LangMap

arXiv:2607.13472v2cs.RO공통 태그 Navigate

EgoHTR: 자아시점 4D 인간 지형 통과 시연

EgoHTR: Egocentric 4D Demonstrations of Human Terrain Traversal

비정형 지형에서 휴머노이드 로봇을 배치하는 것은 여전히 미해결 문제이다. 전통적인 강화학습은 실세계 상호작용의 막대한 복잡성 때문에 어려움을 겪는 반면, 인간 사전지식(human priors)을 활용하는 더 유망한 방법들은 맥락 인식이 부족한 모델에 국한되어 있다. 제한된 동작 합성은 기존 데이터셋 파이프라인이 어려운 환경에서 인간-장면(human-scene) 시퀀스를 포착하지 못하는 데서 비롯된 직접적인 결과이다. 휴머노이드 학습과 장면 재구성(scene reconstruction) 사이의 이러한 격차를 메우기 위해, 우리는 자아시점 인간-지형 재구성(Egocentric Human-Terrain Reconstruction, EgoHTR) 데이터셋을 제안한다. 우리는 자아시점 웨어러블과 휴대용 3D 스캐너로 구성된 다중 센서 설정을 사용하여 다양하고 복잡한 환경에서 55개의 장면 정렬(scene-aligned) 4D 인간 동작 시퀀스를 포착하는 재구성 파이프라인을 개발하고 오픈소스로 공개한다. 결과 데이터셋은 15만 프레임 이상으로 구성되며, 우리는 이를 모션 캡처(motion-capture) 정답(ground truth)과 비교 평가하여 최첨단 수준의 정확도를 보여 주고, 인간 동작 분석 및 합성을 위한 엄격한 벤치마크를 확립한다. 또한, 우리는 이 데이터를 활용하여 지각적(perceptive) 보행(locomotion) 정책을 학습하고, 재구성된 기준(reference) 동작에 대해 Unitree G1에서 하드웨어 배포를 시연한다. 우리의 파이프라인은 커뮤니티 주도의 데이터셋 확장을 가능하게 하며, 문제를 분해하여 연구자들이 불균일한 지형을 안정적으로 통과하는 기반적이고 맥락 인식이 가능한 로봇을 구축할 수 있도록 돕는다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.