arXiv:2607.13072v1 cs.RO

HRO: 대규모 언어 모델(LLM) 기반 제로샷 객체 목표 내비게이션을 위한 계층적 방-객체 프레임워크

HRO: Hierarchical Room-to-Object Framework for Zero-Shot Object Goal Navigation with Large Language Models

Luyuan Jia, Yinfeng Yu

제출 2026-07-12

한국어 초록

제로샷 객체 목표 내비게이션(zero-shot object-goal navigation)은 특정 목표에 대한 학습 없이 낯선 환경에서 알려지지 않은 범주의 객체를 탐험하고 그곳으로 이동할 수 있도록 지능형 에이전트를 가능하게 하는 것을 목표로 한다. 제로샷 내비게이션 과제에서는 사전학습된 대규모 모델을 활용하여 사전 지식으로 에이전트의 내비게이션을 안내하는 경우가 일반적이다. 그러나 대규모 언어 모델(LLM) 기반의 기존 제로샷 객체 목표 내비게이션 방법들은 LLM을 평면적인 추론 도구로만 사용하여 객체 또는 영역을 직접 연관 짓는다. 이들은 객체 국소화를 위한 인간과 유사한 방 의미론의 계층적 공간 인지 모델링이 부족하여, 탐험의 심각한 맹목성, 의미 연관의 부족한 정확도, LLM의 상식 추론 잠재력을 완전히 발휘하지 못하는 문제를 초래한다. 본 논문은 제로샷 객체 목표 내비게이션을 위한 LLM 기반 계층적 방-객체(HRO) 프레임워크를 제안하며, 이는 에이전트가 거친-세밀(coarse-to-fine) 방식으로 목표 객체를 탐험하고 내비게이션하도록 안내한다. Gibson 및 HM3D 데이터셋에서의 실험은 HRO 프레임워크가 기존 LLM 기반 방법 대비 우수한 성공률과 일반화 성능을 달성함을 검증하며, 제로샷 객체 목표 내비게이션에서 LLM의 강력한 잠재력을 강조한다.

원문 초록

Zero-shot object-goal navigation aims to enable an intelligent agent to explore and navigate to objects of unknown categories in an unfamiliar environment without specific target training. In zero-shot navigation tasks, pre-trained large models are usually employed to leverage their prior knowledge for guiding the agent's navigation. However, existing zero-shot object-goal navigation methods based on large language models (LLMs) merely utilize LLMs as flat reasoning tools to directly associate objects or regions. They lack the hierarchical spatial cognition modeling of human-like room semantics to object localization, which leads to strong blindness in exploration, insufficient accuracy in semantic association, and failure to fully unleash the common-sense reasoning potential of LLMs. This paper proposes an LLM-driven hierarchical room-to-object (HRO) framework for zero-shot object-goal navigation, which guides the agent to explore and navigate to the target object in a coarse-to-fine manner. Experiments on Gibson and HM3D datasets verify that our HRO framework achieves superior success rate and generalization over existing LLM-based methods, underscoring LLMs' strong potential for zero-shot object-goal navigation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.13072v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15969v1cs.AI공통 태그 Zero-Shot Learning, Large Language Model

PopGen: 제로샷 조정을 위한 의미론적으로 다양한 개체군 생성

PopGen: Generating Semantically Diverse Populations for Zero-Shot Coordination

다중 에이전트 강화학습(multi-agent reinforcement learning)에서 학습(training) 중 협력자에게 다양한 전략을 가진 파트너를 노출하는 것은 테스트 시 더 나은 협업을 달성하기 위한 핵심 요소입니다. 그러나 기존 방법들은 일반적으로 다양성을 측정하기 위해 궤적 수준(trajectory-level)의 대리 지표에 의존하므로, 동일한 전략에서 나온 서로 다른 두 궤적을 다양하다고 잘못 분류할 수 있습니다. 대신 본 연구의 핵심 통찰은 인간이 고수준의 전략을 인식할 수 있는 것과 유사하게, 환경(environment) 내에서 행동적으로 뚜렷이 구별되는 에이전트(agent)를 서술하는 대규모 언어 모델(LLM)의 능력을 활용하는 것입니다. 이를 위해 본 연구에서는 LLM을 사용하여 처음부터 의미론적으로 다양한 에이전트를 합성하는 프레임워크인 PopGen을 소개합니다. PopGen은 먼저 에이전트 행동에 대한 다양한 텍스트 서술 세트를 생성한 다음, 각 행동을 환경 내에서 실행할 수 있는 코드 정책(code policy)으로 변환합니다. 본 연구는 PopGen 개체군을 대상으로 학습된 협력자가 처음 보는 파트너와도 견고한 제로샷(zero-shot) 협력을 달성하며, 네 가지 협업 환경 전반에서 개체군 기반 학습(population-play) 베이스라인들을 능가함을 보입니다. 나아가 의미론적 다양성이 PopGen 개체군 크기에 따라 확장되어 협력자의 최악의 경우(worst-case) 성능을 향상시킴을 보이고, 다양성을 극대화하면서도 개체군 품질을 유지하는 설계 선택 사항들을 식별합니다. 연구 코드는 https://github.com/labicon/PopGen 에서 확인할 수 있습니다.

arXiv:2610.13948v1cs.AI공통 태그 Navigate, Large Language Model

언어 모델은 위키피디아 게임을 플레이할 수 있는가?

Can Language Models Play the Wikipedia Game?

언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.

arXiv:2610.03316v2cs.AI공통 태그 Zero-Shot Learning, Large Language Model

LLM을 활용한 제로샷 교차 문제 일반화를 위한 다중 작업 진화

Multi-Task Evolution for Zero-Shot Cross-Problem Generalization using LLMs

다양한 조합 최적화(combinatorial optimization) 문제를 위한 효과적인 휴리스틱(heuristic)을 설계하는 것은 상당한 전문성과 반복적인 탐색을 필요로 합니다. 대규모 언어 모델(LLM)은 휴리스틱 생성과 개선을 자동화하지만, 휴리스틱 탐색은 일반적으로 최적화 대상 문제의 평가 피드백에 의존합니다. 따라서 소스 작업 피드백만을 사용하여 새로운 문제 정의로 일반화하는 것은 여전히 핵심적인 과제로 남아 있습니다. 본 논문에서는 제로샷(zero-shot) 교차 문제 일반화를 위한 LLM 기반 다중 작업 진화 프레임워크인 MECo를 소개합니다. MECo는 작업 조건부 휴리스틱 개체군을 유지하며, 교차 작업 개체군 성능에 기반한 전이 격차(transfer gap)를 활용해 이들의 상호작용을 유도합니다. 이러한 상호작용은 휴리스틱의 전이와 재조합을 가능하게 합니다. 그런 다음 상호보완적 선택 기준을 통해 각 개체가 소스 조합에 대해 제공하는 추가적인 커버리지를 보상함으로써 간결한 휴리스틱 세트를 구성합니다. 선택된 세트는 추가적인 탐색이나 적응 과정 없이 타깃 문제에 바로 적용됩니다. 차량 경로 문제(VRP) 및 유연한 잡숍 스케줄링(FJSP) 전반에 걸친 32가지 변형 문제를 대상으로 한 실험에서, MECo는 동일한 예산 하에 8개의 자동화된 휴리스틱 설계(AHD) 기준선과 비교해 가장 낮은 평균 비용을 달성함을 보여줍니다. 도메인 외(OOD) 문제에서도 각 제품군에서 가장 강력한 기준선을 능가합니다. 나아가 MECo 프레임워크를 서로 다른 AHD 방법들과 통합했을 때 두 제품군 모두에서 ID 및 OOD 성능이 향상되어, 여러 방법 전반에 걸친 유효성을 뒷받침합니다.

arXiv:2610.10635v1cs.AI공통 태그 Navigate, Zero-Shot Learning

내비게이터의 언어로 말하기: 동결된 항공 VLN 에이전트를 위한 궤적 기반 지시 번역

Speaking the Navigator's Language: Trajectory-Grounded Instruction Translation for Frozen Aerial VLN Agents

항공 비전-언어 내비게이션(VLN) 에이전트는 일반적으로 세부 사항이 풍부하고 궤적에 정렬된 명령으로 학습되는 반면, 사용자는 짧고 의도 중심적인 지시를 내립니다. 동결된(frozen) OpenFly 내비게이터에서 이러한 지시 간극(\emph{instruction gap})은 성공률(SR)을 $31.03\%$에서 $11.33\%$로 떨어뜨립니다. 번역기 학습을 확장하기 위해, 우리는 사람이 작성한 스타일 예시로 언어 모델에 프롬프트를 제공하여 원래 명령을 쌍을 이루는 의도 중심의 약한(Weak) 명령으로 변환하며, 이는 $15.27\%$의 SR을 산출합니다. 우리는 내비게이터를 동결된 상태로 유지하고 궤적 결과로부터 학습함으로써 약한 입력을 에이전트가 실행 가능한 명령으로 번역하는 프런트엔드인 궤적 기반 지시 번역기(\textbf{Trajectory-Grounded Instruction Translator, TGIT})를 소개합니다. 결과적으로 약한 명령으로 학습된 번역기는 약한 입력의 SR을 $37.93\%$로 끌어올리고 실제 사람의 지시로 제로샷 전이($11.33\%{\rightarrow}32.51\%$)됩니다. 또한 배제된(held-out) OpenFly를 개선($4.95\%{\rightarrow}20.79\%$)하고 CityNav 및 AirVLN에서 성능 회복을 이끌어냅니다.

arXiv:2610.10962v1cs.RO공통 태그 Navigate, Scene Understanding

iAm.md: 미지의 개방형 어휘 도메인을 위한 에이전틱 자기성찰 기반 로봇 스킬 자가 평가

iAm.md: Robot Skill Self-Assessment through Agentic Introspection for Unknown Open-Vocabulary Domains

대규모 언어 모델(LLM)의 일반화 능력을 기반으로 하는 에이전틱 AI(Agentic AI)는 체화된(embodied) 작업 계획을 포함하여 광범위한 잠재적 응용 분야를 제공합니다. 예를 들어, 파운데이션 모델(Foundation model) 기반의 체화된 에이전트는 자율 로봇 시나리오에서 그럴듯한 계획을 생성할 수 있습니다. 그러나 제한된 컨텍스트 윈도우(context window)나 다음 토큰(token) 예측 방식에서의 환각(hallucination) 현상으로 인해, 배포된 로봇과 관측된 환경(environment)이 요청된 작업을 실제로 지원하는지 확인하지 않은 채 행동이 생성될 수 있으며, 이를 우리는 "그라운딩 실패(grounding failure)"라고 부릅니다. 최근 파운데이션 모델의 추론 능력 향상 덕분에 자율 로봇 행동 생성 문제는 코드 생성 문제로 공식화될 수 있습니다. 본 논문에서는 배포 환경의 상호 보완적인 증거 형태에 이러한 과정을 고정(anchoring)할 수 있도록 지원하는 마크다운 표준 및 생성 프레임워크인 iAm.md를 제시합니다. 개방형 어휘(open-vocabulary) 시맨틱 매핑을 통해 로컬 비전-언어(vision-language) 검출 및 객체 분할을 결합하고, 이를 이러한 중간 표준화 표현 내의 영구 객체 레코드에 참조시킴으로써 에이전틱 자기성찰(agentic introspection)을 가능하게 합니다. 이어 시뮬레이션된 TIAGo 로봇의 내비게이션 및 매니퓰레이션 작업을 통해 이 새로운 기법을 연구하며, 이러한 표준화된 표현이 스킬 자가 평가와 실행 가능한 작업 일반화를 동시에 어떻게 지원하는지 보여줍니다.

arXiv:2610.00330v2cs.RO공통 태그 Navigate, Scene Understanding

장기 객체 탐색을 위한 회고적 개방형 어휘 메모리

Retrospective Open-Vocabulary Memory for Long-Term Object Search

장기 객체 탐색(long-term object search)은 변화하는 환경을 반복적이지만 불균일하게 관측하면서 객체가 주로 어디에 나타나는지 학습해야 합니다. 본 논문에서는 회고적 개방형 어휘 메모리(retrospective open-vocabulary memory)를 중도 절단된 관측값(censored observations)으로부터의 확률적 추론(probabilistic inference) 문제로 정의하며, 핵심 아이디어는 기회당 증거(evidence per opportunity)를 바탕으로 추론하는 것입니다. 즉, 탐지 여부는 로봇이 해당 위치를 관측할 기회에 비례해서만 신념(belief)에 영향을 주어야 합니다. 본 연구에서는 이 원리를 활용하여 질의 시점에만 지정되는 개념에 대한 장기 유병률(long-term prevalence)을 추정하고, 도출된 신념을 능동적 탐색 사전 확률(active-search prior)로 직접 변환하는 ECROM을 제안합니다. 이 문제를 평가하기 위해 반복적인 탐색 경로 전반에 걸쳐 객체 배치와 관측 기회를 독립적으로 변화시키는 10개 HM3D 주택 환경 기반의 통제된 장기 벤치마크(benchmark)를 도입합니다. ECROM은 보류된(held-out) 질의에 대해 각 지표별 가장 강력한 경쟁 메모리 대비 지지 수준 AP(support-level AP)를 4.5점, 탐색 SPL을 4.2점 향상시킵니다. 벤치마크, 데이터셋, 코드는 오픈소스로 공개될 예정입니다. 프로젝트 페이지: https://jiaming.im/ecrom/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.