arXiv:2403.15049

Continual Vision-and-Language Navigation

Seongjun Jeong, Gi-Cheon Kang, SeongHo Choi, Joochan Kim, Byoung-Tak Zhang

제출 2024-03-22

원문 초록

In developing Vision-and-Language Navigation (VLN) agents that navigate to a destination using natural language instructions and visual cues, current studies largely assume a \textit{train-once-deploy-once strategy}. We argue that this kind of strategy is less realistic, as deployed VLN agents are expected to encounter novel environments continuously through their lifetime. To facilitate more realistic setting for VLN agents, we propose Continual Vision-and-Language Navigation (CVLN) paradigm for agents to continually learn and adapt to changing environments. In CVLN, the agents are trained and evaluated incrementally across multiple \textit{scene domains} (i.e., environments). We present two CVLN learning setups to consider diverse forms of natural language instructions: Initial-instruction based CVLN, focused on navigation via initial-instruction interpretation, and dialogue-based CVLN, designed for navigation through dialogue with other agents. We introduce two simple yet effective baseline methods, tailored to the sequential decision-making needs of CVLN: Perplexity Replay (PerpR) and Episodic Self-Replay (ESR), both employing a rehearsal mechanism. PerpR selects replay episodes based on episode difficulty, while ESR stores and revisits action logits from individual episode steps during training to refine learning. Experimental results indicate that while existing continual learning methods are insufficient for CVLN, PerpR and ESR outperform the comparison methods by effectively utilizing replay memory.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28236v1cs.CV공통 태그 Navigate, Sequential Decision Making, Continual Learning

EmbodiedMemory-Bench: 장기 체감 과업을 위한 체감 메모리 벤치마킹

EmbodiedMemory-Bench: Benchmarking Embodied Memory for Long-Horizon Embodied Tasks

장기 체감 상호작용에서는 에이전트가 관찰하고 행동하며 변화를 겪는 동안 환경에 대한 정보를 유지하고 지속적으로 갱신해야 한다. 그러나 현재 에이전트는 이러한 메모리를 안정적으로 유지하는 데 어려움을 겪는다. 우리 분석은 이 한계를 네 가지 핵심 결함으로 추적한다: 미세한 시각 메모리의 취약함, 신뢰할 수 없는 동적 세계 상태(world-state) 추적, 상호작용 결과로 드러난 세계 상태 기록 실패, 과거 경험으로부터의 제한된 일반화. 그러나 기존 벤치마크는 장기 체감 상호작용 과정에서 이러한 메모리 역량을 직접 평가하지 않는다. 이 공백을 메우기 위해 우리는 네 가지 과업군에 걸친 2,554개의 상호작용 에피소드로 구성된 EmbodiedMemory-Bench(EMem-Bench)를 제안한다. EMem-Bench는 에이전트가 상호작용 이력으로부터 메모리를 구축·갱신한 뒤, 이를 활용해 환경에서 행동함으로써 이후 과업을 완수하도록 요구한다. 또한 체감 경험을 공간, 사건, 장면 메모리로 구조화하는 외부 메모리 시스템 Embodied-Memorizer(EMem)를 제시한다. 또한 이러한 메모리를 관리하고 활용하는 8B 정책(policy) EMem-8B를 학습한다. 오픈소스 및 독점 MLLM과 대표적인 멀티모달 메모리 시스템을 폭넓게 평가한다. 결과는 현재 모델이 네 가지 과제 전반에 걸쳐 여전히 취약하고 불균형함을 보여준다. 동일 백본(backbone) 조건에서 EMem은 평가된 메모리 시스템 중 최고의 전체 성능을 달성하며 오픈소스와 독점 모델 모두를 개선하고, EMem-8B는 백본 대비 추가로 향상된다. 프로젝트 페이지: https://zju-omniai.github.io/EmbodiedMemoryBench/

arXiv:2610.00613v1cs.AI공통 태그 Navigate, Sequential Decision Making

행동이 아닌 공간 전략: LLM 기반 에이전트를 위한 도구로서의 벡터 양자화 측지선

Spatial Strategies, Not Actions: Vector-Quantized Geodesics as Tools for LLM-Driven Agents

대규모 언어 모델(LLM) 기반 에이전트(agent)는 공간 이해력이 부족하고 주로 통계적 텍스트 패턴만을 활용한다는 비판을 자주 받습니다. 본 연구에서는 그리드 월드 환경(environment)에서 기하학적 도구와 상위 수준 오케스트레이터 역할을 하는 LLM을 결합한 아키텍처를 통해 이들의 공간 이해력을 조사합니다. 에이전트는 먼저 측지선 궤적(geodesic trajectory)을 수집하고, 이를 벡터 양자화(quantization)하여 대표적인 하위 집합을 추출합니다. 오프라인 단계에서 LLM은 선택된 각 궤적에 내재된 행동 패턴에 대한 자연어 설명을 연결하여 도구로 만듭니다. 온라인 단계에서는 LLM이 현재 상태와 목표에 맞춰 적절한 도구를 선택합니다. 하위 수준 제어는 도구와 연계된 궤적을 실행하는 기본 행동(primitive action)으로 처리됩니다. 에이전틱 AI 관점에서 이러한 접근 방식은 학습을 두 단계로 분리합니다. 즉, 도구 발견은 궤적의 비지도 양자화를 통해 처리되며, 추론과 의사결정은 LLM이 담당합니다. 오픈 비전-언어 모델(vision-language model)(Qwen3.6-35B-A3B)을 사용하여 부분 관측 가능한 동적 2D 그리드 환경에서 이 접근 방식을 테스트합니다. 기하학 기반 도구 라이브러리를 에이전트 중심 줌 도구 및 충돌 감지 도구와 결합함으로써, 빠르고 비추론적인 구성으로도 훨씬 비용이 많이 드는 사고의 연쇄(Chain-of-Thought) 버전의 목표 도달률과 동등한 성능을 달성하는 동시에 의사결정 비용을 수분에서 수초 단위로 단축할 수 있었습니다.

arXiv:2609.19801v2cs.LG공통 태그 Navigate, Sequential Decision Making

DeliveryGym: An RL Environment for Long-Horizon Embodied Agent Planning with Adaptive Curriculum

The user asked for a JSON-only translation response with no markdown fences. Here is the result: {"title_ko": "DeliveryGym: 적응형 커리큘럼 기반 장기 체화 에이전트 계획을 위한 강화학습 환경", "abstract_ko": "실행 가능한 환경은 LLM 에이전트가 자신의 행동 결과로부터 학습할 수 있게 한다. 체화 에이전트의 경우, 그 결과는 현재 과제의 성공 여부를 넘어선다. 배달을 완료하는 것은 이후 작업에 필요한 시간, 에너지, 또는 돈을 소모할 수 있다. 따라서 계획 학습을 위해서는 이러한 의존성을 보존하고 완전한 궤적에 걸쳐 이를 피드백으로 전환하는 환경이 필요하다.\n\n우리는 연속적인 배달원 근무 교대를 대상으로 에이전트를 평가하고 학습하는 3D 환경인 DeliveryGym을 제안한다. 이는 다중 모달 도구 상호작용과 지속적인 세계 동역학을 결합하고, 시뮬레이터 이벤트로부터 궤적 보상을 계산하여 에이전트 결정의 비용을 강화학습(RL)에 사용할 수 있게 한다. 또한 평가는 고정한 채, 환경은 정책에서 관찰된 약점에 맞춰 향후 학습 교대를 적응시킨다.\n\n6개 모델과 13개 도시 맵에 걸쳐, 평가는 할당된 배달을 안정적으로 수행하는 것과 한 교대 동안 업무를 선택하고 순서를 정하는 것 사이의 격차를 드러낸다. 보지 못한 도시 테스트 세트에서 RL은 Qwen3-VL-4B의 순수익을 54.3% 향상시켜, 완전한 교대로부터 학습하면 이러한 결합된 제약 하에서 성능이 개선됨을 보여준다. 학습 환경을 적응시키면 100회 업데이트에서 균일 샘pling 대비 평가 수익이 18% 개선되어, 에이전트가 연습하는 상황이 무엇인지도 중요함을 시사한다. DeliveryGym은 에피소드 내에서 배달을 조율하고 이후 주문을 위해 자원을 보존하는 방법을 에이전트가 학습하는 과정을 연구할 수 있는 실행 가능한 설정을 제공한다."}

arXiv:2609.22285v1cs.RO공통 태그 Sequential Decision Making, Continual Learning

ORDER: 도메인 적응형 체화 AI(Embodied AI)를 위한 허구 세계 벤치마크

ORDER: A Fictitious-World Benchmark for Domain-Adaptive Embodied AI

연속 사전학습(continual pre-training)으로 언어 모델을 새 도메인에 적응시키면 근본적인 평가 문제가 생긴다. 학습 코퍼스가 모델이 이미 알고 있는 내용과 겹치면, 성능 향상을 새로운 학습이 아니라 기존 지식 탓으로 깔끔하게 구분할 수 없기 때문이다. 이는 지식 집약·과업 경량(knowledge-intensive, task-light, KHTL) 로봇 배치—의약품 조제, 유해 물질 취급, 시설별 규정 등—에서 특히 중요하다. 여기서 물리적 과업은 단순하지만 적용 규칙은 독점적이며 안전에 critical하고, 광범위한 현장 시험은 비용이 크거나 위험하다. 본 논문은 ORDER(Ontology-driven Decision-making for Embodied Reasoning)를 제안한다. ORDER는 허구 세계 위에 구축된 벤치마크로, 어떤 모델의 사전학습 데이터에도 등장할 수 없는 자기 일관적 물리를 정의하는 342,069토큰 규모의 합성 코퍼스를 바탕으로 한다. ORDER는 500문항 지식 시험(ORDER-BENCH)과 더 어려운 구성(compositional) 과업 ORDER-SPATIAL—익숙한 장면과 완전히 새로운 장면 모두에서 안전한 조작을 위한 객체 순서 정하기—to 짝지운다. 적응 없이 GPT-4.1은 ORDER-SPATIAL에서 우연 수준 이하(Kendall's tau = 0.441)를 기록하며, 선험(prior)이 발명된 물리와 적극적으로 충돌함을 보여준다. 연속 사전학습 이후 소형 모델은 익숙한 장면과 새로운 장면 모두에서 크게 향상되어, 암기가 아닌 진정한 세계 모델 유도(world-model induction)의 증거를 제공한다. 이어 로봇 파이프라인까지 확장한다. 지식 시험을 잘 통과하는 모델도 추가 스킬 적응(skill-adaptation) 단계 없이는 유효하고 실행 가능한 계획을 종종 만들지 못한다. 그 단계 이후 완전 오프라인 소형 모델은 GPT-4.1이 동일 규칙에 대한 검색(retrieval) 접근을 제공받는 경우에도 GPT-4.1을 능가한다(Kendall's tau = 0.848 대 0.606). 이는 human-in-the-loop 보정이 포함된 시뮬레이션 iiwa7 팔에서 지각부터 실행까지의 전체 루프로 시연된다. 전반적으로 실제 계획 품질을 예측하는 것은 지식 시험 정확도가 아니라 ORDER-SPATIAL 성능이다.

arXiv:2609.24130v1cs.AI공통 태그 Sequential Decision Making, Continual Learning

에이전트 자체 수정의 런타임 감독을 위한 자가 치유 하네스

Self-Healing Harness for Runtime Oversight of Agent Self-Modification

대규모 언어 모델(LLM) 에이전트는 자신의 미래 행동을 스스로 변경할 수 있으며, 이는 자체 생성된 변경 사항 중 어떤 것을 영구 유지하도록 허용해야 하는지에 대한 근본적인 제어 문제를 제기합니다. 본 연구는 이를 자체 수정에 대한 진입 제어(admission control) 문제로 정형화합니다. 에이전트는 자신의 운영 지침에 대한 변경 사항을 제안할 수 있으며, 외부 런타임 게이트가 영구 유지 여부를 제어합니다. 이러한 원리를 바탕으로, 본 연구는 수정되지 않은 기존 에이전트 주변에서 탐지(Detect), 인지(Notice), 치유(Heal), 검증(Validate) 루프를 실행하는 모델(model) 불가지론적 자가 치유 하네스(self-healing harness)를 구현합니다. 에이전트는 외부 작업 공간에서 후보 행동 규칙을 작성하며, 이 규칙은 평가 동안 임시 실행 권한을 부여받고, 유발된 실패에 대한 측정된 개선을 보이면서도 보호된 사례에서 고정된 마진(margin)을 초과하는 회귀(regression)가 발생하지 않을 때에만 영구적인 에피소드 간 권한을 획득합니다. 리플레이(replay)는 가능할 때 일치하는 증거를 제공하고, 전방 시도(forward trial)는 더 약한 대안을 제공하며, 말뭉치 수준 가드는 누적된 활성 규칙 세트를 재테스트합니다. AppWorld, Terminal-Bench, $\tau^2$-Bench에 걸친 16개의 매칭된 기준선(baseline) 및 하네스 실행 전반에서, 게이트는 리플레이로 판정된 383개의 제안을 거부했습니다. 이 중 211개(55%)는 원인이 된 실패 사례를 개선했으나 기존에 정상 작동하던 사례의 성능을 저하시켰습니다. 이는 국소적으로 유익한 자체 수정이 게이트 결정에 실질적인 영향을 미칠 만큼 부수적인 회귀를 빈번히 유발할 수 있음을 보여주며, 외부 진입 제어에 대한 직접적인 실증적 근거를 제시합니다. 작업 완료 점수는 16개 쌍 모두에서 하네스를 적용했을 때 더 높았으며(두 개의 대응 표본 부트스트랩 구간은 0을 제외함), 반복 시도 신뢰성은 12개 쌍에서 더 높았고 4개 쌍에서 동일했으며 더 낮은 경우는 없었습니다. 적응 과정은 모델 가중치(weight)를 고정한 채 정책 유도 컨텍스트만을 수정하므로, 승인된 변경 사항은 검사 가능하고, 되돌릴 수 있으며, 가중치가 비공개된 폐쇄형 모델과도 호환성을 유지합니다.

arXiv:2609.24187v1cs.RO공통 태그 Navigate, Sequential Decision Making

StenoVLA-3D: 위장관 협착 통과를 위한 3D 인식 추론 VLA

StenoVLA-3D: 3D-Aware Reasoning VLA for Navigation Through Gastrointestinal Stenoses

자율 내시경 내비게이션에서는 정책 모델이 질감 정보가 빈약한 단안(monocular) 관측으로부터 행동을 예측하고, 안전한 제어 결정을 내려야 하며, 병변이 시야(field of view)를 벗어난 뒤에도 병변에 대한 증거를 유지해야 한다. 기존 비전-언어-행동(VLA) 모델은 주로 시각적 외관과 단기 문맥에 의존하여 기하학적 그라운딩(grounding)과 에피소드 수준 보고가 제한된다. 본 연구는 협착(stenotic) 구간 통과 내비게이션을 위한 3D 인식 VLA 프레임워크인 StenoVLA-3D를 제안한다. 학습된 기하 게이트 융(geometry-gated fusion)을 통해 포인트 맵(point-maps)을 Cosmos-Reason 2 백본에 통합하고, 통과 진행(traversal progress)을 모델링하기 위한 시간적 상태 분기(temporal state branch)도 제안한다. 추론-행동 백본은 행동과 함께 그라운딩된 추론을 예측하며, 전용 헤드는 협착 형상을 추정하고 최종 병변 보고서를 생성한다. 또한 병변 주석, 행동, 시간적으로 그라운딩된 추론을 포함한 에피소드 수준 데이터셋 EndoCausal를 도입한다. 보류(hold-out)된 40개 녹화 테스트 에피소드에서 StenoVLA-3D는 95.2%의 의미 정확도와 83.4%의 행동 정확도를 달성한다. 물리적 3-DoF 내시경에서는 식도 및 결장 팬텀(각 36회 시험)에서 각각 88.9% 및 77.8%의 과제 성공률을 기록하여, 평가한 베이스라인을 크게 상회한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.