arXiv:2606.06721v1 cs.RO

SCOUT: 불확실성 기반 순회를 통한 시맨틱 장면 커버리지

SCOUT: Semantic scene COverage via Uncertainty-guided Traversal

Junyu Mao, Sara Ayoubi, Vishnu D. Sharma, Ilija Hadžić, Matthew Andrews

제출 2026-06-04

한국어 초록

장기간 운용되는 로봇은 단순히 공간을 방문하는 데 그치지 않고, 점진적으로 공간을 이해해야 한다. 그러나 대부분의 3D 장면 그래프 파이프라인은 고정된 데이터셋에 대한 후처리 단계로 인식을 다루며, 장면 표현을 애초에 무엇을 관찰할지 결정하는 의사 결정과 분리시킨다. 우리는 SCOUT를 제안한다. SCOUT는 능동적 순회와 확률적 장면 그래프 구성을 결합하여 이 루프를 닫는 온라인 시맨틱 탐험 프레임워크이다. 사전 2D 점유 지도와 포즈가 부여된 RGB-D 관측이 주어지면, SCOUT는 불확실성을 인식하는 3D 장면 그래프를 점진적으로 구축한다. 각 노드는 융합된 기하 정보와 오픈-보캐뷸러리 객체 레이블에 대한 사후 믿음(posterior belief)을 유지하며, 엣지는 on, inside, belong, next to와 같은 구조적 관계를 인코딩한다. 이 믿음들은 불확실성 기반 순회 플래너에 피드백되며, 플래너는 기대되는 시맨틱 확실성 획득, 기하학적 커버리지 획득, 이동 비용의 균형을 맞추어 시점을 선택한다. 이를 통해 로봇은 추가적인 증거가 중요할 때 모호한 객체를 재방문하고, 장면이 불완전할 때 미탐험 자유 공간으로 확장한다. 결과 시스템은 시맨틱 장면 완전성을 시맨틱 매핑의 수동적 부산물이 아닌 운용 목표로 다루며, 최소한의 인간 개입으로 변화하는 실내 환경을 순찰하고, 갱신하고, 추론할 수 있는 자율 에이전트를 향해 나아간다.

원문 초록

Robots that operate over extended periods should not merely visit space; they should progressively understand it. Yet most 3D scene graph pipelines treat perception as a post-processing stage over a fixed dataset, decoupling scene representation from the decisions that determine what is observed in the first place. We present SCOUT, an online semantic exploration framework that closes this loop by coupling active traversal with probabilistic scene graph construction. Given a prior 2D occupancy map and posed RGB-D observations, SCOUT incrementally builds an uncertainty-aware 3D scene graph whose nodes maintain fused geometry and posterior beliefs over open-vocabulary object labels, while edges encode structural relations such as on, inside, belong, and next to. These beliefs are fed back to an uncertainty-guided traversal planner, which selects viewpoints by balancing expected semantic certainty gain, geometric coverage gain, and travel cost. In this way, the robot revisits ambiguous objects when additional evidence matters and expands into unseen free space when the scene remains incomplete. The resulting system treats semantic scene completeness as an operational objective rather than a passive by-product of semantic mapping, moving toward autonomous agents that can patrol, update, and reason about evolving indoor environments with minimal human intervention.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.06721v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13948v1cs.AI공통 태그 Navigate, Knowledge Graphs

언어 모델은 위키피디아 게임을 플레이할 수 있는가?

Can Language Models Play the Wikipedia Game?

언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.

arXiv:2610.00212v1cs.AI공통 태그 Decision Making, Knowledge Graphs

EviGraph: 시간적 공공 서비스 지식 그래프 기반의 증명 수반 선택적 추천

EviGraph: Proof-Carrying Selective Recommendation over Temporal Public-Service Knowledge Graphs

공공 서비스 추천에는 요청된 서비스, 범위 및 날짜와 일치하는 근거가 필요하다. 그러나 누락된 모든 세부 사항을 결정적인 것으로 취급하면 유용한 추천이 보류될 수 있다. 본 논문에서는 미해결 상태로 남아 있어도 되는 정보와 핵심적인 결정 요건을 구분하는 EviGraph를 소개한다. 언어 에이전트(language agent)는 이러한 요건을 시간적 지식 그래프의 근거와 연결하며, 결정론적 검사기(deterministic checker)는 추천이 뒷받침되는지 여부를 확립한다. 실행 가능한 정책 참조가 포함된 이중 언어 홍콩 공공 서비스 벤치마크에 대한 평가 결과, 이러한 구분이 불필요한 기권(abstention)을 줄여주는 것으로 나타났다. 그러나 추가적인 검증은 결정 품질을 향상시키지 않으면서 뒷받침된 추천을 철회할 위험이 있다. 이러한 발견은 신뢰할 수 있는 근거 기반 탐색이 단순히 검증을 늘리는 것보다 결정을 위해 무엇이 확립되어야 하는지를 명시하는 것에 달려 있음을 시사한다.

arXiv:2609.36906v2cs.CV공통 태그 Decision Making, Navigate

SafeVantage: 신뢰할 수 있는 임바디드 의사결정을 위한 시점 인지 메모리

SafeVantage: Vantage-Aware Memory for Reliable Embodied Decisions

부분 관측성(partial observability) 환경에서 신뢰할 수 있는 임바디드(embodied) 의사결정을 내리려면 유의미한 관측과 충분한 뒷받침 증거가 필요합니다. 그러나 의미론적(semantic) 점수만으로는 어떤 시점(viewpoint)이 특정 주장을 뒷받침하는지, 또는 추가적인 증거를 어디서 확보해야 하는지 파악할 수 없습니다. 본 연구에서는 각 주장을 뒷받침하는 뷰, 카메라 포즈, 추정된 목표 위치를 보존하여 긍정적 지지(support)와 탐색 범위를 명확히 구분하는 시점 인지(vantage-aware) 의미 메모리 및 능동적 정보 획득 프레임워크인 SafeVantage를 소개합니다. 학습된 후보 관측 가능성(candidate-observability) 모델(model)은 주장 기반 지오메트리를 활용하여 도달 가능한 시점에서의 목표 가시성을 예측합니다. 이러한 예측은 이동 비용과 기하학적으로 구별되는 확증을 고려하여, 최종 결정 손실(loss)의 기대 감소량을 바탕으로 시점 선택을 유도합니다. 이후 보정된 헤드가 지지 증거, 공간적 일관성, 커버리지를 결합하여 'Yes', 'No', 또는 'Abstain(기권)' 결정을 내립니다. 저자들은 232개의 미확인 ProcTHOR 주택과 방법 및 행동 예산당 7,424개의 쌍을 이룬 에피소드에 걸친 범주 존재성 벤치마크(benchmark)에서 SafeVantage를 평가(evaluation)합니다. 검증(validation)을 통해 선정된 동일 예산의 베이스라인과 비교했을 때, SafeVantage는 8회 및 12회 행동 조건에서 각각 24.7%와 12.0%의 매크로-F1 향상을 달성하며, 두 예산 모두에서 더 낮은 위험과 더 높은 응답률을 기록했고 8회 행동 시 이동 거리를 31.7% 단축했습니다. 동일 입력 HM3D 실험에서는 고정 관측 환경에서 더 낮은 선택적 위험을 보였으며, 통제된 ScanNet 개입 실험을 통해 뒷받침 뷰를 복원하는 것이 다운스트림 VLM 응답을 개선함을 입증했습니다. 소거 연구는 후보 관측 가능성이 결정 품질과 정보 획득 효율성에 기여함을 추가로 뒷받침합니다. 본 결과는 의미 메모리, 능동적 정보 획득, 신뢰할 수 있는 의사결정을 연결하는 데 있어 주장 수준의 시점 증거가 지닌 가치를 보여줍니다. 코드는 https://safevantage.github.io 에서 확인할 수 있습니다.

arXiv:2609.27669v1cs.CL공통 태그 Navigate, Knowledge Graphs

경로가 중요하다: KGQA에서 답변 정확도를 넘어선 소규모 언어 모델 평가

The Path Matters: Evaluating Small Language Models Beyond Answer Accuracy in KGQA

소규모 언어 모델(SLM)은 지식 그래프(KG)와 함께 사용되는 경우가 점점 늘고 있지만, 종단간(end-to-end) KG 질의응답은 그래프 접근, 탐색, 내비게이션, 추론, 답변 생성을 한데 뒤섞는다. 이러한 결합 때문에 SLM이 질문에 내포된 추론 경로를 충실하게 실행할 수 있는지를 판단하기도, 실패의 원인을 파이프라인의 다른 단계가 아닌 내비게이션에 귀속시키기도 어렵다. 우리는 THESEUS 내비게이션 및 추적성 프레임워크를 사용하고, 고정된(frozen) 기성 SLM을 로컬 행동 정책(local action policy)으로 활용하여 이 능력을 분리해 평가한다. 각 홉(hop)마다 환경은 실행 가능한 나가는 그래프 행동을 제시하고, 모델은 실행 가능한 그래프 행동 하나를 선택하며 중단할지 여부를 결정한다. 이 과정에서 과제별 매개변수 업데이트, 모델이 제어하는 빔 서치, 자유 형식 답변 생성은 사용하지 않는다. 이러한 통제된 설정을 통해 최종 답변 정확도를 Hits@1로, 경로 충실도(path fidelity)를 Path Edit Distance(PED)를 주요 궤적 지표로 사용하여 함께 평가할 수 있다. Kinship과 MQuAKE-ST KGQA 전반에서, 크기가 비슷한 로컬 모델들도 답변 정확도와 경로 충실도에서 크게 다르며, 두 지표가 서로 다른 모델을 선호하는 경우도 있다. 이러한 모델 의존적 양상은 프롬프팅에서도 나타나, 시연된 궤적 하나가 모델에 따라 내비게이션을 개선하거나 오히려 저하시킬 수 있다. 이러한 결과는 SLM의 그래프 추론을 최종 답변 정확도만이 아니라 그 너머까지 평가해야 함을 시사한다.

arXiv:2609.27770v1cs.CL공통 태그 Decision Making, Navigate

필터링을 통한 LLM 기반 자율 웹 에이전트 성능 향상

Improving LLM-based Autonomous Web Agents with Filtering

대규모 언어 모델(LLM) 기반의 자율 웹 에이전트는 다단계 추론 및 의사결정 능력을 바탕으로 다양한 웹 기반 작업을 자동화하여 상당한 주목을 받아왔다. 이러한 에이전트 개발에서 미해결 연구 과제 중 하나는 웹페이지 입력의 형식이다. 방대하고 종종 무관한 세부 정보를 포함하는 원시 HTML 소스 코드는 제한된 컨텍스트 윈도우(context window)를 가진 LLM에 어려움을 초래한다. 이러한 문제를 해결하기 위해, 본 연구에서는 먼저 WebArena (Zhou et al., 2023) 벤치마크에서 GPT-3.5 및 LLaMA-2-70B와 같은 기준선(baseline) 모델들을 재현하여 공통적인 실패 양상을 식별한다. 그런 다음 LLM 에이전트를 위해 무관한 문맥을 걸러내는 두 가지 검색 전략을 제안한다. 작업과의 관련성에 따라 HTML 요소들의 순위를 매기는 DeBERTa 기반 및 T5 기반 모델을 개발한다. 이들을 Mind2Web 궤적 데이터에서 파인튜닝(fine-tuning)한 후 WebArena로 전이한다. 실험 결과, DeBERTa 기반 모델은 WebArena에서 LLaMA-2-70B LLM 에이전트의 성공률을 1.97%에서 2.96%로 향상시키는 것으로 나타났다. 나아가, Mind2Web에서 0.52, WebArena에서 0.47의 재현율(recall)로 정답 요소를 검색할 수 있는 제로샷(zero-shot) ColBERT 기반 리트리버를 개발한다.

arXiv:2609.28003v1cs.LG공통 태그 Decision Making, Knowledge Graphs

실패로부터의 학습: 소형 언어 모델 도구 사용 에이전트를 위한 이종 그래프 메모리

Learning from Failures: Heterogeneous Graph Memory for Small Language Model Tool-Using Agents

중소형 언어 모델(language model)은 도구 사용 에이전트(agent)를 위한 비용 효율적인 실행자 역할을 하여 로컬 및 대규모 배포에 매력적인 선택지입니다. 그러나 장기적(long-horizon)이고 상태를 유지하는(stateful) 환경에서 이러한 모델(model)들은 필수적인 관측 누락, 조기 쓰기 수행, 실패한 호출 반복, 행동 전제 조건 위반과 같은 구조적 오류를 자주 범합니다. 이러한 오류는 잘못된 상태 업데이트, 정책 위반, 그리고 많은 비용이 들거나 되돌릴 수 없는 결과로 이어질 수 있어, 신뢰할 수 있는 도구 실행이 핵심적인 배포 과제가 됩니다. 기존의 미세조정(fine-tuning) 접근 방식은 상당한 양의 데이터와 연산을 필요로 하며, 평면적 메모리(flat memory)는 인과적 맥락이나 안전성(safety) 조건을 보존하지 못한 채 실패한 행동을 검색할 수 있습니다. 본 논문에서는 과거의 성공과 실패를 도구 사용 에이전트를 위한 구조화된 외부 경험으로 변환하는, 경험 구조화 이종 그래프 기반 실패 인지 검색 프레임워크인 FRESH(Failure-aware Retrieval framework over Experience-Structured Heterogeneous graphs)를 제안합니다. FRESH는 태스크, 행동, 오류, 복구, 실행 조건 간의 의존성을 명시적으로 모델링함으로써, 동결된(frozen) 언어 모델이 신뢰할 수 있는 전략을 재사용하고, 반복되는 실패를 방지하며, 상태 기반 도구 상호작용에서 더 안전한 결정을 내릴 수 있도록 돕습니다. 여러 오픈소스 모델을 사용해 $\tau$-Bench 및 AppWorld에서 수행한 실험에 따르면, FRESH는 메모리가 없는 에이전트 및 대표적인 메모리 기반 베이스라인 대비 태스크 성공률과 도구 사용 신뢰성을 일관되게 향상시킵니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.