arXiv:2606.12910v1 cs.RO

바운딩 박스를 목표로: 신경-기호 계획을 통한 언어 조건부 파지

Bounding Boxes as Goals: Language-Conditioned Grasping via Neuro-Symbolic Planning

Allison Andreyev, Landon Eum, Nestor Tiglao, Romel Gomez

제출 2026-06-11

한국어 초록

로봇이 가정 또는 산업 환경에 효과적으로 통합되려면, 기계가 자연어 프롬프트에 실시간으로 적응할 수 있어야 한다. 비전-언어 모델(VLM)이 로봇 태스크 및 동작 계획(TAMP)에서 제로샷(zero-shot) 일반화를 가능하게 했음에도 불구하고, 현재 최첨단 접근법들은 종종 계산적으로 "무겁거나" 수천 건의 시연 데이터에 대한 광범위한 학습을 요구한다. 우리는 오픈-보캐뷸러리 탁상 조작을 향한 한 단계로서 설계된 프레임워크인 GRASP(Grounded Reasoning and Symbolic Planning)를 제안한다. 본 접근법은 사전학습된 VLM을 활용하여 자연어 쿼리를 신경-기호적(neuro-symbolic) 목표 상태로 변환하고, 바운딩 박스 감지 파이프라인을 통해 물리적 세계에 그라운딩한다. 고정된 색상 목록이나 하드코딩된 좌표에 의존하는 방법과 달리, GRASP는 로봇이 "상단 선반"과 같은 추상적인 공간 개념을 해석하고 추가적인 파인튜닝(fine-tuning) 없이 태스크를 수행할 수 있도록 한다. 우리는 태스크별 학습 없이 세 가지 난이도 수준에서 90회의 실제 로봇 시험에 걸쳐 73.3%의 전체 성공률을 달성하였다.

원문 초록

For robotics to be effectively integrated into household or industrial environments, machines must adapt to natural-language prompts in real time. Although Vision-Language Models (VLMs) have enabled zero-shot generalization in robot task and motion planning (TAMP), current state-of-the-art approaches often remain computationally "heavyweight" or require extensive training on thousands of demonstrations. We present GRASP (Grounded Reasoning and Symbolic Planning), a framework designed as a step toward open-vocabulary tabletop manipulation. Our approach leverages a pretrained VLM to translate natural-language queries into neuro-symbolic goal states, grounded in the physical world via a bounding-box detection pipeline. Unlike methods that rely on fixed color lists or hard-coded coordinates, GRASP enables robots to interpret abstract spatial concepts such as "top shelf" and execute tasks without additional fine-tuning. We achieve 73.3% overall success across 90 real-robot trials at three difficulty levels, requiring no task-specific training.

요약

자연어 프롬프트에 실시간으로 적응하는 로봇을 위해 사전학습된 VLM을 활용해 자연어 쿼리를 신경-기호적(neuro-symbolic) 목표 상태로 변환하고 바운딩 박스 감지를 통해 물리적 세계에 연결하는 GRASP 프레임워크를 제안합니다. 이 방법은 추가적인 파인튜닝 없이 추상적인 공간 개념을 해석하여 90번의 실제 로봇 시도에서 73.3%의 성공률을 달성했습니다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12910v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.07780v3cs.CV공통 태그 Object Detection, Zero-Shot Learning

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

arXiv:2610.10635v1cs.AI공통 태그 Zero-Shot Learning, Instruction Following

내비게이터의 언어로 말하기: 동결된 항공 VLN 에이전트를 위한 궤적 기반 지시 번역

Speaking the Navigator's Language: Trajectory-Grounded Instruction Translation for Frozen Aerial VLN Agents

항공 비전-언어 내비게이션(VLN) 에이전트는 일반적으로 세부 사항이 풍부하고 궤적에 정렬된 명령으로 학습되는 반면, 사용자는 짧고 의도 중심적인 지시를 내립니다. 동결된(frozen) OpenFly 내비게이터에서 이러한 지시 간극(\emph{instruction gap})은 성공률(SR)을 $31.03\%$에서 $11.33\%$로 떨어뜨립니다. 번역기 학습을 확장하기 위해, 우리는 사람이 작성한 스타일 예시로 언어 모델에 프롬프트를 제공하여 원래 명령을 쌍을 이루는 의도 중심의 약한(Weak) 명령으로 변환하며, 이는 $15.27\%$의 SR을 산출합니다. 우리는 내비게이터를 동결된 상태로 유지하고 궤적 결과로부터 학습함으로써 약한 입력을 에이전트가 실행 가능한 명령으로 번역하는 프런트엔드인 궤적 기반 지시 번역기(\textbf{Trajectory-Grounded Instruction Translator, TGIT})를 소개합니다. 결과적으로 약한 명령으로 학습된 번역기는 약한 입력의 SR을 $37.93\%$로 끌어올리고 실제 사람의 지시로 제로샷 전이($11.33\%{\rightarrow}32.51\%$)됩니다. 또한 배제된(held-out) OpenFly를 개선($4.95\%{\rightarrow}20.79\%$)하고 CityNav 및 AirVLN에서 성능 회복을 이끌어냅니다.

arXiv:2609.39964v2cs.AI공통 태그 Object Detection, Zero-Shot Learning

AIMS: Sim-to-Real 멀티모달 ISAC을 위한 에이전틱 AI 프레임워크

AIMS: An Agentic AI Framework for Sim-to-Real Multi-Modal ISAC

멀티모달 통합 감지 및 통신(ISAC)은 지능형 무선 네트워크를 위한 환경 인지 및 안정적인 연결성을 가능하게 합니다. 데이터 기반의 멀티모달 ISAC 모델은 센싱과 무선 관측치 간의 관계를 학습하기 위해 레이블이 지정된 실제 데이터에 크게 의존하므로 확장 가능한 배포가 제한됩니다. 합성 데이터 생성이 이러한 부담을 줄여주지만, 기존 시뮬레이션 파이프라인을 목표 배포 환경에 적응시키려면 일관된 장면, 센싱, 무선 및 학습 구성이 필요하며, 결합된 구성 요소 간의 불일치는 시뮬레이션에서 실제 환경으로의(sim-to-real) 전이성을 저해합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 AIMS라는 sim-to-real 멀티모달 ISAC을 위한 에이전틱 인공지능(AI) 프레임워크를 제안합니다. 목표 태스크, 배포 조건, 실제 데이터 예산을 명시한 자연어 배포 요청이 주어지면, AIMS는 배포 맞춤형 sim-to-real 구성을 도출하고 이의 실행을 조율하여 배포 맞춤형 태스크 모델을 생성합니다. 2개 에이전트 아키텍처는 장면 구축과 태스크 학습을 상호 조율합니다. 장면 구축 에이전트는 공유된 물리적 상태로부터 지리적으로 그라운딩(grounding)되고 동기화된 센싱 및 무선 기록을 생성하는 반면, 장면 이해 에이전트는 태스크 관련 모달리티와 제로샷(zero-shot) 추론 또는 퓨샷(few-shot) 적응을 위한 전문가 혼합(MoE) 학습을 구성합니다. 구조화된 도메인 지식은 의존성을 인식하는 계획 수립을 안내하며, 검증 증거는 영향을 받는 결정에 대한 피드백 기반 수정을 지원합니다. 실제 DeepSense 6G 데이터셋에 대한 실험 결과, 고려된 시뮬레이션 및 융합 베이스라인 대비 차량 탐지 및 빔 예측 성능이 향상되었음을 입증합니다. 별도의 오케스트레이션 벤치마크는 다양한 배포 요청 전반에 걸쳐 태스크 해석, 의존성 추론 및 피드백 기반 재계획을 평가하여 구조화된 도메인 지식과 검증 피드백을 통해 계획의 정확성이 향상됨을 보여줍니다.

arXiv:2609.27076v1cs.CV공통 태그 Object Detection, Zero-Shot Learning

Pro-Bench: 실세계 이종 환경 전반의 프롬프트 강건 오픈어휘 시각적 그라운딩

Pro-Bench: Prompt-Robust Open-Vocabulary Visual Grounding Across Real-World Heterogeneous Environments

오픈어휘 시각적 그라운딩(visual grounding)은 사전 정의된 지각 분류체계(taxonomy)에 의존하지 않고 자연어 쿼리로부터 과제 관련 개체의 위치를 특정함으로써 로봇이 작업할 수 있게 한다. 그러나 기존 벤치마크는 대부분 짧은 카테고리 라벨과 웹에서 수집한 이미지에 의존하여, 오픈어휘 모델이 실제 배포 환경에서 다양한 쿼리와 시각적 조건 하에 견고하게 그라운딩할 수 있는지는 불분명하다. 본 논문은 이종의 실세계 환경에서 오픈어휘 시각적 그라운딩을 위한 프롬프트 조건 벤치마크인 Pro-Bench를 제안한다. Pro-Bench는 독립적인 로봇 도메인(지하, 산업, 실내, 실외, 도시)의 $13k+$ RGB 프레임, $74.5k$ 수동 인스턴스 어노테이션, 범주적·속성·관계·affordance·상태·부분-전체·부정·합성 의미를 아우르는 $515$개 타깃 쿼리를 포함한다. $16$개 오픈어휘 모델 구성을 엄격한 제로샷 추론으로 벤치마킹하여 IoU 임곗값별 위치 특정 정확도, end-to-end 추론 지연, 프롬프트에 따른 성능 변동, 타깃 복구 일관성을 측정했다. 결과에 따르면 프롬프트 강건성은 아키텍처에 강하게 의존한다. 대부분의 모델 구성($10/16$)은 짧은 카테고리 라벨에서 최고 성능을 보이는 반면, 자유 형식 쿼리가 최고 정확도를 내는 경우는 하나뿐이다. 또한 유사한 집계 mAP가 쿼리 재표현에 따른 일관된 타깃 복구의 상당한 차이를 가릴 수 있다. Pro-Bench는 이러한 격차를 체계적으로 평가할 수 있게 하며 프롬프트 강건 시각적 그라운딩을 지원한다. Pro-Bench: https://pro-bench.github.io/.

arXiv:2609.24026v1cs.CV공통 태그 Object Detection, Zero-Shot Learning

InterHier: 오픈 보캐블러리 객체 검출을 위한 상호 연결된 계층적 의미 표현 학습

InterHier: Learning Interconnected Hierarchical Semantics for Open-Vocabulary Object Detection

본 논문에서는 오픈 보캐블러리 객체 검출(open-vocabulary object detection)을 위한 계층적 의미 표현(hierarchical semantic representations)에서 고정된 수작업 연결자(connector)가 지닌 한계를 조사합니다. 기존 방법들은 인접한 상위/하위 범주 사이에 고정된 연결자를 배치하여 기본 범주(base categories)와 미확인 신규 범주(unseen novel categories) 간의 의미론적 관계를 구축합니다. 그러나 이러한 고정된 연결자는 의미 계층 내의 관계를 최적으로 포착하지 못할 수 있습니다. 이러한 한계를 해결하기 위해, 우리는 계층적 관계를 포함하는 프롬프트(prompt)의 해석을 전역적으로 유도하도록 선두에 학습 가능한 컨텍스트를 활용하는 상호 연결된 계층적 의미 표현(InterHier)을 제안합니다. InterHier는 크게 두 단계로 동작합니다. 첫째, 상위/하위 범주를 통합하고 학습 가능한 컨텍스트를 선두에 추가하여 계층 인식 프롬프트를 구성합니다. 둘째, 시각적 영역 임베딩(embedding)과 텍스트 임베딩을 정렬(alignment)하도록 이 학습 가능한 컨텍스트를 최적화(optimization)합니다. InterHier는 고정된 연결자에 의존하는 방법들에 비해 일관되게 성능을 향상시키며, 기존 오픈 보캐블러리 객체 검출 모델에 매끄럽게 통합될 수 있습니다. 오픈 보캐블러리 객체 검출 벤치마크(benchmark)에 대한 실험을 통해 InterHier가 최신 최고 수준(SOTA)의 방법들과 비교하여 경쟁력 있는 성능을 달성함을 입증합니다.

arXiv:2609.24576v1cs.RO공통 태그 Zero-Shot Learning, Instruction Following

VLM 기반 비전-언어 내비게이션 모델은 무엇에 의존하는가: 정책 행동의 해석과 조종

What do VLM-Based Vision-Language Navigation Models Rely on: Interpreting and Steering Policy Behavior

현대의 비전-언어 내비게이션(VLN) 모델은 내비게이션 행동을 예측하기 위해 대부분 사전학습된 대규모 비전-언어 모델(VLM)에 의존한다. 이러한 언어 지시와 시각적 관측의 융합은 멀티모달 추론을 가능하게 하지만, 정보가 모달리티 간에 어떻게 라우팅되는지 또는 어떤 메커니즘이 내비게이션 결정을 이끄는지를 불분명하게 만든다. 따라서 VLN 모델이 관련된 의미론적 단서에 예측의 근거를 두는지, 혹은 과업 진행 상황을 추적할 수 있는지는 여전히 명확하지 않다. 본 연구에서는 VLN 모델의 해석 가능성과 조종 가능성을 연구한다. 우리는 시각적 관측, 지시문, 그리고 시각적 기억이 내비게이션 결정에 어떻게 인과적으로 영향을 미치는지를 측정하는 개입 기반 지표를 사용한다. 우리의 결과는 이러한 내비게이션 정책이 모든 입력 모달리티에 민감하며 단일 모달리티에만 의존하지 않음을 보여준다. 나아가 우리는 이러한 에이전트(agent)가 내비게이션 진행 상황을 인코딩하고 VLM 백본으로부터 의미론적 구조를 유지함으로써, 내부 활성화(activation)를 통한 개념 수준의 조종을 가능하게 함을 보인다. 마지막으로, 우리는 추상적 행동에 대한 활성화 벡터를 추출하여 이를 분포 외(out-of-distribution) 실제 환경 시나리오에 제로샷(zero-shot)으로 전이함으로써, 추가적인 미세조정 없이 성능을 향상시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.