Scene-Intuitive Agent for Remote Embodied Visual Grounding
원문 초록
Humans learn from life events to form intuitions towards the understanding of visual environments and languages. Envision that you are instructed by a high-level instruction, "Go to the bathroom in the master bedroom and replace the blue towel on the left wall", what would you possibly do to carry out the task? Intuitively, we comprehend the semantics of the instruction to form an overview of where a bathroom is and what a blue towel is in mind; then, we navigate to the target location by consistently matching the bathroom appearance in mind with the current scene. In this paper, we present an agent that mimics such human behaviors. Specifically, we focus on the Remote Embodied Visual Referring Expression in Real Indoor Environments task, called REVERIE, where an agent is asked to correctly localize a remote target object specified by a concise high-level natural language instruction, and propose a two-stage training pipeline. In the first stage, we pretrain the agent with two cross-modal alignment sub-tasks, namely the Scene Grounding task and the Object Grounding task. The agent learns where to stop in the Scene Grounding task and what to attend to in the Object Grounding task respectively. Then, to generate action sequences, we propose a memory-augmented attentive action decoder to smoothly fuse the pre-trained vision and language representations with the agent's past memory experiences. Without bells and whistles, experimental results show that our method outperforms previous state-of-the-art(SOTA) significantly, demonstrating the effectiveness of our method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Mixture-of-Thought-Tokens: 자유 형식 다중모달 그라운딩을 위한 인식과 추론의 통합
Mixture-of-Thought-Tokens: Unifying Perception and Reasoning for Free-form Multimodal Grounding
다중모달 대규모 언어 모델(MLLM)은 그라운딩(grounding) 과제에서 큰 진전을 이루었지만, 기존 방법들은 여전히 정밀한 위치 지정(localization)과 복잡한 추론을 통합하는 데 어려움을 겪고 있다. 한편, 텍스트 기반 방법은 좌표 또는 인덱스 예측에 의존하여 밀집된 시각 객체에 대한 모델의 인식(perception) 능력을 크게 제한한다. 한편, 잠재 토큰 기반 방법은 고유한 공간적 참조가 없는 특수 토큰을 사용하고 사고 단계가 부족한 디코딩 메커니즘을 사용하여 고수준 추론 능력을 약화시킨다. 결과적으로, 인식과 추론 모두에서 뛰어난 통합 프레임워크를 개발하는 것은 여전히 어려운 과제로 남아 있다. 이를 해결하기 위해, 우리는 인식-추론 격차를 메우는 새로운 자유 형식 다중모달 그라운딩 방법인 Mixture-of-Thought-Tokens(Motto)를 제안한다. 이를 통해 MLLM이 다양하고 임의의 그라운딩 쿼리를 처리할 수 있게 한다. 구체적으로, 명확한 공간적 대응과 시각적 해석 가능성을 위해 특수 토큰을 공간 위치와 명시적으로 정렬하는 Spatially-Grounded Thought Tokenization을 도입한다. 또한 교차 배치된 추론 사슬 내에서 그라운딩 모드를 동적으로 전환하는 Context-Adaptive Chain-of-Tokens를 설계하여, 다양한 복잡도의 과제에서 강건한 그라운딩을 달성한다. 또한 인식-추론 격차를 평가하기 위한 새로운 지시 표현 이해(referring expression comprehension) 벤치마크인 PR-Bench를 구축한다. 광범위한 실험을 통해 Motto가 다양한 자유 형식 그라운딩 과제에서 최신(state-of-the-art) 성능을 달성함을 보여준다.
Landmark-RxR: Solving Vision-and-Language Navigation with Fine-Grained Alignment Supervision
GTA1: GUI Test-time Scaling Agent
High-Resolution Visual Reasoning via Multi-Turn Grounding-Based Reinforcement Learning
Skywork-R1V3 Technical Report
RSRefSeg 2: Decoupling Referring Remote Sensing Image Segmentation with Foundation Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.