arXiv:1612.07310

Beyond Holistic Object Recognition: Enriching Image Understanding with Part States

Cewu Lu, Hao Su, Yongyi Lu, Li Yi, Chi-Keung Tang, Leonidas Guibas

제출 2016-12-15

원문 초록

Important high-level vision tasks such as human-object interaction, image captioning and robotic manipulation require rich semantic descriptions of objects at part level. Based upon previous work on part localization, in this paper, we address the problem of inferring rich semantics imparted by an object part in still images. We propose to tokenize the semantic space as a discrete set of part states. Our modeling of part state is spatially localized, therefore, we formulate the part state inference problem as a pixel-wise annotation problem. An iterative part-state inference neural network is specifically designed for this task, which is efficient in time and accurate in performance. Extensive experiments demonstrate that the proposed method can effectively predict the semantic states of parts and simultaneously correct localization errors, thus benefiting a few visual understanding applications. The other contribution of this paper is our part state dataset which contains rich part-level semantic annotations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2603.15403v2cs.CV공통 태그 Image Captioning, Object Recognition

포인팅 기반 객체 인식

Pointing-Based Object Recognition

이 논문은 RGB 이미지를 사용하여 사람의 포인팅 제스처로 지목된 객체를 인식하기 위한 포괄적인 파이프라인을 제시한다. 휴먼-로봇 상호작용이 더 직관적인 인터페이스를 향해 발전함에 따라, 비언어적 의사소통의 대상을 식별하는 능력이 중요해진다. 제안하는 시스템은 객체 검출, 신체 자세 추정, 단안 깊이 추정, 비전-언어 모델을 포함한 여러 기존 최첨단 방법들을 통합한다. 단일 이미지에서 재구성된 3D 공간 정보의 영향과 분류 오류를 수정하는 데 있어 이미지 캡셔닝 모델의 유용성을 평가한다. 맞춤형 데이터셋에 대한 실험 결과, 깊이 정보를 통합하면 특히 겹치는 객체가 있는 복잡한 장면에서 대상 식별이 크게 향상됨을 보여준다. 이 접근법의 모듈성 덕분에 전용 깊이 센서를 사용할 수 없는 환경에서도 배포할 수 있다.

arXiv:2606.25084v1cs.CV공통 태그 Image Captioning, Object Recognition

우리는 목표에 도달했는가? 보조 AI 응용에서 다중모달 대규모 언어 모델의 역량 탐구

Are We There Yet? Exploring the Capabilities of MLLMs in Assistive AI Applications

다중모달 대규모 언어 모델(MLLM)은 비전 인코더와 대규모 언어 모델을 결합함으로써 시각적 이해를 재정의하였다. 이 통합 아키텍처는 이미지 캡셔닝, 시각적 질의응답, 다중모달 대화 등의 태스크에서 제로샷 및 퓨샷 설정에서도 뛰어난 성능을 발휘한다. 범용적인 역량과 유연한 인터페이스 덕분에 MLLM은 실세계 비전-언어 응용의 유망한 기반으로 주목받고 있다. 보조 AI(Assistive AI)는 사용자가 자연어를 통해 주변 환경과 상호작용할 수 있도록 돕는 것을 목표로 한다. 이러한 시나리오에서는 강건한 시각적 인식, 맥락적 추론, 다국어 이해 능력이 요구되며, 이는 MLLM이 제공할 수 있다고 여겨지는 역량들이다. 그러나 보조 환경에서의 실제 효용은 아직 충분히 규명되지 않았다. 본 연구에서는 MLLM이 보조 AI를 지원할 수 있는지를 탐구하기 위해, 화폐 등 일상적 사물 인식, 장면 텍스트 기반 질의응답, 다국어로 제시된 시각 콘텐츠 읽기 등 실세계 태스크에서 최신 모델들을 평가하였다. 이를 위해 헤드 마운트 GoPro를 활용하여 실세계 에고센트릭(egocentric) 데이터를 수집하는 시스템인 NetraLink를 개발하고, 이러한 보조 시나리오를 포괄하는 벤치마크를 구축하였다. 본 연구의 결과는 현재 MLLM에 대한 포괄적인 진단을 제공하며, 시각적 지각과 언어 상호작용에 기반한 보조 기술 구현에 있어서의 강점과 한계를 명확히 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.