LocateAnything: Fast and High-Quality Vision-Language Grounding with Parallel Box Decoding
한국어 초록
비전-언어 모델(VLM)은 일반적으로 시각적 그라운딩과 탐지를 좌표-토큰 생성 문제로 정식화하며, 각 2D 박스를 여러 1D 토큰으로 직렬화하여 주로 독립적으로 학습하고 디코딩한다. 이러한 토큰 단위 디코딩은 박스 기하학의 결합된 구조와 맞지 않으며, 순차 생성의 본질로 인해 실질적인 추론 병목을 초래한다. 우리는 병렬 박스 디코딩(PBD)에 기반한 통합 생성형 그라운딩 및 탐지 프레임워크인 LocateAnything을 제안한다. 바운딩 박스와 포인트 같은 기하학적 요소를 원자 단위로 한 번에 디코딩함으로써, LocateAnything은 박스 내 기하학적 일관성을 보존하고 상당한 병렬성을 달성한다. PBD가 디코딩 처리량과 로컬리제이션 정확도를 모두 향상시킴을 보인다. 또한 1억 3,800만 개 이상의 학습 샘플을 포함하는 대규모 데이터셋 LocateAnything-Data를 구축하기 위해 확장 가능한 데이터 엔진을 개발하여 고정밀 로컬리제이션을 위한 데이터 다양성을 대폭 증가시켰다. 광범위한 평가 결과, LocateAnything은 속도-정확도 프론티어를 개선하며 다양한 벤치마크에서 높은 IoU 로컬리제이션 품질을 개선하면서 현저히 더 높은 디코딩 처리량을 달성한다. 이는 병렬 박스 디코딩과 대규모 학습 데이터가 효율적이고 정밀한 통합 시각적 그라운딩 및 탐지를 가능하게 하는 상호보완적 이점을 갖는다는 것을 강조한다.
요약
비전-언어 모델(Vision-Language Models, VLM)을 이용한 시각적 접지와 객체 탐지는 좌표를 토큰으로 변환하여 생성하는 방식을 취하고 있습니다. 그러나 기존의 토큰별 순차 생성 방식은 2D 박스 내 기하학적 요소들 간의 강한 상호 연관성을 충분히 반영하지 못합니다. 이러한 토큰-대-토큰 디코딩 전략은 박스의 기하학적 일관성을 훼손할 뿐만 아니라, 엄격히 순차적인 생성으로 인해 추론 과정에서 심각한 계산 병목이 발생합니다. LocateAnything은 병렬 박스 디코딩(Parallel Box Decoding, PBD)에 기반한 통합 생성 모델로, 경계 박스와 포인트와 같은 기하학적 요소들을 원자 단위로 단일 단계에 디코딩함으로써 이러한 문제를 해결합니다. 이 접근 방식은 박스 내 기하학적 구조의 일관성을 보존하면서도 병렬 처리의 효율성을 극대화하여, 디코딩 처리량과 위치화 정확도를 동시에 향상시킵니다. 더불어 LocateAnything은 방대한 규모의 데이터 엔진을 개발하여 138백만 개 이상의 학습 샘플을 포함하는 LocateAnything-Data라는 대규모 데이터셋을 구축했으며, 이는 고정밀 위치화를 위한 데이터 다양성을 획기적으로 확대합니다. 광범위한 벤치마크 평가를 통해 LocateAnything은 디코딩 처리량을 크게 향상시키면서도 다양한 데이터셋에서 높은 교집합-합집합(Intersection over Union, IoU) 기반의 위치화 정확도를 동시에 달성함으로써, 시각 접지와 객체 탐지의 속도-정확도 트레이드오프 관계를 근본적으로 개선합니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.