WALDO: 세계 모델 특징을 이용한 복잡한 장면에서의 원샷 예시 조건부 객체 탐지
WALDO: One-Shot Exemplar-Conditioned Object Detection in Cluttered Scenes with World-Model Features
한국어 초록
단일 기준 이미지로부터 복잡한 장면 속의 특정 객체 인스턴스를 찾고, 그것이 없을 때 없다고 말하는 일은 보통 대규모 시각-언어 모델에 맡겨진다. 본 연구는 세계 모델의 표현이 가장 강력한 자기지도 이미지 특징에 없는 무언가를 더해 주는지 묻는다. 본 연구는 단일 기준 이미지로부터 복잡한 실제 장면에서 특정 객체 인스턴스를 찾는 원샷 탐지기 WALDO를 소개한다. 인스턴스 탐지는 보통 객체별 학습을 필요로 해 왔다. 대안은 범주 수준의 개방형 어휘 탐지기나 시각-언어 모델이지만, 이들은 머그잔은 찾을 수 있어도 바로 이 머그잔은 찾지 못한다. 본 연구는 고정된 자기지도 특징 위의 경량 조건부 헤드만으로도 객체별 적응 없이 보지 못한 인스턴스를 위치 추정하기에 충분함을 보인다. 또한 이미지 특징과 세계 모델 특징이 상호 보완적임을 발견하였다. DINOv3와 비디오 세계 모델 V-JEPA 2.1은 서로 다른 질의에서 성공한다. 한 가지 문제가 있다. 비디오 모델을 정지 이미지에 적용하는 통상적인 방식으로 사용하면 V-JEPA의 밀집 특징은 성능이 떨어진다. 모델의 이미지 경로를 통해 읽으면 위치 추정이 개선된다. 검증 데이터로 조정한 후기 융합으로 두 백본을 결합하면, 객체가 장면에 있는지 판별하는 DINOv3의 능력을 해치지 않으면서 보지 못한 인스턴스에 대한 DINOv3의 위치 추정이 소폭 향상된다. 강력한 시각-언어 모델과 이미지 유도 개방형 어휘 탐지기는 특정 인스턴스를 거의 위치 추정하지 못하며, 질의당 훨씬 오랜 시간이 걸린다. 세계 모델 특징과의 융합은 이미지 특징만 사용할 때보다 위치 추정을 강화한다.
원문 초록
Finding a particular object instance in a cluttered scene from a single reference image and saying when it is not there is typically given to large vision-language models. We ask whether the representations of a world model add something that the strongest self-supervised image features do not have. We introduce WALDO, a one-shot detector that finds a specific object instance in a cluttered real scene from a single reference image. Instance detection has usually needed per-object training. The alternative is a category-level open-vocabulary detector or vision-language model, which can find a mug but not this mug. We show that a lightweight conditioned head on frozen self-supervised features is enough to localize unseen instances without any per-object adaptation. We also find that image features and world-model features are complementary: DINOv3 and the video world model V-JEPA 2.1 succeed on different queries. There is one catch. Used the way video models are usually applied to still images, V-JEPA's dense features underperform. Reading them through the model's image pathway improves their localization. Combining the two backbones with a validation-tuned late fusion modestly improves DINOv3's localization of unseen instances without hurting its ability to tell whether the object is in the scene. A strong vision-language model and an image-guided open-vocabulary detector almost never localize the specific instance, and take far longer per query. Our fusion with world-model features strengthens localization from image features alone.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.28216v2제출 시각 미확인
- arXiv:2608.28216v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.