arXiv:1804.00722

Hierarchical Novelty Detection for Visual Object Recognition

Kibok Lee, Kimin Lee, Kyle Min, Yuting Zhang, Jinwoo Shin, Honglak Lee

제출 2018-04-02

원문 초록

Deep neural networks have achieved impressive success in large-scale visual object recognition tasks with a predefined set of classes. However, recognizing objects of novel classes unseen during training still remains challenging. The problem of detecting such novel classes has been addressed in the literature, but most prior works have focused on providing simple binary or regressive decisions, e.g., the output would be "known," "novel," or corresponding confidence intervals. In this paper, we study more informative novelty detection schemes based on a hierarchical classification framework. For an object of a novel class, we aim for finding its closest super class in the hierarchical taxonomy of known classes. To this end, we propose two different approaches termed top-down and flatten methods, and their combination as well. The essential ingredients of our methods are confidence-calibrated classifiers, data relabeling, and the leave-one-out strategy for modeling novel classes under the hierarchical taxonomy. Furthermore, our method can generate a hierarchical embedding that leads to improved generalized zero-shot learning performance in combination with other commonly-used semantic embeddings.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22897v1cs.CV공통 태그 Zero-Shot Learning, Object Recognition

Scout: 엣지 디바이스에서의 오픈월드 종 인식

Scout: Open-World Species Recognition on the Edge

대규모 비전-언어 모델(VLM)은 고정된 클래스 집합을 넘어서는 인식을 가능하게 하지만, 높은 연산 요구량으로 인해 많은 엣지 디바이스에서는 실행할 수 없다. 클라우드 오프로드(cloud offload)를 통해 이러한 기능을 활용할 수 있지만, 모든 이미지를 전송하는 것은 제한된 대역폭과 통신 에너지를 소모한다. 우리는 엄격한 연산량, 에너지, 대역폭 예산 안에서 VLM의 오픈월드 인식 능력을 엣지로 가져오는 방법을 탐구한다. 야생동물 모니터링은 배포 시점에 알려지지 않은 종을 카메라 트랩이 마주치기 때문에 이 문제를 탐구하기에 자연스러운 환경을 제공한다. 우리는 클라우드 VLM을 간헐적으로 호출하여 소형 엣지 모델에 새로운 클래스를 학습시키는 자율적 오픈월드 인식 시스템인 Scout를 제시한다. 배포 위치와 (개체가 없는) 빈 현장 프레임만 주어지면, Scout는 사전 정의된 종 목록, 사람에 의한 레이블링, 수동 튜닝 없이도 VLM이 식별한 각 종을 자원 효율적인 엣지 모델 내의 지속적이고 현장 조건부(site-conditioned) 인식 능력으로 자율적으로 전환한다. NVIDIA Jetson Orin Nano 상에서 세 개 지역에 걸친 30개의 카메라 트랩 배포 환경에서, Scout의 정확도는 사전 정의된 종 목록이 주어진 모델 대비 0.1~2.5% 이내로 유지된다. 초기 클래스 집합에 포함되지 않은 종에 대해서는 Scout가 53.7~59.1%의 정확도를 달성하며, 이는 전체 클라우드 오프로드의 56.5~65.1%와 비교되는 수치이고, 동시에 배포 에너지는 59~71% 더 적게 사용한다.

arXiv:2607.09888v1cs.CV공통 태그 Zero-Shot Learning, Object Recognition

카탈로그-실세계 간극 해소: 다단계 대조 학습을 통한 확장 가능한 상품 인식

Bridging the Catalog-to-Real Gap: Scalable Product Recognition via Multi-Stage Contrastive Learning

자동화된 상품 인식은 현대 리테일 인텔리전스의 핵심이다. 그러나 방대한 기업 카탈로그에 대해 실세계 매장 이미지를 정확하게 매칭하는 것은 대규모 응용에서 여전히 주요한 확장성 병목으로 남아 있다. 본 연구에서는 이 과제를 표준적인 폐쇄형 집합 분류(classification) 작업이 아닌 임베딩(embedding) 기반 교차 도메인 검색 문제로 재정의함으로써 이 문제에 접근한다. 구체적으로, 광범위한 인벤토리로부터 주어진 실세계 상품 쿼리 크롭에 대해 가장 대응되는 카탈로그 참조 이미지를 검색하는 것을 목표로 정의한다. 깔끔한 스튜디오 팩샷과 노이즈가 있는 매장 내 쿼리 사이의 심각한 도메인 격차를 해소하기 위해, 본 논문은 새로운 카탈로그-실세계 다단계 대조 학습 패러다임(Cat2Real)을 제안한다. 이 프레임워크는 아이템 수준 및 이미지 수준 유사도를 체계적으로 활용하여 타깃화된 하드 네거티브 마이닝을 유도함으로써 비전 백본을 파인튜닝한다. 광범위한 실증적 평가를 통해, 제안된 패러다임이 미학습 상품 및 카테고리로 원활하게 확장됨을 입증하며, 새로운 인벤토리에 대한 실세계 학습(training) 이미지가 전혀 없는 상황에서도 뛰어난 제로샷(zero-shot) 일반화 성능을 달성함을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.