Mitigating the Hubness Problem for Zero-Shot Learning of 3D Objects
원문 초록
The development of advanced 3D sensors has enabled many objects to be captured in the wild at a large scale, and a 3D object recognition system may therefore encounter many objects for which the system has received no training. Zero-Shot Learning (ZSL) approaches can assist such systems in recognizing previously unseen objects. Applying ZSL to 3D point cloud objects is an emerging topic in the area of 3D vision, however, a significant problem that ZSL often suffers from is the so-called hubness problem, which is when a model is biased to predict only a few particular labels for most of the test instances. We observe that this hubness problem is even more severe for 3D recognition than for 2D recognition. One reason for this is that in 2D one can use pre-trained networks trained on large datasets like ImageNet, which produces high-quality features. However, in the 3D case there are no such large-scale, labelled datasets available for pre-training which means that the extracted 3D features are of poorer quality which, in turn, exacerbates the hubness problem. In this paper, we therefore propose a loss to specifically address the hubness problem. Our proposed method is effective for both Zero-Shot and Generalized Zero-Shot Learning, and we perform extensive evaluations on the challenging datasets ModelNet40, ModelNet10, McGill and SHREC2015. A new state-of-the-art result for both zero-shot tasks in the 3D case is established.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Scout: 엣지 디바이스에서의 오픈월드 종 인식
Scout: Open-World Species Recognition on the Edge
대규모 비전-언어 모델(VLM)은 고정된 클래스 집합을 넘어서는 인식을 가능하게 하지만, 높은 연산 요구량으로 인해 많은 엣지 디바이스에서는 실행할 수 없다. 클라우드 오프로드(cloud offload)를 통해 이러한 기능을 활용할 수 있지만, 모든 이미지를 전송하는 것은 제한된 대역폭과 통신 에너지를 소모한다. 우리는 엄격한 연산량, 에너지, 대역폭 예산 안에서 VLM의 오픈월드 인식 능력을 엣지로 가져오는 방법을 탐구한다. 야생동물 모니터링은 배포 시점에 알려지지 않은 종을 카메라 트랩이 마주치기 때문에 이 문제를 탐구하기에 자연스러운 환경을 제공한다. 우리는 클라우드 VLM을 간헐적으로 호출하여 소형 엣지 모델에 새로운 클래스를 학습시키는 자율적 오픈월드 인식 시스템인 Scout를 제시한다. 배포 위치와 (개체가 없는) 빈 현장 프레임만 주어지면, Scout는 사전 정의된 종 목록, 사람에 의한 레이블링, 수동 튜닝 없이도 VLM이 식별한 각 종을 자원 효율적인 엣지 모델 내의 지속적이고 현장 조건부(site-conditioned) 인식 능력으로 자율적으로 전환한다. NVIDIA Jetson Orin Nano 상에서 세 개 지역에 걸친 30개의 카메라 트랩 배포 환경에서, Scout의 정확도는 사전 정의된 종 목록이 주어진 모델 대비 0.1~2.5% 이내로 유지된다. 초기 클래스 집합에 포함되지 않은 종에 대해서는 Scout가 53.7~59.1%의 정확도를 달성하며, 이는 전체 클라우드 오프로드의 56.5~65.1%와 비교되는 수치이고, 동시에 배포 에너지는 59~71% 더 적게 사용한다.
카탈로그-실세계 간극 해소: 다단계 대조 학습을 통한 확장 가능한 상품 인식
Bridging the Catalog-to-Real Gap: Scalable Product Recognition via Multi-Stage Contrastive Learning
자동화된 상품 인식은 현대 리테일 인텔리전스의 핵심이다. 그러나 방대한 기업 카탈로그에 대해 실세계 매장 이미지를 정확하게 매칭하는 것은 대규모 응용에서 여전히 주요한 확장성 병목으로 남아 있다. 본 연구에서는 이 과제를 표준적인 폐쇄형 집합 분류(classification) 작업이 아닌 임베딩(embedding) 기반 교차 도메인 검색 문제로 재정의함으로써 이 문제에 접근한다. 구체적으로, 광범위한 인벤토리로부터 주어진 실세계 상품 쿼리 크롭에 대해 가장 대응되는 카탈로그 참조 이미지를 검색하는 것을 목표로 정의한다. 깔끔한 스튜디오 팩샷과 노이즈가 있는 매장 내 쿼리 사이의 심각한 도메인 격차를 해소하기 위해, 본 논문은 새로운 카탈로그-실세계 다단계 대조 학습 패러다임(Cat2Real)을 제안한다. 이 프레임워크는 아이템 수준 및 이미지 수준 유사도를 체계적으로 활용하여 타깃화된 하드 네거티브 마이닝을 유도함으로써 비전 백본을 파인튜닝한다. 광범위한 실증적 평가를 통해, 제안된 패러다임이 미학습 상품 및 카테고리로 원활하게 확장됨을 입증하며, 새로운 인벤토리에 대한 실세계 학습(training) 이미지가 전혀 없는 상황에서도 뛰어난 제로샷(zero-shot) 일반화 성능을 달성함을 보인다.
Multiple-Input Multiple-Output Fusion Network For Generalized Zero-Shot Learning
Zero-Shot Learning Based Approach For Medieval Word Recognition Using Deep-Learned Features
Attribute-Based Classification for Zero-Shot Visual Object Categorization
RABBiT: 뇌-튜닝을 통한 빠른 적응형 BOLD 기반 모델로 음성 유발 뇌 반응의 정확한 제로샷 및 퓨샷 예측
RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain
뇌에서의 언어 이해는 맥락 의존적이며, 실험 자극과 개인에 따라 달라지기 때문에 두 가지 모두에 걸쳐 일반화되는 계산 모델을 구축하기 어렵다. 이는 새로운 참가자와 입력에 효율적으로 적응하면서 공유 구조를 포착할 수 있는 언어 유발 뇌 활동의 기반 모델(foundation model)을 필요로 한다. 우리는 정확한 제로샷 및 퓨샷 예측을 위해 설계된 소형 오디오-fMRI 인코더인 RABBiT(Rapidly Adaptive BOLD foundation model via BraIn-Tuning)을 소개한다. 여러 미공개 fMRI 데이터셋에서 324명의 참가자를 대상으로 한 종합적인 평가에 따르면, RABBiT은 청각 및 언어 선택 영역에 걸쳐 자연 음성에 대한 fMRI 반응의 정확한 제로샷 예측을 가능하게 하며, fMRI를 위한 SOTA 기반 모델과 집단 평균 기반 예측을 능가한다. 참가자별 데이터 10분만으로도 RABBiT은 매개변수 효율적 튜닝을 통해 성능을 더욱 향상시키며, 참가자별 선형 모델을 크게 능가한다. RABBiT의 성능은 두 가지 핵심 혁신에 의해 구현된다: (1) 학습된 영역별 어텐션, (2) 뇌-튜닝된 음성 백본과 결합된, 뇌 반응을 공유 및 피험자별 구성 요소로 분해하는 방법. 강력한 예측 정확도를 지원하는 것 외에도, RABBiT이 학습하는 구조화된 영역별 표현은 해석 가능성을 제공한다. 광범위한 참가자별 데이터와 모델 피팅의 필요성을 제거함으로써, RABBiT은 인간 뇌에서의 언어에 대한 확장 가능한 집단 수준 분석을 가능하게 한다. 코드는 https://github.com/bridge-ai-neuro/rabbit 에서 제공된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.