PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2509.09311v2cs.CV

VLM의 비전 및 언어 임베딩을 활용한 이미지 인식

Image Recognition with Vision and Language Embeddings of VLMs

비전-언어 모델(VLM)은 이미지-텍스트 정렬(alignment)을 통해 강력한 제로샷(zero-shot) 분류를 가능하게 했습니다. 그러나 순수 시각적 추론(inference) 역량은 여전히 충분히 연구되지 않은 상태입니다. 본 연구에서는 SigLIP 2 및 RADIOv2.5와 같은 최신 모델뿐만 아니라 기존에 널리 알려진 모델들을 포함한 다양한 이중 인코더(dual-encoder) VLM을 대상으로, 언어 기반 및 비전 전용 이미지 분류에 대한 종합적인 평가를 수행합니다. ImageNet-1k 검증(validation) 세트와 레이블이 수정된 변형 데이터셋의 표준 환경에서 성능을 비교합니다. 프롬프트(prompt) 설계, 클래스 다양성, k-NN에서의 이웃 수, 참조 세트 크기를 포함하여 정확도에 영향을 미치는 주요 요인들을 분석합니다. 우리는 언어와 비전이 상호 보완적인 강점을 제공하며, 일부 클래스는 텍스트 프롬프트에 유리하고 다른 클래스는 시각적 유사성을 통해 더 잘 처리됨을 보여줍니다. 이러한 상호보완성을 활용하기 위해, 클래스별 정밀도(precision)에 기반하여 분류 성능을 향상시키는 단순하고 별도의 학습이 필요 없는(learning-free) 융합 방식을 소개합니다. 코드는 https://github.com/gonikisgo/bmvc2025-vlm-image-recognition 에서 확인할 수 있습니다.