arXiv:2203.12816

ViT-FOD: A Vision Transformer based Fine-grained Object Discriminator

Zi-Chao Zhang, Zhen-Duo Chen, Yongxin Wang, Xin Luo, Xin-Shun Xu

제출 2022-03-24

원문 초록

Recently, several Vision Transformer (ViT) based methods have been proposed for Fine-Grained Visual Classification (FGVC).These methods significantly surpass existing CNN-based ones, demonstrating the effectiveness of ViT in FGVC tasks.However, there are some limitations when applying ViT directly to FGVC.First, ViT needs to split images into patches and calculate the attention of every pair, which may result in heavy redundant calculation and unsatisfying performance when handling fine-grained images with complex background and small objects.Second, a standard ViT only utilizes the class token in the final layer for classification, which is not enough to extract comprehensive fine-grained information. To address these issues, we propose a novel ViT based fine-grained object discriminator for FGVC tasks, ViT-FOD for short. Specifically, besides a ViT backbone, it further introduces three novel components, i.e, Attention Patch Combination (APC), Critical Regions Filter (CRF), and Complementary Tokens Integration (CTI). Thereinto, APC pieces informative patches from two images to generate a new image so that the redundant calculation can be reduced. CRF emphasizes tokens corresponding to discriminative regions to generate a new class token for subtle feature learning. To extract comprehensive information, CTI integrates complementary information captured by class tokens in different ViT layers. We conduct comprehensive experiments on widely used datasets and the results demonstrate that ViT-FOD is able to achieve state-of-the-art performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2503.01785cs.CV공통 태그 Fine-Grained Image Classification공식 코드 · Papers with Code

Visual-RFT: Visual Reinforcement Fine-Tuning

강화 학습 파인튜닝(Reinforcement Fine-Tuning, RFT)은 OpenAI o1과 같은 대규모 추론 모델에서 답변에 대한 피드백을 통해 학습하며, 이는 파인튜닝 데이터가 부족한 응용 프로그램에서 특히 유용합니다. DeepSeek-R1과 같은 최근의 오픈소스 연구는 검증 가능한 보상을 통한 강화 학습이 o1을 재현하는 데 중요한 방향 중 하나임을 보여줍니다. R1 스타일 모델은 언어 모델에서 성공을 거두었지만, 멀티모달 도메인에서의 적용은 아직 충분히 탐구되지 않았습니다. 본 연구는 시각적 작업에 대한 RFT의 적용 영역을 더욱 확장하는 시각적 강화 학습 파인튜닝(Visual Reinforcement Fine-Tuning, Visual-RFT)을 소개합니다. 구체적으로, Visual-RFT는 먼저 대규모 비전-언어 모델(Large Vision-Language Models, LVLMs)을 사용하여 각 입력에 대해 추론 토큰과 최종 답변을 포함하는 여러 응답을 생성한 후, 제안한 시각적 인식 검증 가능한 보상 함수를 사용하여 정책 최적화 알고리즘인 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 통해 모델을 업데이트합니다. 우리는 객체 탐지를 위한 교차 영역 비율(Intersection over Union, IoU) 보상과 같은 다양한 인식 작업에 대해 서로 다른 검증 가능한 보상 함수를 설계합니다. 세밀한 이미지 분류, 소수 샷 객체 탐지, 추론 기반 작업 및 개방형 어휘 객체 탐지 벤치마크에 대한 실험 결과는 Visual-RFT가 감독 학습 파인튜닝(Supervised Fine-tuning, SFT)과 비교하여 경쟁력 있는 성능과 향상된 일반화 능력을 보여줍니다. 예를 들어, Visual-RFT는 약 100개의 샘플로 이루어진 일회성 세밀한 이미지 분류에서 기준선보다 $24.3\%$ 정확도를 향상시킵니다. 소수 샷 객체 탐지에서는 Visual-RFT가 COCO의 2샷 설정에서 기준선보다 $21.9$ 더 우수하며, LVIS에서는 $15.4$를 초과합니다. 우리의 Visual-RFT는 LVLM의 파인튜닝에서 패러다임 전환을 나타내며, 도메인 특정 작업에 대한 추론과 적응력을 향상시키는 데이터 효율적이고 보상 기반 접근 방식을 제공합니다.

arXiv:2410.07081공통 태그 Fine-Grained Image Classification공식 코드 · Papers with Code

JPEG Inspired Deep Learning

토론

이 논문과 연결된 포럼 글이 아직 없습니다.