arXiv:2106.10920

Cross-layer Navigation Convolutional Neural Network for Fine-grained Visual Classification

Chenyu Guo, Jiyang Xie, Kongming Liang, Xian Sun, Zhanyu Ma

제출 2021-06-21

원문 초록

Fine-grained visual classification (FGVC) aims to classify sub-classes of objects in the same super-class (e.g., species of birds, models of cars). For the FGVC tasks, the essential solution is to find discriminative subtle information of the target from local regions. TraditionalFGVC models preferred to use the refined features,i.e., high-level semantic information for recognition and rarely use low-level in-formation. However, it turns out that low-level information which contains rich detail information also has effect on improving performance. Therefore, in this paper, we propose cross-layer navigation convolutional neural network for feature fusion. First, the feature maps extracted by the backbone network are fed into a convolutional long short-term memory model sequentially from high-level to low-level to perform feature aggregation. Then, attention mechanisms are used after feature fusion to extract spatial and channel information while linking the high-level semantic information and the low-level texture features, which can better locate the discriminative regions for the FGVC. In the experiments, three commonly used FGVC datasets, including CUB-200-2011, Stanford-Cars, andFGVC-Aircraft datasets, are used for evaluation and we demonstrate the superiority of the proposed method by comparing it with other referred FGVC methods to show that this method achieves superior results.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2503.01785cs.CV공통 태그 Fine-Grained Image Classification공식 코드 · Papers with Code

Visual-RFT: Visual Reinforcement Fine-Tuning

강화 학습 파인튜닝(Reinforcement Fine-Tuning, RFT)은 OpenAI o1과 같은 대규모 추론 모델에서 답변에 대한 피드백을 통해 학습하며, 이는 파인튜닝 데이터가 부족한 응용 프로그램에서 특히 유용합니다. DeepSeek-R1과 같은 최근의 오픈소스 연구는 검증 가능한 보상을 통한 강화 학습이 o1을 재현하는 데 중요한 방향 중 하나임을 보여줍니다. R1 스타일 모델은 언어 모델에서 성공을 거두었지만, 멀티모달 도메인에서의 적용은 아직 충분히 탐구되지 않았습니다. 본 연구는 시각적 작업에 대한 RFT의 적용 영역을 더욱 확장하는 시각적 강화 학습 파인튜닝(Visual Reinforcement Fine-Tuning, Visual-RFT)을 소개합니다. 구체적으로, Visual-RFT는 먼저 대규모 비전-언어 모델(Large Vision-Language Models, LVLMs)을 사용하여 각 입력에 대해 추론 토큰과 최종 답변을 포함하는 여러 응답을 생성한 후, 제안한 시각적 인식 검증 가능한 보상 함수를 사용하여 정책 최적화 알고리즘인 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 통해 모델을 업데이트합니다. 우리는 객체 탐지를 위한 교차 영역 비율(Intersection over Union, IoU) 보상과 같은 다양한 인식 작업에 대해 서로 다른 검증 가능한 보상 함수를 설계합니다. 세밀한 이미지 분류, 소수 샷 객체 탐지, 추론 기반 작업 및 개방형 어휘 객체 탐지 벤치마크에 대한 실험 결과는 Visual-RFT가 감독 학습 파인튜닝(Supervised Fine-tuning, SFT)과 비교하여 경쟁력 있는 성능과 향상된 일반화 능력을 보여줍니다. 예를 들어, Visual-RFT는 약 100개의 샘플로 이루어진 일회성 세밀한 이미지 분류에서 기준선보다 $24.3\%$ 정확도를 향상시킵니다. 소수 샷 객체 탐지에서는 Visual-RFT가 COCO의 2샷 설정에서 기준선보다 $21.9$ 더 우수하며, LVIS에서는 $15.4$를 초과합니다. 우리의 Visual-RFT는 LVLM의 파인튜닝에서 패러다임 전환을 나타내며, 도메인 특정 작업에 대한 추론과 적응력을 향상시키는 데이터 효율적이고 보상 기반 접근 방식을 제공합니다.

arXiv:2410.07081공통 태그 Fine-Grained Image Classification공식 코드 · Papers with Code

JPEG Inspired Deep Learning

토론

이 논문과 연결된 포럼 글이 아직 없습니다.