논문 ID: document/7891907

Deep CNNs With Spatially Weighted Pooling for Fine-Grained Car Recognition

Qichang Hu, Huibing Wang, Teng Li, Chunhua Shen

제출 2017-04-04

원문 초록

Fine-grained car recognition aims to recognize the category information of a car, such as car make, car model, or even the year of manufacture. A number of recent studies have shown that a deep convolutional neural network (DCNN) trained on a large-scale data set can achieve impressive results at a range of generic object classification tasks. In this paper, we propose a spatially weighted pooling (SWP) strategy, which considerably improves the robustness and effectiveness of the feature representation of most dominant DCNNs. More specifically, the SWP is a novel pooling layer, which contains a predefined number of spatially weighted masks or pooling channels. The SWP pools the extracted features of DCNNs with the guidance of its learnt masks, which measures the importance of the spatial units in terms of discriminative power. As the existing methods that apply uniform grid pooling on the convolutional feature maps of DCNNs, the proposed method can extract the convolutional features and generate the pooling channels from a single DCNN. Thus minimal modification is needed in terms of implementation. Moreover, the parameters of the SWP layer can be learned in the end-to-end training process of the DCNN. By applying our method to several fine-grained car recognition data sets, we demonstrate that the proposed method can achieve better performance than recent approaches in the literature. We advance the state-of-the-art results by improving the accuracy from 92.6% to 93.1% on the Stanford Cars-196 data set and 91.2% to 97.6% on the recent CompCars data set. We have also tested the proposed method on two additional large-scale data sets with impressive results observed.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2503.01785cs.CV공통 태그 Fine-Grained Image Classification공식 코드 · Papers with Code

Visual-RFT: Visual Reinforcement Fine-Tuning

강화 학습 파인튜닝(Reinforcement Fine-Tuning, RFT)은 OpenAI o1과 같은 대규모 추론 모델에서 답변에 대한 피드백을 통해 학습하며, 이는 파인튜닝 데이터가 부족한 응용 프로그램에서 특히 유용합니다. DeepSeek-R1과 같은 최근의 오픈소스 연구는 검증 가능한 보상을 통한 강화 학습이 o1을 재현하는 데 중요한 방향 중 하나임을 보여줍니다. R1 스타일 모델은 언어 모델에서 성공을 거두었지만, 멀티모달 도메인에서의 적용은 아직 충분히 탐구되지 않았습니다. 본 연구는 시각적 작업에 대한 RFT의 적용 영역을 더욱 확장하는 시각적 강화 학습 파인튜닝(Visual Reinforcement Fine-Tuning, Visual-RFT)을 소개합니다. 구체적으로, Visual-RFT는 먼저 대규모 비전-언어 모델(Large Vision-Language Models, LVLMs)을 사용하여 각 입력에 대해 추론 토큰과 최종 답변을 포함하는 여러 응답을 생성한 후, 제안한 시각적 인식 검증 가능한 보상 함수를 사용하여 정책 최적화 알고리즘인 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 통해 모델을 업데이트합니다. 우리는 객체 탐지를 위한 교차 영역 비율(Intersection over Union, IoU) 보상과 같은 다양한 인식 작업에 대해 서로 다른 검증 가능한 보상 함수를 설계합니다. 세밀한 이미지 분류, 소수 샷 객체 탐지, 추론 기반 작업 및 개방형 어휘 객체 탐지 벤치마크에 대한 실험 결과는 Visual-RFT가 감독 학습 파인튜닝(Supervised Fine-tuning, SFT)과 비교하여 경쟁력 있는 성능과 향상된 일반화 능력을 보여줍니다. 예를 들어, Visual-RFT는 약 100개의 샘플로 이루어진 일회성 세밀한 이미지 분류에서 기준선보다 $24.3\%$ 정확도를 향상시킵니다. 소수 샷 객체 탐지에서는 Visual-RFT가 COCO의 2샷 설정에서 기준선보다 $21.9$ 더 우수하며, LVIS에서는 $15.4$를 초과합니다. 우리의 Visual-RFT는 LVLM의 파인튜닝에서 패러다임 전환을 나타내며, 도메인 특정 작업에 대한 추론과 적응력을 향상시키는 데이터 효율적이고 보상 기반 접근 방식을 제공합니다.

arXiv:2410.07081공통 태그 Fine-Grained Image Classification공식 코드 · Papers with Code

JPEG Inspired Deep Learning

토론

이 논문과 연결된 포럼 글이 아직 없습니다.