arXiv:2106.03432

Channel DropBlock: An Improved Regularization Method for Fine-Grained Visual Classification

Yifeng Ding, Shuwei Dong, Yujun Tong, Zhanyu Ma, Bo Xiao, Haibin Ling

제출 2021-06-07

원문 초록

Classifying the sub-categories of an object from the same super-category (e.g., bird) in a fine-grained visual classification (FGVC) task highly relies on mining multiple discriminative features. Existing approaches mainly tackle this problem by introducing attention mechanisms to locate the discriminative parts or feature encoding approaches to extract the highly parameterized features in a weakly-supervised fashion. In this work, we propose a lightweight yet effective regularization method named Channel DropBlock (CDB), in combination with two alternative correlation metrics, to address this problem. The key idea is to randomly mask out a group of correlated channels during training to destruct features from co-adaptations and thus enhance feature representations. Extensive experiments on three benchmark FGVC datasets show that CDB effectively improves the performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2503.01785cs.CV공통 태그 Fine-Grained Image Classification공식 코드 · Papers with Code

Visual-RFT: Visual Reinforcement Fine-Tuning

강화 학습 파인튜닝(Reinforcement Fine-Tuning, RFT)은 OpenAI o1과 같은 대규모 추론 모델에서 답변에 대한 피드백을 통해 학습하며, 이는 파인튜닝 데이터가 부족한 응용 프로그램에서 특히 유용합니다. DeepSeek-R1과 같은 최근의 오픈소스 연구는 검증 가능한 보상을 통한 강화 학습이 o1을 재현하는 데 중요한 방향 중 하나임을 보여줍니다. R1 스타일 모델은 언어 모델에서 성공을 거두었지만, 멀티모달 도메인에서의 적용은 아직 충분히 탐구되지 않았습니다. 본 연구는 시각적 작업에 대한 RFT의 적용 영역을 더욱 확장하는 시각적 강화 학습 파인튜닝(Visual Reinforcement Fine-Tuning, Visual-RFT)을 소개합니다. 구체적으로, Visual-RFT는 먼저 대규모 비전-언어 모델(Large Vision-Language Models, LVLMs)을 사용하여 각 입력에 대해 추론 토큰과 최종 답변을 포함하는 여러 응답을 생성한 후, 제안한 시각적 인식 검증 가능한 보상 함수를 사용하여 정책 최적화 알고리즘인 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 통해 모델을 업데이트합니다. 우리는 객체 탐지를 위한 교차 영역 비율(Intersection over Union, IoU) 보상과 같은 다양한 인식 작업에 대해 서로 다른 검증 가능한 보상 함수를 설계합니다. 세밀한 이미지 분류, 소수 샷 객체 탐지, 추론 기반 작업 및 개방형 어휘 객체 탐지 벤치마크에 대한 실험 결과는 Visual-RFT가 감독 학습 파인튜닝(Supervised Fine-tuning, SFT)과 비교하여 경쟁력 있는 성능과 향상된 일반화 능력을 보여줍니다. 예를 들어, Visual-RFT는 약 100개의 샘플로 이루어진 일회성 세밀한 이미지 분류에서 기준선보다 $24.3\%$ 정확도를 향상시킵니다. 소수 샷 객체 탐지에서는 Visual-RFT가 COCO의 2샷 설정에서 기준선보다 $21.9$ 더 우수하며, LVIS에서는 $15.4$를 초과합니다. 우리의 Visual-RFT는 LVLM의 파인튜닝에서 패러다임 전환을 나타내며, 도메인 특정 작업에 대한 추론과 적응력을 향상시키는 데이터 효율적이고 보상 기반 접근 방식을 제공합니다.

arXiv:2410.07081공통 태그 Fine-Grained Image Classification공식 코드 · Papers with Code

JPEG Inspired Deep Learning

토론

이 논문과 연결된 포럼 글이 아직 없습니다.