arXiv:2305.03351

Leaf Cultivar Identification via Prototype-enhanced Learning

Yiyi Zhang, Zhiwen Ying, Ying Zheng, Cuiling Wu, Nannan Li, Jun Wang, Xianzhong Feng, Xiaogang Xu

제출 2023-05-05

원문 초록

Plant leaf identification is crucial for biodiversity protection and conservation and has gradually attracted the attention of academia in recent years. Due to the high similarity among different varieties, leaf cultivar recognition is also considered to be an ultra-fine-grained visual classification (UFGVC) task, which is facing a huge challenge. In practice, an instance may be related to multiple varieties to varying degrees, especially in the UFGVC datasets. However, deep learning methods trained on one-hot labels fail to reflect patterns shared across categories and thus perform poorly on this task. To address this issue, we generate soft targets integrated with inter-class similarity information. Specifically, we continuously update the prototypical features for each category and then capture the similarity scores between instances and prototypes accordingly. Original one-hot labels and the similarity scores are incorporated to yield enhanced labels. Prototype-enhanced soft labels not only contain original one-hot label information, but also introduce rich inter-category semantic association information, thus providing more effective supervision for deep model training. Extensive experimental results on public datasets show that our method can significantly improve the performance on the UFGVC task of leaf cultivar identification.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2503.01785cs.CV공통 태그 Fine-Grained Image Classification공식 코드 · Papers with Code

Visual-RFT: Visual Reinforcement Fine-Tuning

강화 학습 파인튜닝(Reinforcement Fine-Tuning, RFT)은 OpenAI o1과 같은 대규모 추론 모델에서 답변에 대한 피드백을 통해 학습하며, 이는 파인튜닝 데이터가 부족한 응용 프로그램에서 특히 유용합니다. DeepSeek-R1과 같은 최근의 오픈소스 연구는 검증 가능한 보상을 통한 강화 학습이 o1을 재현하는 데 중요한 방향 중 하나임을 보여줍니다. R1 스타일 모델은 언어 모델에서 성공을 거두었지만, 멀티모달 도메인에서의 적용은 아직 충분히 탐구되지 않았습니다. 본 연구는 시각적 작업에 대한 RFT의 적용 영역을 더욱 확장하는 시각적 강화 학습 파인튜닝(Visual Reinforcement Fine-Tuning, Visual-RFT)을 소개합니다. 구체적으로, Visual-RFT는 먼저 대규모 비전-언어 모델(Large Vision-Language Models, LVLMs)을 사용하여 각 입력에 대해 추론 토큰과 최종 답변을 포함하는 여러 응답을 생성한 후, 제안한 시각적 인식 검증 가능한 보상 함수를 사용하여 정책 최적화 알고리즘인 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 통해 모델을 업데이트합니다. 우리는 객체 탐지를 위한 교차 영역 비율(Intersection over Union, IoU) 보상과 같은 다양한 인식 작업에 대해 서로 다른 검증 가능한 보상 함수를 설계합니다. 세밀한 이미지 분류, 소수 샷 객체 탐지, 추론 기반 작업 및 개방형 어휘 객체 탐지 벤치마크에 대한 실험 결과는 Visual-RFT가 감독 학습 파인튜닝(Supervised Fine-tuning, SFT)과 비교하여 경쟁력 있는 성능과 향상된 일반화 능력을 보여줍니다. 예를 들어, Visual-RFT는 약 100개의 샘플로 이루어진 일회성 세밀한 이미지 분류에서 기준선보다 $24.3\%$ 정확도를 향상시킵니다. 소수 샷 객체 탐지에서는 Visual-RFT가 COCO의 2샷 설정에서 기준선보다 $21.9$ 더 우수하며, LVIS에서는 $15.4$를 초과합니다. 우리의 Visual-RFT는 LVLM의 파인튜닝에서 패러다임 전환을 나타내며, 도메인 특정 작업에 대한 추론과 적응력을 향상시키는 데이터 효율적이고 보상 기반 접근 방식을 제공합니다.

arXiv:2410.07081공통 태그 Fine-Grained Image Classification공식 코드 · Papers with Code

JPEG Inspired Deep Learning

토론

이 논문과 연결된 포럼 글이 아직 없습니다.