DiscrimLoss: A Universal Loss for Hard Samples and Incorrect Samples Discrimination
원문 초록
Given data with label noise (i.e., incorrect data), deep neural networks would gradually memorize the label noise and impair model performance. To relieve this issue, curriculum learning is proposed to improve model performance and generalization by ordering training samples in a meaningful (e.g., easy to hard) sequence. Previous work takes incorrect samples as generic hard ones without discriminating between hard samples (i.e., hard samples in correct data) and incorrect samples. Indeed, a model should learn from hard samples to promote generalization rather than overfit to incorrect ones. In this paper, we address this problem by appending a novel loss function DiscrimLoss, on top of the existing task loss. Its main effect is to automatically and stably estimate the importance of easy samples and difficult samples (including hard and incorrect samples) at the early stages of training to improve the model performance. Then, during the following stages, DiscrimLoss is dedicated to discriminating between hard and incorrect samples to improve the model generalization. Such a training strategy can be formulated dynamically in a self-supervised manner, effectively mimicking the main principle of curriculum learning. Experiments on image classification, image regression, text sequence regression, and event relation reasoning demonstrate the versatility and effectiveness of our method, particularly in the presence of diversified noise levels.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
식사 이미지, 임상 변수, 장내 미생물군 정보를 이용한 식후 혈당 반응 예측
Predicting Postprandial Glycemic Response from Meal Images, Clinical Variables, and Gut Microbiome Information
식후 혈당 반응(postprandial glycemic response, PPGR) 예측은 맞춤형 영양과 2형 당뇨 관리의 기본이지만, 기존 접근법은 대개 수동으로 보고된 식이 섭취에 의존하여 일상 생활 환경에서의 확장성을 제한한다. 본 연구는 수동 식이 기록을 이미지 기반 대사영양소 추정으로 대체하고, 이를 임상 변수 및 장내 미생물군 정보와 통합하여 맞춤형 PPGR 예측을 수행하는 멀티모달 프레임워크를 제안한다. 이 프레임워크는 이미지 기반 대사영양소 추정과 혈당 예측을 공동으로 수행하며, 어텐션 기반 예측 모듈이 식이 정보와 숙주 특이적 정보 간 상호작용을 모델링한다. 제안 방법을 식사 이미지, 연속 혈당 모니터링, 임상 변수, 장내 미생물군 프로필을 포함하는 실세계 데이터셋에서 평가하였다. 제안 모델은 이미지 기반 영양 입력을 사용하는 기존 PPGR 베이스라인을 능가하며, 자동 추정 영양 정보를 사용함에도 수동 보고 대사영양소에 의존하는 방법의 성능에 근접하였다. 이러한 결과는 이미지 기반 영양 정보와 보완적인 임상 및 장내 미생물군 정보를 결합하는 것이 확장 가능한 맞춤형 PPGR 예측을 위한 실용적 토대를 제공함을 보여준다.
QwenVLConnector: 세밀한 임상 지각과 텍스트 생성을 위한 빠르고 통합된 의료 VLM 챗봇
QwenVLConnector: A Fast, Unified Medical VLM Chatbot for Fine-Grained Clinical Perception and Text Generation
대부분의 의료 비전-언어 모델(VLM)은 개방형 보고서 생성과 VQA에는 뛰어나지만, 통합된 인터페이스 안에서 구조화된 세밀한 임상 지각을 지원하는 데는 한계가 있다. 본 논문은 QwenVLConnector를 제안한다. 이는 Qwen2.5-VL 기반 의료 챗봇으로, 분류, 다중 레이블 분류, 텍스트화된 검출, 계수, 회귀, 자유 형식 보고서 생성을 단일 next-token 목표 아래 하나로 통합한다. 핵심 구성요소는 경량의 밀집 다층 Connector로, 저수준·고수준 시각 특징을 집계하고 사전학습된 vision Merger를 통해 정렬한 뒤, 시퀀스 길이를 늘리지 않고 최종 시각 표현과 융합한다. 이 설계는 효율성을 유지하면서 시각 토큰을 상보적인 공간·의미 단서로 풍부하게 한다. FLARE-2D에서 QwenVLConnector는 검출 F1을 0.55에서 0.85로 개선하고, 단일 레이블 분류를 0.37에서 0.51로 높이며, Qwen2.5-VL 기준선 대비 보고서 생성 GREEN을 최대 18.3점 향상시킨다. 또한 보고서 생성을 위한 멀티모달 문맥 내 학습(ICL)을 탐구하여, 모델 매개변수를 갱신하지 않고도 추가 개선을 보였다. 전반적으로 QwenVLConnector는 구조화된 의료 지각과 개방형 임상 텍스트 생성을 결합하는 통합적이고 효율적인 프레임워크를 제공한다. 코드는 https://github.com/plnguyen2908/QwenConnector 에서 확인할 수 있다.
Evaluating the Performance of TAAF for image classification models
FewVS: A Vision-Semantics Integration Framework for Few-Shot Image Classification
Attention Feature Fusion Network via Knowledge Propagation for Automated Respiratory Sound Classification
Evolving Efficient CNN Based Model for Image Classification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.