Training Data Synthesis with Difficulty Controlled Diffusion Model
원문 초록
Semi-supervised learning (SSL) can improve model performance by leveraging unlabeled images, which can be collected from public image sources with low costs. In recent years, synthetic images have become increasingly common in public image sources due to rapid advances in generative models. Therefore, it is becoming inevitable to include existing synthetic images in the unlabeled data for SSL. How this kind of contamination will affect SSL remains unexplored. In this paper, we introduce a new task, Real-Synthetic Hybrid SSL (RS-SSL), to investigate the impact of unlabeled data contaminated by synthetic images for SSL. First, we set up a new RS-SSL benchmark to evaluate current SSL methods and found they struggled to improve by unlabeled synthetic images, sometimes even negatively affected. To this end, we propose RSMatch, a novel SSL method specifically designed to handle the challenges of RS-SSL. RSMatch effectively identifies unlabeled synthetic data and further utilizes them for improvement. Extensive experimental results show that RSMatch can transfer synthetic unlabeled data from `obstacles' to `resources.' The effectiveness is further verified through ablation studies and visualization.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TabPFN: One Model to Rule Them All?
미분 가능한 비선형 모델 예측 제어
Differentiable Nonlinear Model Predictive Control
매개변수적 해 민감도의 효율적인 계산은 학습 강화 방법을 비선형 모델 예측 제어와 통합하는 데 있어 핵심 과제이며, 이는 많은 학습 알고리즘에서 민감도의 가용성이 필수적이기 때문이다. 본 논문은 음함수 정리와 내점법(IPM)에서 다루는 평활화된 최적성 조건을 이용하여 일반 비선형 계획법의 해 민감도를 계산하는 방법을 논한다. 장벽 매개변수가 지정된 비음수 목표값에 접근하도록 허용하여 SQP와 IPM 이차계획법(QP) 풀이기를 일반화하고, 이 목표값이 0일 때 고전적 SQP를 복원하는 순차 장벽 이차계획법(sequential barrier quadratic programming, SBQP)을 도입한다. 기존 연구는 볼록 또는 제약 없는 정식화에 한정되거나 효율적인 민감도 평가를 위한 구현이 부족하다. 본 발표는 `acados` 프레임워크 내의 효율적인 오픈소스 구현을 동반하며, 일반 최적 제어 문제에 대해 순방향 및 수반(adjoint) 민감도를 모두 제공하고 최신 풀이기인 `mpc.pytorch` 및 `cvxpygen` 대비 3배를 넘는 속도 향상을 달성한다.
Making Language Model a Hierarchical Classifier and Generator
Implementing Adaptations for Vision AutoRegressive Model
Graph World Model
Compress Any Segment Anything Model (SAM)
토론
이 논문과 연결된 포럼 글이 아직 없습니다.