Building a Family of Data Augmentation Models for Low-cost LLM Fine-tuning on the Cloud
원문 초록
Specializing LLMs in various domain-specific tasks has emerged as a critical step towards achieving high performance. However, the construction and annotation of datasets in specific domains are always very costly. Apart from using superior and expensive closed-source LLM APIs to construct datasets, some open-source models have become strong enough to handle dataset construction in many scenarios. Thus, we present a family of data augmentation models designed to significantly improve the efficiency for model fine-tuning. These models, trained based on sufficiently small LLMs, support key functionalities with low inference costs: instruction expansion, instruction refinement, and instruction-response pair expansion. To fulfill this goal, we first construct an automatic data collection system with seed datasets generated from both public repositories and our in-house datasets. This system leverages powerful LLMs to expand, refine and re-write the instructions and responses, incorporating quality assessment techniques. Following this, we introduce the training process of our models, which effectively distills task-solving and text synthesis abilities from teacher LLMs. Finally, we demonstrate how we integrate these functionalities into a machine learning platform to support low-cost LLM fine-tuning from both dataset preparation and training perspectives for users. Experiments and an application study prove the effectiveness of our approach.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SenseShift6D: Multimodal RGB-D Benchmarking for Robust 6D Pose Estimation across Environment and Sensor Variations
SSS: Semi-Supervised SAM-2 with Efficient Prompting for Medical Imaging Segmentation
고차원 프로빗 회귀를 위한 데이터 증강 깁스 샘플러의 혼합 시간
Mixing times of data-augmentation Gibbs samplers for high-dimensional probit regression
우리는 베이지안 프로빗 회귀를 위한 널리 사용되는 데이터 증강 샘플러의 수렴 특성을 조사합니다. 로그 오목(log-concave) 타겟에 대한 깁스 샘플러의 최근 연구 결과를 활용하여, 관련 혼합 시간(mixing times)에 대해 쿨백-라이블러 발산(Kullback-Leibler divergence) 기준으로 간단하고 명시적인 비점근적 경계를 제공합니다. 이 경계는 설계 행렬과 사전 정밀도(prior precision)에 명시적으로 의존하며, 반응 벡터 전체에 대해 균일하게 성립합니다. 데이터 포인트의 수 $n$과 파라미터의 수 $p$가 모두 큰 경우, 통계적으로 흥미로운 다양한 영역(regimes)에 결과를 적용하여 분석합니다. 특히 $n,p\to\infty$에 따라 혼합 시간이 유계로 유지되는 시나리오와 그렇지 않은 시나리오를 식별합니다. 해당 결과는 (반응에 대한 최악의 경우 기준으로) 타이트(tight)함이 입증되었으며, 빠른 혼합(fast mixing)으로 이어짐이 증명 가능한 사전 분포(prior distributions) 선택에 대한 지침을 제공합니다. 결합 기법(coupling techniques)에 기반한 실증적 분석은 제안된 경계가 실제 관찰되는 행동을 예측하는 데 효과적임을 시사합니다.
AI-Enhanced Pediatric Pneumonia Detection: A CNN-Based Approach Using Data Augmentation and Generative Adversarial Networks (GANs)
PSAT: Pediatric Segmentation Approaches via Adult Augmentations and Transfer Learning
DS@GT at CheckThat! 2025: Detecting Subjectivity via Transfer-Learning and Corrective Data Augmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.