arXiv:2611.23229v1 cs.LG

Ambient LLM: 온도 일치를 통한 데이터 효율적인 지도 미세조정

Ambient LLMs: Data-Efficient Supervised Fine-tuning via Temperature Matching

Giannis Daras, Marios Papachristou, Adam Klivans, Antonio Torralba, Constantinos Daskalakis

제출 2026-11-18

한국어 초록

자기회귀 언어 모델의 사후 학습에 사용할 대규모 고품질 데이터셋을 다양하게 수집하기는 어렵다. 따라서 지도 미세조정(SFT)에는 대개 사전학습 데이터보다 규모가 훨씬 작은 데이터셋을 사용한다. 이로 인해 과적합이 일어나고 데이터 분포의 꼬리에 해당하는 내용을 파국적으로 망각한다. 이를 방지하기 위해 불완전한 예측으로 미세조정 데이터셋을 보강하는 원리에 기반한 프레임워크 Ambient SFT를 소개한다. 이 방법에서는 가중치를 고정한 사전학습 모델을 잡음이 있는 교사로 사용하며, 미세조정 모델이 교사의 예측을 큰 틀에서 따르도록 한다. 구체적으로 사후 학습 모델이 산출하는 조건부 분포에 높은 온도를 적용한 결과가, 사전학습 모델의 조건부 분포에 같은 온도를 적용한 결과와 일치하도록 한다. 온도 하이퍼파라미터로 사전학습 모델을 신뢰하는 정도를 조절한다. $T\to \infty$인 극한에서는 일반 SFT가 되고, $T=1$에서는 지식 증류가 된다. 이 방법은 도메인 적응, 지시 미세조정, 추론에서 표준 SFT보다 높은 성능을 보였으며, 표준 SFT 대비 평균 상대 개선 폭은 최대 $21\%$였다.

원문 초록

Collecting large-scale, diverse, and high-quality post-training datasets for autoregressive language models is challenging. Consequently, Supervised Fine-Tuning (SFT) is typically applied to datasets significantly smaller than those used for pre-training, which leads to overfitting and the catastrophic forgetting of the tails of the data distribution. To prevent this collapse, we introduce Ambient SFT, a principled framework for leveraging imperfect predictions to augment the fine-tuning set. In our method, a "frozen" version of the pre-trained model serves as a noisy teacher that the fine-tuned model must match at a coarse level. In particular, we require that the high-temperature versions of the conditional distributions produced by the post-training model should match the high-temperature versions of the pre-training ones. The temperature hyperparameter controls the level of trust in the pre-trained model, with the limit $T\to \infty$ reverting back to regular SFT and $T=1$ to knowledge distillation. We demonstrate that our approach outperforms standard SFT across domain adaptation, instruction-tuning, and reasoning, leading for up to $21\%$ average relative improvement to standard SFT.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23229v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.