PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2511.19486v3cs.LG

미세조정 후 보정

Fine-Tune, Then Rectify

인공지능의 최근 발전에 힘입어, 점점 늘어나는 연구가 대규모 언어 모델(LLM)을 확장 가능한 대리(surrogate)로 활용해 인간과 유사한 응답을 생성할 잠재력을 보여주었다. LLM 성능을 높이는 두 가지 흔한 방법은, LLM을 인간 응답에 더 가깝게 정렬(alignment)하는 미세조정과, LLM 출력의 편향을 교정하는 보정(rectification)이다. 본 논문에서는 미세조정과 보정을 결합한 2단계 프레임워크를 제안하고, 제한된 라벨 샘플을 두 단계에 걸쳐 최적으로 배분한다. 핵심 통찰은, 평균제곱 예측 오차를 최소화하는 기존 미세조정 목적이 일반적으로 이후 보정 단계와 맞지 않는다는 점이다. 평균 추정(mean estimation)에서는 예측 오차의 분산을 최소화할 것을, 일반 M-추정(M-estimation)에서는 미세조정 목적으로 스칼라화된 분산 지표를 최소화할 것을 제안한다. 이 통찰을 바탕으로 미세조정의 스케일링 법칙(scaling law)을 이용해 미세조정 단계와 보정 단계 사이에 제한된 라벨 인간 데이터를 최적으로 배분한다. 실증 분석은 미세조정 스케일링 법칙을 검증하고, 제안한 최적 배분 규칙이 최적 샘플 배분을 안정적으로 찾아냄을 확인한다. 미세조정 또는 보정만 단독으로 쓰는 경우, 또는 미세조정 후 보정 프레임워크에서 기존 평균제곱 오차 목적을 쓰는 경우에 비해 추정 및 추론(inference) 성능에서 상당한 효율 이득을 보여준다. 이러한 효율 이득은 신뢰할 수 있는 의사결정을 내릴 때 상당한 비용 절감으로 이어진다.