PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.14193v4cs.LG

데이터 없는 온-정책 지식 증류: 외부 데이터 없이 얼마나 멀리 갈 수 있는가?

Data-Free On-Policy Distillation: How Far Can We Go Without External Data?

온-정책 지식 증류(On-Policy Distillation, OPD)는 프론티어 파운데이션 모델의 사후 학습(post-training)에 점점 더 많이 적용되고 있습니다. 이 분야의 기존 연구는 주로 알고리즘적 발전에 초점을 맞추었으나, OPD가 학습 질문에 얼마나 의존하는지, 특히 이러한 의존성을 어디까지 줄일 수 있는지는 여전히 불분명합니다. 두 가지 대표적인 단일 교사(single-teacher) OPD 설정에 걸쳐, 저자들은 단 8개의 실제 프롬프트로 학습해도 17,000개 문제로 학습한 것과 유사한 성능을 얻을 수 있으며, 측정된 난이도와 초기 증류 격차가 크게 다른 데이터셋들 간에도 유사한 결과를 산출함을 발견했습니다. 이러한 분석은 두 가지 상호보완적인 설명을 제시합니다. 즉, 반복 샘플링을 통해 적은 프롬프트만으로도 상당한 교사 지도(teacher supervision)를 드러낼 수 있으며, OPD가 데이터셋별 지식을 넘어 일반화 가능한 추론 능력을 전이한다는 것입니다. 이러한 관찰을 바탕으로, 저자들은 외부 데이터의 필요성을 없애고 시스템이 스스로 학습 질문을 제공할 수 있는지 조사하기 위해 데이터 없는 온-정책 지식 증류(Data-Free On-Policy Distillation, DF-OPD) 설정을 제안합니다. 시드 예시 없이 생성된 64개의 자체 생성 질문을 통해, DF-OPD는 두 단일 교사 설정 모두에서 전체 데이터를 사용한 OPD와 유사한 성능을 산출합니다. 이러한 발견은 다중 교사(multi-teacher) OPD에서도 유효하여, 수학, 코드 및 인스트럭션 추종(instruction following) 전반에 걸쳐 1,000개의 생성된 질문이 약 7,000개의 실제 사후 학습 예시로 학습한 것과 유사한 성능을 달성합니다. 나아가 저자들은 OPD가 명시적인 학습 질문 없이도 작동할 수 있는지 탐구합니다. 실험 결과 이는 학생 모델이 예상치 못하게 자체 질문을 생성하고 답변하여 프로세스가 암묵적인 형태의 DF-OPD로 귀결되는 제한적인 경우에만 효과적임을 보여줍니다. 종합적으로 이러한 발견들은 온-정책 지식 증류에서 학습 데이터의 역할에 대한 재평가를 유도합니다. 코드는 https://github.com/Ryuki661/DF-OPD 에서 이용 가능합니다.