arXiv:2610.12114v1 cs.AI

LLM을 위한 범용 텍스트 교수법

Universal Textual Teaching for LLMs

Zhanyi Lu, Huan Wang

제출 2026-10-08

저자 비고

arXiv Comments

Webpage: https://alexlu99.github.io/UTT/

한국어 초록

지식 증류(KD)는 더 강력한 교사(Teacher) 모델에서 더 약한 학생(Student) 모델로 지식을 전달하지만, 대부분의 방법은 학생 모델의 매개변수를 학습해야 하므로 증류된 지식이 특정 아키텍처 및 체크포인트에 종속됩니다. 이러한 암묵적 표현은 해석하거나 모델 간에 재사용하기 어렵고, API 전용 모델이나 학습 비용이 많이 드는 모델에 대한 지식 증류 적용을 제한합니다. 본 논문에서는 대규모 언어 모델(LLM)을 위한 지식 전달을 연구합니다. 우리는 교사-학생 간 관찰된 지식 격차를 프라이머(Primer)라는 텍스트 기반의 해석 가능하고 재사용 가능한 자연어 산출물로 증류하는 매개변수 업데이트가 필요 없는 프레임워크인 범용 텍스트 교수법(UTT)을 제안합니다. 구체적으로 UTT는 먼저 쌍체 평가를 통해 대표적인 지식 격차 사례를 식별하고, 다중 역할 상호작용을 통해 프라이머를 반복적으로 업데이트합니다. 즉, 학생이 각 과제를 시도하고, 프롬프터는 평가 피드백을 교수 지침으로 변환하며, 교사는 맞춤형 시연을 제공하고, 합성기는 검증된 교훈을 통합합니다. 어려운 수학(Omni-MATH-2) 및 코드 생성(KernelBench) 과제에 대한 광범위한 실험 결과는 제안 방법의 효과를 입증합니다. UTT는 KernelBench에서 학생 모델의 정확도를 9.4%에서 48.6%로, Fast1 정확도를 9%에서 35%로 크게 향상시켰으며, 수학적 추론 정확도는 27.6%에서 51.7%로 높였습니다. 또한 UTT는 대표적인 프롬프트 엔지니어링 및 매개변수 기반 지식 증류 방법보다 우수한 성능을 보입니다. 특히 UTT는 서로 다른 교사와 학생 간에도 일반화 가능한 것으로 나타났습니다. 즉, 특정 교사-학생 쌍을 위해 합성된 프라이머는 합성에 참여하지 않은 다른 학생 모델에도 일반화될 수 있습니다.

원문 초록

Knowledge distillation (KD) transfers knowledge from stronger Teacher models to weaker Student models, but most methods require training the Student parameters, thereby binding the distilled knowledge to a specific architecture and checkpoint. This implicit representation is difficult to interpret or reuse across models and limits KD for API-only or costly-to-train models. This paper studies knowledge transfer for large language models (LLMs). We introduce Universal Textual Teaching (UTT), a parameter-update-free framework that distills observed Teacher-Student knowledge gaps into a textual, interpretable, and reusable natural-language artifact called Primer. Specifically, UTT first identifies representative gap cases through paired evaluations, and iteratively updates the Primer via multi-role interactions: the Student attempts each task, the Prompter turns evaluation feedback into a teaching instruction, the Teacher provides a targeted demonstration, and the Synthesizer consolidates validated lessons. Empirically, on the challenging math (Omni-MATH-2) and code generation (KernelBench) tasks, extensive results confirm the effectiveness of the method: UTT remarkably raises the Student's accuracy from 9.4% to 48.6% and Fast1 accuracy from 9% to 35% on KernelBench, while increasing mathematical reasoning accuracy from 27.6% to 51.7%. UTT also performs better than representative prompt engineering and parameter-based KD methods. Of note, UTT is shown to be generalizable across different Teachers and Students: a Primer synthesized for one Teacher-Student pair can generalize to other Students that do not participate in the synthesis.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.12114v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.