LLM 추론을 개념 예측기 그래프로 증류하기
Distilling LLM Reasoning into Graph of Concept Predictors
판별(discriminative) 작업에 대규모 언어 모델(LLM)을 배포하는 것은 대규모 환경에서 추론(inference) 지연 시간, 연산량 및 API 비용으로 인해 제한되는 경우가 많습니다. 능동적 증류(active distillation)는 LLM 오라클에 질의하여 작은 크기의 판별 학생(student) 모델을 학습(training)시킴으로써 이러한 비용을 절감하지만, 대부분의 파이프라인은 최종 라벨만을 증류하므로 중간 추론 신호를 버리게 되고 어떤 추론이 누락되었으며 어디서 오류가 발생하는지에 대한 제한적인 진단만을 제공합니다. 본 논문에서는 교사(teacher) 모델의 추론을 중간 개념들의 유향 비순환 그래프(DAG)로 도출하고 이를 학생 모델에 반영하는 추론 인식 능동적 증류 프레임워크인 개념 예측기 그래프(Graph of Concept Predictors, GCP)를 제안합니다. GCP는 개념별 불확실성, 그래디언트(gradient) 다양성, 노드(node) 중심성에 기반한 커버리지를 가중하는 그래프 인식 획득(acquisition) 전략을 통해 샘플 효율성을 향상시킵니다. 또한 다운스트림 손실(loss)을 특정 개념 예측기의 원인으로 귀속시키고 가장 영향력 있는 모듈만을 업데이트하는 타깃 하위 모듈 재학습을 수행하여 학습 안정성과 효율성을 개선합니다. 8개의 자연어 처리(NLP) 분류(classification) 벤치마크에 대한 실험을 통해 GCP가 제한된 어노테이션 예산 내에서 성능을 향상시키는 동시에 보다 해석 가능하고 제어 가능한 학습 동역학을 제공함을 입증합니다. 코드는 https://github.com/Ziyang-Yu/GCP 에서 확인할 수 있습니다.