arXiv:2610.07706v1 cs.LG

WASD: 대규모 언어 모델을 위한 바세르슈타인 기반 지식 증류

WASD: Wasserstein-based Knowledge Distillation for Large Language Models

Byeonghu Na, Donghyeok Shin, Yeongmin Kim, Mina Kang, Il-Chul Moon

제출 2026-10-06

저자 비고

arXiv Comments

Accepted at NeurIPS 2026

한국어 초록

자기회귀 대규모 언어 모델(LLM)은 성능 면에서 빠르게 발전해 왔으나, 모델 규모가 커짐에 따라 추론 시 상당한 계산 및 메모리 비용이 발생합니다. 지식 증류(KD)는 이산 확률 분포의 정렬을 통해 거대한 교사 모델의 지식을 더 작은 학생 모델로 전달함으로써 실용적인 해결책을 제공합니다. 그러나 기존의 LLM 대상 지식 증류 방식은 주로 토큰 수준의 의미론적 정보를 명시적으로 활용하지 않고 각 어휘 인덱스의 확률값을 통해 차이를 평가하는 다이버전스에 의존합니다. 본 논문에서는 토큰 임베딩에서 도출된 비용 행렬을 활용하는 바세르슈타인 기반 거리(Wasserstein-based distance)를 통해 토큰 수준의 의미론적 정보를 반영하는 LLM 대상 바세르슈타인 기반 지식 증류(WASD)를 제안합니다. 계산적 다루기 쉬움(tractability)을 보장하기 위해 싱크혼 다이버전스(Sinkhorn divergence)를 도입하고, 추가적인 네트워크 없이도 효율적으로 최적화할 수 있는 그래디언트 동등 목적 함수를 유도합니다. 다양한 LLM 제품군과 규모에 걸친 실험 결과, WASD는 인스트럭션 수행, 수학적 추론, 코드 생성을 포함한 다양한 태스크에서 증류 성능을 일관되게 향상시키는 것으로 나타났습니다. 본 연구 결과는 LLM 증류에서 효과적인 분포 정렬을 위해 토큰 공간에 인코딩된 의미론적 정보의 중요성을 강조합니다. 구현 코드는 https://github.com/aailab-kaist/WASD 에서 공개되어 있습니다.

원문 초록

Autoregressive large language models (LLMs) have rapidly advanced in capability, but their increasing scale comes with substantial computational and memory costs at inference time. Knowledge distillation (KD) offers a practical solution by transferring knowledge from a large teacher model to a smaller student model via alignment of discrete probability distributions. However, existing KD methods for LLMs primarily rely on divergences that evaluate discrepancies through probability values at each vocabulary index, without explicitly leveraging token-level semantic information. We propose Wasserstein-based knowledge distillation (WASD) for LLMs, which incorporates token-level semantic information via the Wasserstein-based distance with a cost matrix derived from token embeddings. To ensure computational tractability, we adopt the Sinkhorn divergence and derive a gradient-equivalent objective that can be efficiently optimized without introducing additional networks. Experiments across multiple LLM families and scales show that WASD consistently improves distillation performance on diverse tasks, including instruction following, mathematical reasoning, and code generation. Our results highlight the importance of semantic information encoded in the token space for effective distribution alignment in LLM distillation. The implementation is publicly available at https://github.com/aailab-kaist/WASD .

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.07706v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.