A Study on Hidden Layer Distillation for Large Language Model Pre-Training
한국어 초록
지식 증류(KD)는 대규모 언어 모델(LLM)을 학습하는 데 중요한 도구이지만, 대부분의 연구는 출력 로짓에만 의존하는 접근법에 초점을 맞추고 있어 교사 모델의 중간 표현에 담긴 의미 정보는 간과하고 있습니다. 인코더 아키텍처에서는 히든 레이어 증류(Hidden Layer Distillation, HLD)가 가능성을 보였지만, 대규모 디코더 전용 사전학습에의 적용은 아직 거의 탐구되지 않았습니다. 우리는 연산량을 통제한 실험을 통해 Gemma3 3.4B를 교사 모델로, C4 데이터셋의 최대 1680억 토큰으로 학습한 1억 2300만 및 7억 3500만 규모의 학생 모델을 사용하여, HLD를 로짓 기반 KD 및 자기지도 기준선과 비교 평가했습니다. 실험 결과, HLD는 다운스트림 평가 과제에서 표준 KD보다 일관되게 우수하지는 않았습니다. 다만, 공유 하이퍼파라미터를 사용하는 모든 구성에서 HLD가 KD 대비 체계적인 퍼플렉서티 향상을 보일 수 있음을 확인했으며, 이는 잠재 신호를 추출할 수는 있지만 LLM 사전학습에서 HLD가 더 중요한 역할을 하려면 돌파구가 필요할 수 있음을 시사합니다.
요약
대규모 언어 모델(LLM) 사전학습에서 지식 증류(Knowledge Distillation, KD)가 널리 활용되어 왔지만, 기존 연구는 주로 교사 모델의 최종 출력 로짓(logits)에만 의존해 중간 표현이 담고 있는 의미 정보를 충분히 활용하지 못한다는 한계를 지닙니다. 이러한 문제의식에서 출발한 이 연구는 히든 레이어 증류(Hidden Layer Distillation, HLD)가 디코더 전용(decoder-only) LLM의 대규모 사전학습에서도 실질적인 이점을 제공할 수 있는지를 체계적으로 검증합니다. 저자들은 교사 모델의 출력 분포뿐 아니라 내부 표현을 학생 모델이 함께 모사하도록 설계함으로써, 더 풍부한 감독 신호가 학습 효율과 일반화에 어떤 영향을 주는지 살펴봅니다. 실험은 compute-controlled 조건에서 수행되었으며, 교사로는 Gemma3 3.4B, 학생으로는 123M과 735M 규모의 모델을 사용하고, C4 데이터셋의 최대 168B 토큰으로 학습을 진행해 비교의 공정성을 높였습니다. 특히 기존의 로짓 기반 KD, 자기지도(self-supervised) 기준선, 그리고 HLD 계열 방법을 동일한 하이퍼파라미터 조건에서 정면 비교함으로써, 단순히 계산량 차이에서 비롯된 성능 편차를 배제하려 했다는 점이 중요합니다. 실험 결과, HLD는 다운스트림 평가 과제에서 표준 KD를 일관되게 능가하지는 못했지만, 공유 하이퍼파라미터 조건에서는 모든 경우에 걸쳐 KD보다 퍼플렉서티(perplexity)가 체계적으로 개선되는 경향을 보였습니다. 이는 HLD가 교사 모델의 중간 표현에서 잠재적인 언어 구조 신호를 포착하고 있음을 시사하며, 최소한 언어모델링 목적 자체에는 긍정적인 영향을 줄 수 있음을 보여줍니다. 다만 이러한 향상이 곧바로 실제 과제 성능 향상으로 이어지지 않았다는 점은, 사전학습 단계에서의 표현 정렬이 downstream 일반화로 전환되는 과정이 여전히 충분히 정교하지 않다는 사실을 드러냅니다. 저자들은 이러한 결과를 HLD의 무의미함으로 해석하기보다, 현재의 설계만으로는 그 잠재력을 완전히 끌어내기 어렵고, 더 근본적인 방법론적 개선이 필요하다는 신호로 제시합니다. 결과적으로 이 연구는 LLM 사전학습에서 KD를 단순히 출력 모방의 문제로 보는 관점을 넘어, 교사 내부 표현에 포함된 의미적 단서를 활용하는 새로운 방향의 가능성과 한계를 함께 보여줍니다. 또한 대규모 실험 환경에서 HLD의 효과를 면밀히 검증했다는 점에서, 향후 표현 기반 증류 기법이 어떤 조건에서 실제 이득으로 이어지는지 탐구하는 데 중요한 기준점을 제공합니다. 이런 맥락에서 본 연구는 중간 표현 증류가 사전학습의 차세대 감독 신호가 될 수 있는지에 대한 실증적 질문을 던지며, 대규모 언어 모델 압축과 학습 효율화 연구에 의미 있는 문제의식을 제시합니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.