arXiv:2311.02849

Co-training and Co-distillation for Quality Improvement and Compression of Language Models

Hayeon Lee, Rui Hou, Jongpil Kim, Davis Liang, Hongbo Zhang, Sung Ju Hwang, Alexander Min

제출 2023-11-06

원문 초록

Knowledge Distillation (KD) compresses computationally expensive pre-trained language models (PLMs) by transferring their knowledge to smaller models, allowing their use in resource-constrained or real-time settings. However, most smaller models fail to surpass the performance of the original larger model, resulting in sacrificing performance to improve inference speed. To address this issue, we propose Co-Training and Co-Distillation (CTCD), a novel framework that improves performance and inference speed together by co-training two models while mutually distilling knowledge. The CTCD framework successfully achieves this based on two significant findings: 1) Distilling knowledge from the smaller model to the larger model during co-training improves the performance of the larger model. 2) The enhanced performance of the larger model further boosts the performance of the smaller model. The CTCD framework shows promise as it can be combined with existing techniques like architecture design or data augmentation, replacing one-way KD methods, to achieve further performance improvement. Extensive ablation studies demonstrate the effectiveness of CTCD, and the small model distilled by CTCD outperforms the original larger model by a significant margin of 1.66 on the GLUE benchmark.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24312v1cs.CV공통 태그 Data Augmentation, Knowledge Distillation

AnalogDepth: 아날로그 비디오 전송 환경에서 FPV 드론을 이용한 다중 시점 기하학

AnalogDepth: Multi-view Geometry from FPV drones under Analog Video Transmission

아날로그 비디오 전송(VTX)은 낮은 지연 시간, 가벼운 무게, 저비용 덕분에 FPV 드론에서 여전히 널리 사용된다. 그러나 아날로그 VTX는 표준 학습 증강에 사용되는 디지털 이미지 손상(예: AWGN)과는 근본적으로 다른, 복잡하고 공간적으로 구조화된 이미지 열화를 겪는다. 본 연구는 이러한 유형의 노이즈가 최신 피드포워드 시각 기하학 파운데이션 모델인 Depth Anything 3(DA3)의 정확도를 심각하게 저하시킨다는 것을 보인다. 이러한 격차를 해소하기 위해, 우리는 DINOv2 백본에 주입된 Low-Rank Adaptation(LoRA)을 활용한 학생-교사 지식 증류를 통해 DA3를 아날로그 FPV 영상에 적응시키는 매개변수 효율적 학습 파이프라인인 AnalogDepth를 제시한다. 노이즈를 분석적으로 합성하는 대신, 우리는 다양한 조건에서 촬영된 정적 FPV 녹화 영상으로부터 노이즈 뱅크를 구축하고, 실제 노이즈 주입을 PSD 매칭 가우시안 합성 및 AWGN 기준선과 비교한다. 세 곳의 실내 장면에서 촬영된 여섯 개의 실제 FPV 비행 시퀀스에 대한 실험 결과, 우리의 노이즈 뱅크를 이용한 학습이 사전학습된 DA3 기준선 및 두 가지 가우시안 노이즈 변형과 비교하여 프레임별 깊이 RMSE와 3D 재구성 챔퍼 거리(Chamfer distance)를 일관되게 감소시킨다는 것을 보여준다. 이러한 결과는 실제 아날로그 전송 노이즈의 공간적 구조를 재현하는 것이 효과적인 적응에 필수적임을 보여준다.

arXiv:2607.20450v1cs.CL공통 태그 Data Augmentation, Knowledge Distillation

ShriNep@EEUCA 2026: RAKSHAK - 근거 증류와 Jigsaw 증강 학습을 활용한 다중 과제 DeBERTa 기반 독성 의도 분류

ShriNep@EEUCA 2026: RAKSHAK - Multi-Task DeBERTa with Rationale Distillation and Jigsaw-Augmented Training for Toxic Intent Classification

본 논문은 ACL 2026 EEUCA 워크숍의 GameTox 공유 과제를 위한 두 가지 시스템을 제시한다. 이 과제는 World of Tanks 채팅 발화를 6개의 세분화된 독성 의도 범주(레이블 0-5)로 분류하는 것을 요구한다. 심각한 클래스 불균형, 도메인 특화 다국어 슬랭, 그리고 위협(레이블 4, 60개 샘플)과 극단주의(레이블 5, 24개 샘플)와 같은 희귀 범주에 대한 극히 부족한 데이터로 인해 이는 어려운 분류 문제가 된다. 주 제출 시스템인 RAKSHAK(rakṣaka, 산스크리트어로 "수호자")는 Qwen2.5-14B(An et al., 2024)로부터의 근거 증류(rationale distillation), 지도 대조 손실(Supervised Contrastive Loss), 희귀 클래스 전용 이진 헤드를 결합한 다중 과제 DeBERTa-v3-base(He et al., 2022) 프레임워크이다. RAKSHAK의 학습 데이터는 Jigsaw Toxic Comment 데이터셋(16,225개 샘플, 레이블 1-4에 매핑)의 교차 도메인 전이와 레이블 5를 위한 LLM 생성 극단주의 샘플 100개로 증강되었다. 보조 시스템(M1)은 Jigsaw 전이 없이 원본 GameTox 데이터와 동일한 극단주의 샘플 100개에 Focal Loss를 적용하여 DeBERTa-v3-base를 파인튜닝한다. RAKSHAK는 공식 테스트셋에서 Macro F1 0.5883을 달성하여 35개 참가 팀 중 7위를 기록했으며, M1은 Macro F1 0.5252를 달성했다. Jigsaw 데이터 유무에 따른 M1의 ablation 비교 결과, 교차 도메인 전이는 F1 +2.6점을, RAKSHAK의 다중 과제 아키텍처는 추가로 +3.7점을 기여하는 것으로 나타났다.

arXiv:2607.19358v3cs.AI공통 태그 Knowledge Distillation

LISA: 효율적 긴 컨텍스트 추론을 위한 Linear-Indexed Sparse Attention

LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning

DeepSeek-R1과 같은 긴 사고 사슬(CoT) 추론 모델은 테스트 시점 스케일링 하에서 추론 사슬을 계속 늘리고 있으나, 표준 셀프 어텐션은 문맥 길이에 대해 이차 비용이 들어 긴 CoT의 실서비스 배포를 고비용으로 만든다. 이에 본 논문은 전체 사전학습이 필요 없는 셀프 어텐션의 플러그 앤 플레이 대체 방식인 LISA(Linear-Indexed Sparse Attention)를 제안한다. LISA는 장거리 메모리를 위한 선형 어텐션 분기와, 희소 셀프 어텐션 분기를 위해 가장 관련성 높은 토큰을 동적으로 선택하는 Lightning Indexer를 결합한다. 두 분기는 학습된 게이트를 통해 융합되어, 모델이 폭넓은 문맥을 유지하면서 연산을 정보량이 많은 토큰에 집중시킨다. LISA는 두 단계로 학습한다. 1단계에서는 선형 어텐션 분기를 슬라이딩 윈도 어텐션과 통합하고, 고정된 교사 모델의 전체 어텐션 분포로부터 증류한다. 2단계에서는 Lightning Indexer가 정적 윈도를 대체하며, 교사의 어텐션 패턴을 모방하도록 헤드별 KL 발산 목적함수로 학습된다. 그 결과 모델은 eager 모드 셀프 어텐션 연산을 시퀀스 길이에 대한 이차에서, 생성된 토큰 수와 선택된 문맥 예산에 대한 선형으로 줄인다. DeepSeek 증류 Qwen 모델에 대한 실험에서 LISA는 긴 문맥 추론 품질을 저하시키지 않으면서 16K 문맥에서 측정된 eager 모드 평균 샘플 지연 시간을 23.9% 줄인다. 9개의 수학 및 코드 추론 벤치마크 전반에서 게이트 방식 LISA-1.5B 모델은 전체 어텐션 기준 모델 대비 동일 가중 벤치마크 평균을 4.2%p 향상시킨다.

arXiv:2610.13740v2cs.RO공통 태그 Knowledge Distillation

SmolWAM: 엣지 디바이스 로봇 조작을 위한 잠재 월드-액션 모델

SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices

월드-액션 모델(WAM)은 로봇 행동과 미래 관측을 함께 예측하지만, 비디오 확산 백본은 엣지 배포에 비용이 크다. 본 연구는 단일 프레임 인코딩, 어텐션 싱크를 보존한 캐시된 텍스트 특징, 깊이 가지치기, 토큰 압축을 사용하여 20억 파라미터의 Cosmos Policy로부터 도출한 소형 잠재 WAM인 SmolWAM을 제안한다. 28개 트랜스포머 블록 중 12개와 1,008개 토큰으로 SmolWAM은 한 번의 rectified-flow 단계에서 행동과 미래 잠재 변수를 예측한다. A100 GPU 3.6시간의 학습 후, 400개의 LIBERO 에피소드에서 95.5%의 성공률을 달성하며, A100에서 16개 행동 청크당 57ms, 2.3TFLOP, 2.4GiB를 사용하여 5단계 교사 대비 지연 시간은 11배, 메모리는 3.2배 낮다. 월드 헤드는 장면의 움직임을 예측하며, 공동 학습은 행동 전용 어블레이션보다 성공률을 6.2퍼센트포인트 향상시킨다.

arXiv:2610.10854v2cs.LG공통 태그 Knowledge Distillation

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.