arXiv:2503.11486

A Review of DeepSeek Models' Key Innovative Techniques

Chengen Wang, Murat Kantarcioglu

제출 2025-03-14

원문 초록

DeepSeek-V3 and DeepSeek-R1 are leading open-source Large Language Models (LLMs) for general-purpose tasks and reasoning, achieving performance comparable to state-of-the-art closed-source models from companies like OpenAI and Anthropic -- while requiring only a fraction of their training costs. Understanding the key innovative techniques behind DeepSeek's success is crucial for advancing LLM research. In this paper, we review the core techniques driving the remarkable effectiveness and efficiency of these models, including refinements to the transformer architecture, innovations such as Multi-Head Latent Attention and Mixture of Experts, Multi-Token Prediction, the co-design of algorithms, frameworks, and hardware, the Group Relative Policy Optimization algorithm, post-training with pure reinforcement learning and iterative training alternating between supervised fine-tuning and reinforcement learning. Additionally, we identify several open questions and highlight potential research opportunities in this rapidly advancing field.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.18964v3cs.LG공통 태그 Mixture-of-Experts, Reinforcement Learning

FedGuide: 이종 연합 강화학습을 위한 확산 사전확률 정렬 및 가치 기준선 유도

FedGuide: Diffusion Prior Alignment and Value Baseline Guidance for Heterogeneous Federated Reinforcement Learning

연합 강화학습(Federated Reinforcement Learning, FRL)은 이종의 환경을 가진 분산 에이전트 간의 협력적 정책 학습(policy learning)을 가능하게 합니다. 분산 감소, 다이버전스 페널티 부여, 모멘텀(momentum) 최적화에 기반한 최근 방법들이 이종 환경 설정에서 FRL을 개선하고 있지만, 여전히 주로 정책 또는 가치 네트워크 파라미터를 동기화하는 데 그치며 이종 클라이언트 간의 분포 불일치 문제를 명시적으로 해결하지 못합니다. 이에 따라 본 논문에서는 이종 로컬 정책 학습을 위해 개인화된 데이터 지지 분포(data supported distribution)를 제공하는 행동 모델로 확산 사전확률(diffusion prior)을 사용하는 FRL 프레임워크인 FedGuide를 제안합니다. FedGuide는 로컬 정책을 직접 평균화하는 대신, 최적 수송 전문가 혼합(Optimal-Transport Mixture-of-Experts, OT-MoE)을 통해 이러한 확산 사전확률들을 집계하여 분포 공간에서 이종 행동 모드를 보존합니다. 나아가 로컬 정책 개선을 위한 저분산 및 수익 인식 유도를 제공하고자 분포 교정 추정(Distribution Correction Estimation, DICE) 가치 기준선(value baseline)을 개발합니다. 이종 환경 전반에 걸친 실험 결과, FedGuide는 더 강한 이종성 하에서도 안정적인 학습을 유지하면서 클라이언트 평균 수익, 최종 라운드 성능, 최악 라운드 견고성 측면에서 대표적인 FRL 방법들을 능가함을 보여줍니다.

arXiv:2610.02359v1cs.LG공통 태그 Mixture-of-Experts, Reinforcement Learning

사전식 다중 목적 온-정책 증류

Lexicographic Multi-Objective On-Policy Distillation

검증 가능한 보상 기반 강화학습(RLVR)은 일반적으로 정답의 정확성을 최적화하지만, 유용한 언어 모델 동작을 위해서는 고품질의 추론과 간결한 응답 또한 필요합니다. 기존의 다중 보상 사후 학습(post-training) 방법들은 대개 보상을 스칼라화하거나 명시적인 보상 우선순위를 보호하지 않고 전문가 모델들을 결합합니다. 이는 트레이드오프가 비대칭적일 때 문제가 됩니다. 예를 들어 간결성을 개선하기 위해 정확성을 희생해서는 안 됩니다. 본 논문에서는 명시적인 우선순위 하에서 보상 특화 정책들을 통합하기 위한 다중 교사 방법인 사전식 다중 목적 온-정책 증류(LMOPD)를 소개합니다. 학생 모델의 각 롤아웃(rollout)에 대해, LMOPD는 게이트가 결함을 감지한 첫 번째 목적의 전문가를 선택한 다음, 더 높은 우선순위의 전문가와 상충하는 구성 요소를 제거하도록 중심화된 로그-정책 보정을 국소적으로 투영합니다. 저자들은 3개의 수학 벤치마크에서 2개 및 4개 전문가 설정의 30B-A3B 전문가 혼합(MoE) 트랜스포머 모델을 평가하여 유지된 전문가 성능 향상을 측정합니다. 2개 전문가 설정에서 LMOPD의 점 추정치는 정확도와 추론 품질 향상을 온전히 유지하면서 간결성 향상의 $46.9\%$를 확보합니다. 4개 전문가 설정에서는 차상위 기준선(baseline)이 $\approx57\%$에 그친 것에 비해 정확도 향상과 추론 정확성 향상을 모두 $\approx90\%$ 유지합니다. 동일 조건의 4개 전문가 어블레이션 연구는 사전식 라우팅이 무작위 라우팅보다 우수하며 투영이 최우선 역량을 더욱 강화함을 보여줍니다. 두 규모 모두에서 LMOPD는 평가된 기존 기준선보다 최우선 역량을 더 효과적으로 보존하여 전문가 통합에서 명시적 우선순위의 가치를 입증합니다.

arXiv:2609.39223v2cs.LG공통 태그 Mixture-of-Experts, Reinforcement Learning

QATFactory: LLM의 양자화 인식 학습 및 증류를 위한 다목적 배포 정렬 프레임워크

QATFactory: A Versatile, Deployment-Aligned Framework for Quantization-aware Training and Distillation of LLMs

대규모 언어 모델(LLM) 추론은 하드웨어 가속기의 처리량을 최대한 활용하기 위해 점차 저정밀도로 전환되고 있으나, 공격적인 사후 학습 양자화(PTQ)는 모델 성능을 저하시킬 수 있습니다. 본 논문에서는 배포 환경에 정렬된 양자화 인식 증류(QAD) 및 강화학습(QARL)을 위한 오픈소스 프레임워크인 QATFactory를 제시합니다. QATFactory는 BF16으로 행렬 곱셈을 수행하면서 배포 시점의 양자화를 시뮬레이션하므로, 목표 포맷을 네이티브로 지원하는 학습 하드웨어 없이도 모델이 양자화 노이즈에 적응할 수 있도록 합니다. 예를 들어 FP4 텐서 코어가 없는 H100 GPU에서도 NVFP4 학습을 지원합니다. 이 프레임워크는 NVFP4, MXFP4, 그리고 $\text{llama}.\text{cpp}$의 Q4_K 포맷을 지원하며, 밀집(dense) 및 전문가 혼합(MoE) 모델과 전체 매개변수 및 LoRA 기반 학습을 모두 지원합니다. 또한 추가적인 손실 변환 단계나 추론 오버헤드 없이 체크포인트를 vLLM 및 $\text{llama}.\text{cpp}$로 직접 내보냅니다. QATFactory를 활용하여 8B부터 230B 매개변수에 이르는 모델을 대상으로 광범위한 실험을 수행하고 프로덕션 추론 엔진에서 내보낸 체크포인트를 평가했습니다. 다양한 모델과 포맷 전반에서 QAD는 강력한 PTQ 베이스라인 대비 배포된 모델의 품질을 일관되게 향상시킵니다. Qwen3.5-9B의 경우, QAD는 NVFP4 환경에서 68.9%, MXFP4 환경에서 66.0%의 평균 벤치마크 정확도를 달성하여 가장 우수한 PTQ 결과인 각각 65.4%와 56.4%를 능가했습니다. 실험을 통해 두 FP4 포맷 모두 배포 시 가중치와 활성화를 양자화함에도 불구하고 최적의 학습 전략은 포맷에 따라 다르다는 점을 발견했습니다. NVFP4는 학습 중 가중치만 양자화할 때 전반적으로 더 나은 성능을 보이는 반면, MXFP4는 가중치와 활성화를 모두 양자화할 때 이점을 얻습니다. 고정된 학습 토큰 예산에서, 더 많은 4K 시퀀스로 학습하는 것보다 더 적은 수의 32K 시퀀스로 학습할 때 평균 정확도가 1.9%포인트 향상됩니다.

arXiv:2607.21653v3cs.LG공통 태그 Mixture-of-Experts, reinforcement-learning

Molt: 에이전트 강화학습을 위한 확장 가능한 PyTorch 네이티브 학습 프레임워크

Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning

에이전트 강화학습(RL)은 에이전트 및 학습 알고리즘에 대한 빠른 실험을 필요로 하지만, 대규모 정책과 긴 멀티모달 궤적은 상당한 분산 인프라를 요구합니다. 본 논문에서는 네 가지 기여를 통해 이러한 목표들을 결합한 경량 PyTorch 및 Hugging Face 네이티브 프레임워크인 MOLT를 제시합니다. MOLT는 약 9,200줄의 프레임워크 코드 내에서 Hugging Face 모델의 직접 로딩과 실험적으로 검증된 1조 개 매개변수(parameter) 확장성을 결합합니다. 통합된 OpenAI 및 Anthropic 호환 인터페이스는 컨텍스트 압축의 자동 처리를 통해 기존 에이전트들을 통합합니다. 완전 비동기 학습은 에이전트 롤아웃(rollout)과 정책 최적화를 중첩하여 가변적인 에이전트 실행 시간을 수용합니다. 분산 경험 저장은 긴 멀티모달 궤적에 대한 중앙 집중식 롤아웃 메모리 병목 현상을 제거합니다. 1조 개 매개변수 정책에서 전체 RL 학습 파이프라인을 실험적으로 검증하고 30B 전문가 혼합(MoE) 에이전트를 통해 지속적인 학습을 입증함으로써, MOLT가 대규모 에이전트 RL 연구를 위한 경량 기반임을 확립합니다.

arXiv:2609.27284v1cs.AI공통 태그 Mixture-of-Experts, Reinforcement Learning

Hunyuan-A13B 기술 보고서

Hunyuan-A13B Technical Report

Hunyuan-A13B를 소개한다. 이는 전문가 혼합(MoE) 아키텍처 기반의 오픈소스 대규모 언어 모델(LLM)이다. 총 800억 개의 파라미터를 포함하지만 추론 시에는 130억 개만 활성화하여 모델 성능, 계산 효율, 배포 비용의 균형을 맞춘다. 이 모델은 엄격하게 필터링된 20T 토큰 코퍼스에 사전학습(pre-training)되었으며, STEM 데이터 큐레이션을 강화하여 사실적 신뢰성과 추론 능력을 개선했다. 고품질 지도 미세조정과 대규모 강화학습이 전반적인 성능을 더욱 향상시킨다. Hunyuan-A13B는 또한 작업 복잡도에 따라 추론 깊이를 조절하는 이중 모드 사고의 연쇄(Chain-of-Thought) 프레임워크를 도입한다: 일반적인 질의에는 빠른 사고(fast thinking), 복잡한 다단계 문제에는 느린 사고(slow thinking)를 사용한다. 평가 결과 수학, 과학, 프로그래밍, 일반 언어 이해, 에이전트 작업 전반에서 경쟁력 있는 성능을 보이며, 종종 훨씬 더 큰 모델에 근접한 수준이다. 높은 추론 처리량으로 지연 시간에 민감한 응용에 적합하다. 오픈 연구와 실용적인 LLM 배포를 지원하기 위해 Hunyuan-A13B를 공개한다.

arXiv:2609.23989v1cs.AI공통 태그 Mixture-of-Experts, Reinforcement Learning

ACLArena: 다단계 사후 학습에서의 에이전트 지속 학습

ACLArena: Agent Continue Learning in Multi-stage Post-training

산업 배포를 위한 범용 에이전트를 구축하려면 여러 역량을 통합해야 하며, 각 역량은 일반적으로 서로 다른 학습 단계에서 습득된다. 그러나 현재 에이전트 지속 학습(Agent Continual Learning, ACL)에 대해 잘 정립된 방법론은 없으며, 기존 통합 패러다임 간 트레이드오프에 대한 이해도 부족하다. 이 공백을 메우기 위해 ACL을 포괄적으로 연구·분석·평가하기 위한 프레임워크인 ACLArena를 제안한다. 우리는 먼저 순차적 학습 파이프라인을 구축하고, 모델 수준과 토큰 수준이라는 두 상보적 관점에서 망각과 일반화의 메커니즘을 설명하는 심층 분석을 수행한다. 이 분석을 바탕으로, 다중 교사 온-정책 지식 증류, 자기 증류 기반 미세조정, 모델 병합을 체계적으로 비교하여 이전에 학습한 역량을 회복하면서 새로 습득한 역량을 보존하는 능력을 평가한다. 광범위한 실험을 통해 단계 간 역량이 어떻게 전이되는지에 대한 상세한 이해를 얻는다. 마지막으로, 고품질 궤적에 대한 오프라인 리플레이와 강화학습(RL)을 통해 각각 특화된 다중 LoRA 전문가의 라우팅 네트워크를 결합한 새로운 ACL 방법론을 제안하여, 여러 도메인에 걸친 학습 능력을 크게 향상시킨다. 추론 및 에이전트적 과업 4가지에 대한 포괄적 실험을 도메인 내 및 도메인 외 설정 모두에서 평가한 결과, 우리 분석의 가치와 접근법의 효과가 입증된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.