한국어 초록
본 논문에서는 총 350억 개, 활성 30억 개의 매개변수를 갖고 사고 모드 생성을 지원하는 전문가 혼합 확산 언어모델 Clover-35B-A3B-Preview(Clover)를 소개한다. Clover는 이전에 생성된 문맥의 순환 메모리와 현재 블록 내부의 양방향 소프트맥스 어텐션을 결합하여 Gated Delta Networks를 블록 확산에 적응시킨다. 과거 메모리 읽기는 학습 가능한 블록 크기 보정과 별도의 영 초기화 우측 문맥 합성곱 분기와 함께 공유 소프트맥스에서 현재 블록 토큰과 경쟁한다. Clover는 SWE-bench Verified 73.6, Terminal-Bench 2.1 51.7을 포함하여 평가한 일곱 가지 에이전트 지표에서 선두를 차지한다. 내부 에이전트 워크로드에서는 NVIDIA GB300 GPU 한 대, BF16 정밀도, 배치 크기 1 조건에서 보고된 생성 속도가 680 토큰/초에 이른다. 우리는 모델 품질, 드래프팅 및 검증 비용, 제한된 메모리에서의 배치를 중심으로 평가를 구성한다. 또한 관련 질문들에 대한 답을 한 번의 디노이징 패스로 생성하는 의사결정 모델 변형을 기술한다. 내부 500개 그룹 집합에서 결합 예측은 질문 정확도를 90.37%에서 93.88%로, 전부 정답인 그룹의 정확도를 65.4%에서 77.0%로 높인다.
원문 초록
We introduce Clover-35B-A3B-Preview (Clover), a mixture-of-experts diffusion language model with 35 billion total parameters and 3 billion activated parameters, supporting thinking-mode generation. Clover adapts Gated Delta Networks to block diffusion by combining recurrent memory of previously generated context with bidirectional softmax attention inside the current block. Historical memory readout competes with current-block tokens in a shared softmax, with learnable block-size calibration and a separate, zero-initialized right-context convolution branch. Clover leads the seven evaluated agent metrics, including 73.6 on SWE-bench Verified and 51.7 on Terminal-Bench 2.1. On internal agent workloads, it reaches a reported generation speed of 680 tokens/s using one NVIDIA GB300 GPU at BF16 precision and batch size one. We organize the evaluation around model quality, drafting and verification costs, and deployment under constrained memory. We also describe a decision-model variant that generates answers to related questions in one denoising pass. On an internal set of 500 groups, joint prediction raises question accuracy from 90.37% to 93.88% and all-correct group accuracy from 65.4% to 77.0%.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24636v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.