전문가가 만든 과제로 강화학습하면 Nemotron 3.5 Super는 무엇을 배우는가?
What RL on Expert-Built Tasks Teaches Nemotron 3.5 Super
한국어 초록
NVIDIA Nemotron 3.5 Super는 전체 매개변수 1,200억 개 중 120억 개를 활성화한다. 전문가가 만든 다섯 과제 데이터셋에서 한 번에 하나씩 강화학습(RL)으로 사후 학습했다. 실제 소프트웨어 공학, 복합 제약, 장기 도구 사용, 전문 차트 이해, 기업 문서 추론이다. 각 실행에서는 지도학습 단계 없이 Tinker에서 CISPO로 랭크 32의 새 LoRA 어댑터를 학습했다. 동일한 과제, 실행 환경, 설정에서 각 어댑터를 기반 모델과 비교했다. 외부 연구진이 만든 여덟 개와 Surge AI가 만든 네 개를 합친 주요 벤치마크 12개에서 개선 폭은 IFBench의 4.5점부터 GDP_pdf의 13.8점까지였다. GDP_pdf는 10.4%에서 24.2%로 올랐다. SWE-bench Pro V2는 86.9%에서 92.1%, Terminal-Bench 2.1은 63.9%에서 70.3%, MultiChallenge는 58.3%에서 66.6%, AutomationBench는 14.8%에서 27.5%, Chartography는 39.4%에서 50.6%로 높아졌다. API 도구 없이 학습한 문서 어댑터도 AutomationBench에서 8.0점 높았다. 각 어댑터가 새로 해결한 과제에서 기반 모델의 시도와 나란히 비교하자 기반 모델은 몇 가지 유형의 실패를 반복했다. 어댑터는 각각 기반 모델이 놓친 작업을 더 자주 수행했다. 도구 사용 어댑터는 행동 전에 데이터와 규칙을 찾았다. 코딩 어댑터는 SWE-bench Pro V2에서 자체 테스트나 임시 파일을 만들었다. 제약 어댑터는 앞선 대화의 내용을 응답에 유지했다. 차트 어댑터는 코드로 차트의 표식 크기나 위치를 측정했고, 문서 어댑터는 AutomationBench의 스프레드시트를 읽었다.
원문 초록
We post-train NVIDIA's Nemotron 3.5 Super (120B total, 12B active parameters) with reinforcement learning (RL) on five expert-built task datasets, one at a time: real-world software engineering, complex constraints, long-horizon tool use, professional chart understanding and enterprise document reasoning. Each run trains a fresh rank-32 LoRA adapter with CISPO on Tinker, with no supervised stage, and each adapter is compared with the base model on the same tasks, harness and settings. On twelve headline benchmarks, eight built by other groups and four by Surge AI, the gains range from +4.5 points on IFBench to +13.8 on GDP_pdf, which rises from 10.4% to 24.2%; SWE-bench Pro V2 rises from 86.9% to 92.1%, Terminal-Bench 2.1 from 63.9% to 70.3%, MultiChallenge from 58.3% to 66.6%, AutomationBench from 14.8% to 27.5% and Chartography from 39.4% to 50.6%. The document adapter, trained without API tools, also gains +8.0 points on AutomationBench. In attempts read side by side with the base model's on tasks each adapter newly solves, the base model's failures recur in a few modes, and each adapter does more often what the base model missed: the tool-use adapter finds the data and the rules before acting, the coding adapter writes its own test or scratch files on SWE-bench Pro V2, the constraints adapter carries earlier turns into its answers, the chart adapter measures the marks in code, and the document adapter reads AutomationBench's spreadsheets.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22161v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.