본 논문은 임베딩을 제외한 30억(non-embedding) 파라미터를 갖춘 소형 범용 에이전트 모델 Nanbeige4.2-3B를 소개한다. 이 모델은 코드 에이전트, 오피스 에이전트, 복잡한 도구 사용 과제 전반에서 강력한 성능을 제공하면서도 수학, 코딩, 과학 분야의 추론 능력을 매우 경쟁력 있는 수준으로 유지한다. Nanbeige4.2-3B는 28T 토큰으로 처음부터 사전학습(pre-training)되었으며, Looped 트랜스포머가 층(layer) 스택을 재사용하여 파라미터를 추가하지 않고 용량(capacity)을 확장한다. SFT 데이터 및 궤적(trajectory) 구성을 위해, 실제 배포와 대규모 합성(synthesis)을 통해 실행 가능한 환경, 과제 자산, 에이전트 스캐폴드(agentic scaffolds)의 다양성을 확대했다. RL 파이프라인은 Think 및 Non-Think 응답에 대한 혼합 모드 RLHF(인간 피드백 강화학습)로 전체 모델 품질을 개선하고 실패 사례를 줄이며, 길이 제어 추론 RL로 정확도와 추론 효율의 균형을 맞추고, 결과 및 과정 보상을 활용한 에이전트 RL로 장기간(long-horizon) 학습을 안정화한다. 광범위한 평가(evaluation) 결과, Nanbeige4.2-3B는 Qwen3.5-9B, Gemma4-12B 등 더 큰 모델들을 다양한 에이전트 벤치마크에서 능가하며, 추론 및 정렬(alignment) 과제에서도 경쟁력 있는 성능을 유지한다. OpenClaw와의 성능은 소형 로컬 개인 비서로서의 활용 가능성을 더욱 뒷받침한다.
We introduce Elastic Looped Transformers (ELT), a highly parameter-efficient class of visual generative models based on a recurrent transformer architecture. While conventional generative models rely on deep stacks of unique transformer layers, our approach employs iterative, weight-shared transformer blocks to drastically reduce parameter counts while maintaining high synthesis quality. To effectively train these models for image and video generation, we propose the idea of Intra-Loop Self Distillation (ILSD), where student configurations (intermediate loops) are distilled from the teacher configuration (maximum training loops) to ensure consistency across the model's depth in a single training step. Our framework yields a family of elastic models from a single training run, enabling Any-Time inference capability with dynamic trade-offs between computational cost and generation quality, with the same parameter count. ELT significantly shifts the efficiency frontier for visual synthesis. With $4\times$ reduction in parameter count under iso-inference-compute settings, ELT achieves a competitive FID of $2.0$ on class-conditional ImageNet $256 \times 256$ and FVD of $72.8$ on class-conditional UCF-101.
에지 및 온디바이스 배포와 같이 메모리가 제한된 환경을 위해, Transformer 레이어를 begin/middle/end 블록으로 나누고 middle 블록만 반복 적용하는 루프드 Transformer에 hyper-connection을 결합한 Hyperloop Transformer 아키텍처를 제안한다. 240M, 1B, 2B 파라미터 규모에서 depth-matched 기존 Transformer 대비 약 50% 적은 파라미터로 동등한 성능을 달성하며, 사후학습 양자화(post-training quantization) 후에도 성능이 유지된다.
현재 월드 모델은 근본적인 긴장 관계에 직면해 있다. 충실한 장기 시뮬레이션은 깊은 연산이 필요하지만, 더 깊은 모델은 배포 비용이 크고 오류가 누적되기 쉽다. 이를 해결하기 위해 Looped World Models(LoopWM)를 제안한다. 이는 월드 모델링을 위한 최초의 루프형 아키텍처이다. 우리 방법은 매개변수를 공유하는 트랜스포머 블록을 통해 잠재 환경 상태를 반복적으로 정제한다. 이를 통해 각 예측 단계의 복잡도에 맞춰 깊이가 자동으로 조절되는 적응적 연산으로, 기존 접근법 대비 최대 100배의 매개변수 효율을 달성한다. 모델 크기와 학습 데이터 스케일링과는 직교적으로, LoopWM은 반복적 잠재 깊이를 월드 시뮬레이션을 위한 새로운 스케일링 축으로 정립하며, 이는 커뮤니티를 크게 앞으로 이끌 수 있다.
Looped Transformers는 공유 블록을 반복적으로 적용하여 잠재 연산(latent computation)을 스케일링하지만, 순차적 루핑은 루프 횟수에 따라 지연 시간과 KV-캐시 메모리를 증가시킵니다. Parallel loop Transformers (PLT)는 cross-loop position offsets (CLP)와 공유-KV 게이팅된 슬라이딩 윈도우 어텐션(attention)을 통해 이 비용을 완화하여, 루프 횟수를 실용적인 설계 선택 사항으로 만듭니다. 따라서 우리는 이득-비용(gain-cost) 관점을 통해 PLT 루프 횟수 선택을 연구합니다: 추가 루프는 표현(representation)을 정제할 수 있지만, CLP는 또한 각 루프 경계에서 위치 불일치(positional mismatch)를 도입합니다. 우리는 18T 토큰에 대해 처음부터 서로 다른 루프 횟수를 가진 7B 규모의 PLT 코더 계열인 LoopCoder-v2를 학습(training)시키고, 이어지는 일치하는 지시 미세조정(instruction tuning)과 평가를 통해 이 연구를 구체화합니다. 실증적으로, 2-루프 변형은 코드 생성, 코드 추론, 에이전트 소프트웨어 엔지니어링, 도구 사용 벤치마크 전반에서 비루프 기준선(baseline)에 비해 광범위한 이득을 제공하며, SWE-bench Verified를 43.0점에서 64.4점으로, Multi-SWE를 14.0점에서 31.0점으로 향상시켰습니다. 대조적으로, 3개 이상의 루프를 가진 변형은 성능이 저하되어(regress), 강력한 비단조적 루프 횟수 효과를 보여줍니다. 우리의 진단(diagnostics)에 따르면 루프 2는 주요 생산적 정제를 제공하는 반면, 이후 루프는 감소하고 진동하는 업데이트와 감소된 표현 다양성을 산출합니다. CLP로 유발된 불일치는 정제 이득이 감소함에 따라 대략 고정된 상태로 유지되기 때문에, 오프셋 비용이 점차 지배적이 됩니다. 이러한 이득-비용 상충 관계(gain-cost trade-off)는 PLT의 2루프에서의 포화를 설명하며, 루프 횟수 선택에 대한 진단을 제공합니다.