arXiv:2611.22483v1 cs.AR

차분 희소성 만들기: 효율적인 월드 모델 계획을 위한 계획기와 하드웨어의 공동 설계

Manufacturing Differential Sparsity: Planner-Hardware Co-Design for Efficient World Model Planning

Wenbo Zhu, Paul Yi-Chia Chen, Yuanhan Li, Zishen Wan, Christopher Torng

제출 2026-11-18

한국어 초록

JEPA 방식의 잠재 월드 모델은 체화 에이전트가 모델 예측 제어(MPC)로 새로운 목표를 향해 계획을 세우게 한다. 그러나 실제 환경의 체화 제어에 쓰기에는 여전히 느리다. 샘플링 기반 MPC는 계획 하나를 세울 때 예측기 추론을 수만 번 반복하므로, 고성능 GPU에서도 계획 단계 한 번에 수십 초가 걸릴 수 있다. 이 반복 추론 작업에서 잠재 표현의 국소성이 뚜렷하게 나타났다. 예측기는 서로 비슷한 행동을 가까운 잠재 표현으로 매핑한다. 양자화한 예측기에서는 이 유사성이 하드웨어에서 이용할 수 있는 비트 수준 차분 희소성으로 나타난다. 입력 스트림의 시간적 유사성은 주어지는 특성이지만, 계획기는 어떤 후보를 함께 평가할지 스스로 정한다. 따라서 공통 기준을 직접 고르고 참조 포리스트 샘플링으로 희소성을 더 높일 수 있다. 샘플링한 행동 시퀀스를 그룹별로 공통 루트에 연결하면서 경쟁력 있는 계획 품질을 유지한다. 비트 수준 희소성 가속기에 관한 선행 연구를 바탕으로 가속기와 계획기를 밀접하게 결합해 공동 설계했다. 계획기는 희소성을 높이고 하드웨어 스케줄링에 쓸 구조를 드러낸다. 비트 단위로 정확한 하드웨어는 계획기가 만든 희소성을 효과적으로 활용한다. JEPA 월드 모델 세 개에서 동일한 면적으로 비교했을 때, 공동 설계는 조밀 연산 가속기보다 1.28~1.80배 빠르고 에너지를 38~52% 적게 썼다. 기존 비트 희소 설계보다 1.22~1.58배 빠르고 에너지를 16~36% 적게 썼다. 우리가 아는 한 후보 사이에 비트 수준 차분 희소성을 만들어 그 구조를 하드웨어 스케줄링에 제공하는 첫 계획기이자, JEPA 방식 월드 모델 계획을 위한 첫 알고리즘·하드웨어 공동 설계다.

원문 초록

JEPA-style latent world models let embodied agents plan toward new goals with model predictive control, but they are still too slow for real-life embodied control: sampling-based MPC repeats predictor inference tens of thousands of times per plan, and even on high-end GPUs one planning step can take tens of seconds. We observe substantial latent locality in this repeated-inference workload: the predictor maps close actions to close latents, and inside a quantized predictor this closeness takes a form that hardware can exploit, differential bit-level sparsity. Unlike an input stream, whose temporal similarity is given, a planner itself decides which candidates it evaluates together, so the planner can choose its own references and, with reference forest sampling, manufacture more sparsity: it couples the sampled action sequences of each group to a shared root, with competitive planning quality. We build the accelerator on the insights of the rich line of bit-level sparsity accelerators and design it and the planner tightly coupled as a single co-design: the planner increases sparsity and exposes structure for hardware scheduling, and the bit-exact hardware effectively uses the sparsity that the planner creates. On three JEPA world models, our co-design is 1.28-1.80x faster than a dense accelerator and uses 38-52% less energy, and it is 1.22-1.58x faster than prior bit-sparse design and uses 16-36% less energy, with the same area. To our knowledge, our planner is the first planner that manufactures differential bit-level sparsity across its candidates and exposes its structure for hardware scheduling, and our co-design is the first algorithm-hardware co-design for JEPA-style world-model planning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22483v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.