SpikWM: 시각 계획을 위한 효율적인 종단 간 스파이킹 월드 모델
SpikWM: Efficient End-to-End Spiking World Modeling for Visual Planning
한국어 초록
이미지 관측과 이미지로 주어진 목표를 사용하는 목표 조건부 계획에는 시각적 상태와 행동의 결과를 구별하는 예측이 필요하다. 스파이킹 신경망은 희소 연산을 지원하지만 단일 단계의 스파이크는 움직임 단서를 흐리게 하고 물리적 결과가 다른 행동을 구별하지 못할 수 있다. 이미지당 시뮬레이션 한 단계, 잠재 위치당 신경망 갱신 한 번을 사용하는 종단 간 공동 임베딩 예측 아키텍처(JEPA), 스파이킹 잠재 월드 모델(SpikWM)을 제안한다. 스파이킹 영역 인코딩은 영역별 풀링으로 공간 단서를 유지한다. 이중 스파이크 행동 인코딩은 양과 음의 이진 응답을 결합한다. 인과적 막전위 예측은 학습한 그룹별 시간 상수를 사용해 임계값 아래의 증거를 잠재 상태 이력에 걸쳐 전달한다. 보상 없는 이미지–행동 궤적으로 다음 임베딩 예측과 SIGReg를 적용해 인코더와 예측기를 함께 학습한다. 같은 계획기를 사용했을 때 SpikWM의 평균 성공률은 Push-T, Two-Room, Reacher, OGBench-Cube에서 각각 $88.67\%$, $97.33\%$, $99.33\%$, $86.67\%$로, 스파이킹 기준선 두 개를 앞섰다. Push-T에서 구성 요소 제거 실험으로 각 모듈의 기여를 확인하고, 통제된 재생 실험으로 외관과 물리적 상태 변화에 대한 반응을 조사했다. 계획 예산을 동일하게 맞췄을 때 SpikWM은 LeWM보다 추정 산술 연산 에너지를 $75.6\%$ 줄였다. 코드는 https://github.com/ShawnYE618/SpikWM 에서 공개할 예정이다.
원문 초록
Goal-conditioned planning with image observations and goals requires predictions that distinguish visual states and action consequences. Spiking neural networks offer sparse computation, but single-step spikes can obscure motion cues and merge actions with different physical outcomes. We propose the Spiking Latent World Model (SpikWM), an end-to-end joint-embedding predictive architecture (JEPA) with one simulation step per image and one neural update per latent position. Spiking Regional Encoding retains spatial cues through regional pooling. Bi-Spike Action Encoding combines positive and negative binary responses, while Causal Membrane Prediction carries subthreshold evidence across the latent history with learned group-wise time constants. The encoder and predictor are trained jointly on reward-free image--action trajectories using next-embedding prediction and SIGReg. With a common planner, SpikWM achieves mean success rates of $88.67\%$, $97.33\%$, $99.33\%$, and $86.67\%$ on Push-T, Two-Room, Reacher, and OGBench-Cube, respectively, outperforming two spiking baselines. Push-T ablations support each module, and controlled replays examine responses to appearance and physical state changes. Under a matched planning budget, SpikWM reduces estimated arithmetic energy by $75.6\%$ relative to LeWM. Code will be released at https://github.com/ShawnYE618/SpikWM.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22981v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.