선형 순환 메모리만으로 로봇 에어하키용 월드 모델 정책을 증류할 수 있다
Linear Recurrent Memory Suffices to Distil a World-Model Policy for Robot Air Hockey
한국어 초록
메모리에 의존하는 제어에 비선형 순환 동역학이 필요한가? 우리는 퍽 추적이 일시적으로 상실되는 상황에서의 시뮬레이션 에어하키 수비를 연구한다. DreamerV3 교사 모델은 추적 상실 시 메모리가 없는 정책보다 우수한 성능을 보이며, 추적이 실패하는 순간 교사의 순환 상태를 지우면 세이브율이 급격히 감소하므로 이 과제는 메모리를 필요로 한다. 우리는 이 교사를 64차원 상태를 갖는 간결한 순환 정책으로 증류하며, 관측 인코더와 행동 헤드는 비선형으로 유지한 채 대각 선형 순환에 선택적인 랭크-$k$ 비선형 혁신을 결합한다. 일치된 다섯 개의 시드에 걸쳐, 순수 선형 순환 모델($k=0$)은 시험한 추적 상실의 전 범위에서 GRU 기준 모델과 교사 모두와 대등한 성능을 보인다. 비선형 혁신 랭크를 높여도 측정된 이득은 없다. 이 결과는 모든 모델과 분석을 고정한 이후에야 개방한 새로운 시험 분할에서 얻은 것이다. 5\,mm의 관측 잡음 아래에서 재학습 없이도 선형 학생 모델은 GRU 기준 모델보다 더 높은 세이브율을 유지하면서 순환 파라미터와 계산량은 더 적게 사용한다. 이러한 결과는 이 메모리 의존 제어 과제에서 단순한 선형 메모리를 둘러싼 비선형 표현 학습만으로 충분할 수 있으며, 비선형 순환 동역학이 반드시 필요하지는 않음을 시사한다.
원문 초록
Does memory-dependent control need nonlinear recurrent dynamics? We study simulated air-hockey defence under temporary loss of puck tracking. A DreamerV3 teacher outperforms a memoryless policy under tracking loss, and erasing its recurrent state at the moment tracking fails cuts its save rate sharply, so the task requires memory. We distil this teacher into compact recurrent policies with a 64-dimensional state, combining a diagonal linear recurrence with an optional rank-$k$ nonlinear innovation while the observation encoder and action head stay nonlinear. Across five matched seeds, the purely linear recurrent model ($k=0$) matches both the GRU baseline and the teacher throughout the tested range of tracking loss. Increasing nonlinear innovation rank provides no measured benefit. This result comes from a fresh test split that was opened only after all models and analyses were frozen. Under 5\,mm observation noise, without retraining, the linear student keeps a higher save rate than the GRU baseline, while using fewer recurrent parameters and less computation. These results suggest that, for this memory-dependent control task, nonlinear representation learning around a simple linear memory can be sufficient, and that nonlinear recurrent dynamics are not necessarily required.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.39151v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.