CEM에서의 월드 모델 그래디언트 정제: 실증 연구
World-Model Gradient Refinement in CEM: An Empirical Study
한국어 초록
교차 엔트로피 방법(CEM)은 월드 모델의 예측을 행동 시퀀스를 선택하는 데와 다음 샘플링 위치를 정하는 데 모두 사용한다. 우리는 모델이 순위를 매긴 첫 번째 엘리트 집합만을 환경이 순위를 매긴 엘리트로 대체하여 초기 업데이트의 효과를 분리한다. 이 고정 상태 개입은 Walker/Cheetah 과제-시드 단위 12개 모두에서 선택된 시퀀스의 실현된 추적 비용을 낮춘다. 이어서 모델 자체의 목적 함수 아래에서 탐색을 개선하는 방법으로, 상위 순위 후보에 대한 짧은 그래디언트 업데이트를 연구한다. 32개 과제의 고정된 TD-MPC2 체크포인트 52개에 걸쳐, 두 계획기의 초기 제안 폭을 모두 조정하여 동일한 계획 예산에서 정제를 추가 CEM 샘플링과 비교한다. 이 비교에 앞서 탐색적 모델 전용 진단을 사용해 그룹을 고정한다. 정제는 모델이 예측한 개선이 큰 체크포인트 열 개에서 평균 67.8 리턴 점수(95% CI [31.9, 103.6])의 이득을 얻고, 나머지 42개에서는 0.2([$-2.9$, 3.4])의 이득을 얻는다. 24개의 새로운 체크포인트에 대한 진단의 순위 검정은 실패하므로, 이 연관성이 예측 규칙을 입증하지는 않는다. 오프라인 분석은 일부 과제에서 국소적 이점을 보이며, 제안 재적합과 최종 선택 모두에 대해 양의 추정치를 보인다. 탐색 종료 시점의 다듬기 또한 도움이 되며, 반복적인 재적합의 필요성은 해결되지 않은 채로 남는다.
원문 초록
The cross-entropy method (CEM) uses world-model predictions both to select action sequences and to determine where to sample next. We isolate the effect of an early update by replacing only the first model-ranked elite set with environment-ranked elites. This fixed-state intervention lowers the selected sequence's realised tracking cost in all 12 Walker/Cheetah task-seed units. We then study short gradient updates to top-ranked candidates as a way to improve search under the model's own objective. Across 52 frozen TD-MPC2 checkpoints from 32 tasks, we compare refinement with additional CEM sampling at the same planning budget, tuning both planners' initial proposal widths. We fix the groups before this comparison using an exploratory model-only diagnostic. Refinement gains 67.8 return points on average (95\% CI [31.9, 103.6]) on ten checkpoints with large model-predicted improvements, and 0.2 ([$-2.9$, 3.4]) on the remaining 42. The diagnostic's rank test on 24 new checkpoints fails, so the association does not establish a predictive rule. Offline analyses show local benefits on some tasks and positive estimates for both proposal refitting and final selection. End-of-search polishing also helps, leaving the need for repeated refitting unresolved.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.00921v2제출 시각 미확인
- arXiv:2610.00921v1
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
20 pages, including 12 pages appendix