arXiv:2611.23608v1 cs.LG

전이 가능한 최적화기로서의 JEPA: 보상에 무관한 사전 학습으로부터 블랙박스 최적화를 학습하고 이해하기

JEPA as a Transferable Optimizer: Learning and Understanding Black-Box Optimization from Reward-Agnostic Pretraining

Mayukh Debnath, Manan Roy Choudhury

제출 2026-11-19

한국어 초록

블랙박스 최적화는 기울기 없이 시뮬레이션, 롤아웃 또는 실험을 통해 후보를 평가하는 경우가 많다. 학습된 최적화기는 보통 기존 방법을 능가하는지로 판단된다. 우리는 이를 보완하는 질문을 던진다. 학습된 최적화기는 탐색 이력에서 어떤 정보를 사용하는가? 우리는 Joint-Embedding Predictive Architecture에 기반한 JEPA-PS(JEPA Policy Search)를 소개한다. 이는 파라미터 벡터와 스칼라 반환값을 사용하여 무작위 롤아웃으로 사전 학습된다. 잠재 예측 목적함수는 보상이나 기울기가 아니라 최적화 궤적의 다음 지점을 예측하므로, 무엇을 시도했고 얼마나 잘 수행되었는지를 살펴볼 수 있다. 테스트 시 JEPA-PS는 짧은 평가 이력을 읽고 과제 설명, 보상 설계, 테스트 시 기울기 없이 한 번의 순전파로 후보를 제안한다. 우리는 진화 기법, 베이지안 최적화, CMA-ES, LLM 최적화기를 포함한 12개 최적화기와 비교하여 15개 제어 환경에서 이를 평가한다. JEPA-PS는 튜닝된 고전 기준선과 대등하며, Swimmer에서 단계당 비용이 71배 낮으면서 LLM 최적화기를 2배 넘게 능가한다. 또한 사전 학습에서 제외된 환경으로 제로샷 전이된다. 널 모델 비교와 디코더 학습 절제 실험은 그 잠재 표현이 단순한 이력 통계를 넘어서는 정보를 담고 있음을 시사하며, 학습된 모든 디코더 변형은 기본 동결 표현보다 성능이 나쁘다. 우리의 주요 발견은 JEPA-PS가 사용하는 이력이 과제에 따라 달라진다는 것이다. 매끄러운 지형에서는 전체 궤적을 사용하는 반면, 거친 지형에서는 가장 좋았던 지점이 거의 모든 신호를 담고 있다. 이러한 기억 요구량은 적합도-거리 상관(FDC; r=0.112, n=7)과 약한 양의 상관을 보이지만, 독립적인 보상 순서 민감도 탐침은 이 관계를 뒷받침하지 않는다(r=-0.024, n=7). 코드: https://github.com/mdebnath22/jepa-props.

원문 초록

Black-box optimization evaluates candidates through simulations, rollouts, or experiments, often without gradients. Learned optimizers are usually judged by whether they outperform existing methods. We ask a complementary question: what information does a learned optimizer use from its search history? We introduce JEPA-PS (JEPA Policy Search), based on a Joint-Embedding Predictive Architecture. It is pretrained on random rollouts using parameter vectors and scalar returns. Its latent-prediction objective predicts the next point in an optimization trajectory rather than its reward or gradient, allowing us to examine what was tried and how well it performed. At test time, JEPA-PS reads a short evaluation history and proposes a candidate in one forward pass, without task descriptions, reward shaping, or test-time gradients. We evaluate it on 15 control environments against 12 optimizers, including evolutionary methods, Bayesian optimization, CMA-ES, and an LLM optimizer. JEPA-PS is competitive with tuned classical baselines and outperforms the LLM optimizer by more than 2x on Swimmer at 71x lower per-step cost. It also transfers zero-shot to environments excluded from pretraining. Null-model comparisons and decoder-training ablations indicate that its latent representation carries information beyond simple history statistics; every trained decoder variant performs worse than the default frozen representation. Our main finding is that the history JEPA-PS uses depends on the task. On smooth landscapes it uses the full trajectory, whereas on rugged landscapes the best-seen point carries nearly all the signal. This memory requirement has a weak positive correlation with fitness-distance correlation (FDC; r=0.112, n=7), while an independent reward-ordering sensitivity probe does not corroborate the relationship (r=-0.024, n=7). Code: https://github.com/mdebnath22/jepa-props.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23608v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.