SD-DPC: 희소 딕셔너리 미분 가능 예측 제어
SD-DPC: Sparse Dictionary Differentiable Predictive Control
한국어 초록
본 논문에서는 데이터로부터 비선형 시스템에 대한 희소(sparse)하고 해석 가능한 피드백 정책을 학습하는 프레임워크인 희소 딕셔너리 미분 가능 예측 제어(SD-DPC, sparse dictionary differentiable predictive control)를 제안합니다. 먼저 그래디언트 기반 및 다단계(multistep) 정식을 기반으로 한 롤아웃 기반 비선형 동역학 희소 식별(SINDy)을 통해 예측 모델을 식별합니다. 그런 다음 정책을 딕셔너리 함수의 희소 조합으로 매개변수화하고, 이 모델을 통해 제약 조건이 있는 유한 구간(finite-horizon) 예측 제어 목적식을 미분하여 학습함으로써 이전에 학습된 제어기를 모방하는 대신 폐루프(closed-loop) 성능에 따라 해당 항들이 선택되도록 합니다. 그 결과 극소수의 항만을 갖는 명시적 피드백 법칙이 도출됩니다. 세 가지 벤치마크 제어 문제에서 SD-DPC는 모든 테스트 시나리오의 제약 조건을 만족하고, 동일한 항으로 증류된 정책보다 최대 한 자릿수(order of magnitude) 이상 뛰어난 성능을 보였으며, 최적화 벤치마크 대비 수 자릿수 적은 메모리와 온라인 연산량만을 요구하는 동시에 명시적인 민감도 경계를 제공합니다.
원문 초록
We present sparse dictionary differentiable predictive control (SD-DPC), a framework for learning sparse, interpretable feedback policies for nonlinear systems from data. A prediction model is first identified by rollout-based sparse identification of nonlinear dynamics (SINDy), building on gradient-based and multistep formulations. The policy is then parameterized as a sparse combination of dictionary functions and trained by differentiating a constrained finite-horizon predictive-control objective through this model, so that its terms are selected by closed-loop performance rather than by imitating a previously trained controller. The result is an explicit feedback law with only a handful of terms. Across three benchmark control problems, SD-DPC satisfies the constraints in all test scenarios, outperforms a policy distilled onto the same terms by up to an order of magnitude, and requires orders of magnitude less memory and online computation than an optimization benchmark, while admitting explicit sensitivity bounds.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
동역학 시스템에 대한 해석 가능한 제어기로서 LLM 평가
Evaluating LLMs as Interpretable Controllers for Dynamical Systems
대규모 언어 모델(LLM)은 의사결정 및 추론 작업에 점점 더 많이 사용되고 있지만, 물리 시스템의 제어기로서의 잠재력은 아직 거의 탐구되지 않았다. 본 연구는 LLM이 동적 열 환경에 대한 해석 가능한 제어기로 기능할 수 있는지 조사하며, setpoint 추종, 자연어 명령 해석, 액추에이터(actuator) 효과에 대한 추론, 사전 모델 기반 지식의 통합 능력을 검토한다. 다양한 규모의 LLM 5개를 히터 또는 팬 사용에 대한 페널티가 있는 설정과 모델이 물리 기반 예측 도구에 접근할 수 있는 경우를 포함한 여러 시나리오에서 평가한다. 결과는 제어 성능이 모델 복잡도에 달려 있음을 보여준다. 저·중규모 모델은 액추에이터 동역학을 자주 오해하거나 일관성 없는 추론을 생성하는 반면, Qwen-3~14B 및 GPT-4o와 같은 고복잡도 모델은 정확한 온도 추적, 안정적인 액추에이터 사용, 물리 원리와 일치하는 일관된 설명을 달성한다. 물리 기반 모델을 통합하면 예측적 의사결정을 가능하게 하여 제어의 부드러움과 에너지 효율이 크게 향상된다. 상세한 추론 분류체계는 소형 모델의 인과적 오해에서 대형 모델의 응집적이고 시간적으로 인식된 추론으로의 뚜렷한 진행을 추가로 보여준다. 이 결과는 LLM이 충분한 능력을 갖추고 도메인 지식에 적절히 그라운딩(grounding)될 때 해석 가능한 제어기로 작동할 수 있음을 보여주며, 그럴듯한 설명을 제공할 수 있는 하이브리드 모델 기반 및 언어 기반 제어 전략의 유망한 가능성을 강조한다.
시나리오 기반 모델 예측 제어의 학습 기반 가속
Learning-enabled Acceleration of Scenario-based Model Predictive Control
얼마나 가까운가가 아니라 얼마나 오래 걸리는가: 잠재 월드 모델의 계획 수립을 위한 학습된 시간적 거리 척도
How Long, Not How Close: A Learned Temporal Metric for Planning in Latent World Models
잠재 월드 모델(latent world model)은 고정된 예측 모델을 후보 행동 시퀀스에 따라 순방향으로 전개(rollout)하고, 상상된 최종 상태와 목표 사이의 잠재 거리(latent distance)에 따라 후보들의 순위를 매김으로써 계획을 수립합니다. 그러나 목표가 여러 번의 계획 수립 단계 너머에 위치할 경우, 잠재 거리는 목표 도달까지 얼마나 남아있는지가 아니라 최종 상태가 목표와 얼마나 닮았는지를 측정하기 때문에 이러한 순위 지정 방식은 무너집니다. 이를 해결하기 위해 우리는 월드 모델을 수정하지 않고, 모델 학습에 이미 사용된 기록된 궤적(trajectory)으로부터만 학습하며, 플래너(planner)의 탐색에 무시할 수 있는 수준의 비용만 추가하는 시간적 거리 계획 목적 함수인 TEMPO를 제안합니다. TEMPO는 에피소드의 두 상태 간 거리가 이들 사이의 환경(environment) 스텝 수를 반영하도록 고정된 잠재 공간의 작은 맵을 학습하며, 이 거리를 플래너의 비용에 통합합니다. 이는 보상, 정책, 또는 성공 레이블을 필요로 하지 않으며, 모델(model)이 아닌 비용 함수이므로 잠재 거리로 계획을 수립하고 상태당 하나의 잠재 벡터를 갖는 고정된 월드 모델에 적용 가능합니다. 우리는 LeWM 및 PLDM 플래너를 사용하여 11개의 시뮬레이션 환경(예: 미로 내비게이션, 테이블 위 밀기, 로봇 암 제어, 3차원 조작)에서 TEMPO를 평가(evaluation)합니다. 계획 연산에 기껏해야 0.3%만을 추가하는 작은 MLP를 통해, TEMPO는 기존 평가의 단일 계획 설정을 포함하여 모든 목표 거리에서 두 플래너 모두의 성능을 향상시키며, 목표로부터 세 번의 계획 거리에 있는 TwoRoom 환경에서 LeWM의 성능을 36%에서 99%로 끌어올리고, 광범위한 2D 및 3D 내비게이션, 도달 및 조작 태스크에서 경쟁력 있는 성능을 유지합니다.
기하학 유도 토큰 탐색을 활용한 마스크 생성 모션 플래닝
Masked Generative Motion Planning with Geometry-Guided Token Search
생성형 모션 플래너(generative motion planner)는 일반적으로 초기 생성을 위해 학습된 궤적 사전 분포를 사용하며, 테스트 시점의 복구는 국소적인 연속 개선(refinement)에 맡깁니다. 본 논문에서는 학습된 사전 분포를 효율적인 병렬 생성에서 구조적 복구로 확장하는 마스크 생성 모션 플래닝(Masked Generative Motion Planning, MGMP)을 소개합니다. 마스크 생성 트랜스포머는 이산 궤적 후보들을 병렬로 생성하며, 기하학 유도 토큰 탐색(Geometry-Guided Token Search, GGTS)은 장면 기하학을 활용하여 수정할 위치와 평가할 사전 분포 기반 대안을 타겟팅합니다. 이를 통해 개선 과정을 이산 모션 대안에 대한 효율적인 탐색으로 전환하여, 국소적 궤적 변형을 넘어 경로 수준의 재구성을 가능하게 합니다. MGMP는 Ring Maze에서 96%의 성공률을 달성하고 Kuka의 통제된 경로 무효화(Controlled Route Invalidation)에서 82%의 복구 성공률을 기록하여, 가장 강력한 외부 베이스라인을 각각 23%포인트 및 25%포인트 앞섰습니다. 나아가 보지 못한 배치, 추가 장애물, 보지 못한 기하학적 형태, 단일 및 이중 팔 플래닝, 그리고 실제 Baxter 작업으로도 일반화됩니다.
샘플링 기반 잠재 계획을 위한 제어 기하학 직선화
Control-Geometry Straightening for Sampling-Based Latent Planning
결합 임베딩 예측 아키텍처(joint-embedding predictive architecture)는 잠재 월드 모델(latent world model)을 활용한 계획 수립을 가능하게 하지만, 정확한 전이 예측만으로는 계획 목적 함수를 쉽게 최적화할 수 있음을 보장하지 못합니다. 본 논문에서는 샘플링 효율적인 계획 수립을 위해 제어 기하학(control geometry)을 직접 직선화하여 플래너 친화적인 표현을 학습하는 단일 보조 손실(loss)인 제어 기하학 직선화(Control-Geometry Straightening, CGS)를 제안합니다. CGS는 픽셀-행동 쌍의 국소 전이만을 사용하여 행동 간의 쌍별 코사인 유사도와 이에 대응하는 잠재 차이 간의 코사인 유사도를 일치시킵니다. 이 손실은 종단간 학습된 표현이나 사전학습된 표현을 활용하는 다양한 월드 모델 아키텍처에 적용될 수 있습니다. 선형 역학 하에서 진행된 이론적 분석에 따르면, 이 목적 함수는 시간적 직선화(temporal straightening) 및 전체 계획 기간에 걸친 보다 균형 잡힌 종단 비용 곡률과 연결되며, 이를 통해 MPPI에 대한 유한 예산 보장, CEM에 대한 국소 수축 결과, 경사하강법(gradient descent)에 대한 수렴(convergence) 한계를 도출합니다. 네 가지 제어 환경과 다양한 플래너에 걸친 실험에서, CGS는 더 적은 샘플 후보와 개선 단계로도 계획 성능을 향상시켰으며, 업데이트당 128개의 후보를 사용하는 샘플링 기반 플래너 환경에서 LeWorldModel(LeWM) 및 시간적 직선화 변형(LeWM+TS) 대비 성공률을 각각 최대 20%포인트 및 12.6%포인트 향상시켰습니다. 프로브, DINO-WM 아키텍처와의 비교, 플래너 측면의 절제 연구를 통해 잠재 모션 구조화, 상태 의존성, 역학적 맥락이 계획 동작을 어떻게 형성하는지 명확히 규명합니다. 결과적으로 제어 기하학을 직선화함으로써 제한된 계획 예산 내에서도 우수한 행동 시퀀스를 더 쉽게 찾을 수 있음을 보여줍니다.
JEPA 월드 모델을 활용한 계획 수립에서 표현 기하학의 중요성
Reperesentation Geometry Matters for Planning with JEPA World Models
결합 임베딩 예측형 월드 모델(Joint-embedding predictive world models)은 잠재 예측을 통해 계획 수립(planning)을 지원하지만, 제약 없는 결합 학습(joint training)은 서로 다른 관측치를 동일한 임베딩으로 붕괴(collapse)시킬 수 있습니다. 붕괴를 방지하기 위한 두 가지 대표적인 전략은 DINO-WM처럼 사전학습된 특징을 상속받거나, LeWorldModel(LeWM)처럼 붕괴 방지 정규화를 적용하여 표현을 엔드투엔드로 학습하는 것입니다. 그러나 붕괴를 방지한다고 해서 잠재 공간의 거리가 과업에 중요한 방식으로 결과를 구별해 주는 것은 아닙니다. 예를 들어 물체 조작(object manipulation)에서 성공 여부는 목표 대비 물체의 위치와 방향에 따라 결정됩니다. 이러한 과업 관련 상태 정보는 정확하게 디코딩될 수 있으면서도 잠재 거리에는 거의 영향을 미치지 않을 수 있습니다. 그 결과 발생하는 계획 수립 비용은 예측된 결과가 과업 목표에 얼마나 가까운지를 반영하지 못할 수 있습니다. 본 논문에서는 샘플링된 쌍별(pairwise) 잠재 거리와 과업 관련 상태 공간의 거리 간 상관관계를 형성하는 방법인 SCALE(State-CAlibrated Latent Embeddings)을 제안합니다. LeWM의 기존 목적 함수에 추가되는 SCALE은 기존 아키텍처를 그대로 유지하고, 학습 중에만 특권 상태(privileged state)를 필요로 하며, 계획 수립 시점의 계산량을 추가하지 않습니다. 여러 솔버를 사용한 조작 및 내비게이션 과업 전반에서 SCALE이 LeWM 대비 계획 수립 성공률을 향상시킴을 보이고, SCALE이 계획 수립을 지원하기 위해 표현 기하학(representation geometry)을 어떻게 재구성하는지에 대한 포괄적인 분석을 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.