GPU-Accelerated Policy Optimization via Batch Automatic Differentiation of Gaussian Processes for Real-World Control
원문 초록
The ability of Gaussian processes (GPs) to predict the behavior of dynamical systems as a more sample-efficient alternative to parametric models seems promising for real-world robotics research. However, the computational complexity of GPs has made policy search a highly time and memory consuming process that has not been able to scale to larger problems. In this work, we develop a policy optimization method by leveraging fast predictive sampling methods to process batches of trajectories in every forward pass, and compute gradient updates over policy parameters by automatic differentiation of Monte Carlo evaluations, all on GPU. We demonstrate the effectiveness of our approach in training policies on a set of reference-tracking control experiments with a heavy-duty machine. Benchmark results show a significant speedup over exact methods and showcase the scalability of our method to larger policy networks, longer horizons, and up to thousands of trajectories with a sublinear drop in speed.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
BLOKS: 스케치된 블록 전처리를 통한 커널 솔버의 스케일링
BLOKS: Scaling Kernel Solvers with Sketched Block Preconditioning
커널 리지 회귀(Kernel Ridge Regression, KRR)는 비매개변수적 학습(nonparametric learning)을 위한 이론적으로 타당한 알고리즘이며, 심층 학습(deep learning)의 특성을 연구하는 데에도 자주 사용된다. 그러나 정확한(exact) KRR 수식은 대규모 데이터셋(dataset)에 적용할 수 없을 정도의 시간 및 메모리 비용을 발생시키며, 이는 근사 솔버(approximate solver) 개발의 동기가 되었다. 이러한 알고리즘들은 (i) 직접적인 해법의 계산 부담을 피하기 위한 반복적 방법(iterative method), (ii) 문제 크기를 줄이기 위한 스케칭(sketching) 또는 배치화(batching), (iii) 수렴(convergence)을 가속화하기 위한 전처리(preconditioning)에 의존한다. 빠른 수렴을 위해 필수적이지만, 전처리는 메모리 비용을 발생시키며, 이는 모델(model)의 자유 매개변수 수를 줄임으로써 관리할 수 있으나 그 대가로 표현력, 나아가 정확도가 저하될 수 있다. 이러한 문제를 해결하기 위해, 우리는 블록 자코비(Jacobi) 근사와 스케칭을 결합한 새로운 프리컨디셔너(preconditioner)를 중심으로 구축된, Nyström 방식으로 스케치된 KRR을 위한 컨주게이트 그래디언트(Conjugate Gradient) 기반 솔버인 BLOKS를 제안한다. BLOKS의 프리컨디셔너는 데이터셋 크기와 매개변수 수 모두와 무관한 메모리 비용을 가지므로, 대규모 모델로의 스케일링(scaling)이 가능하다. 우리는 메모리 효율적이고 GPU로 가속화된 구현을 제공하며, BLOKS가 우수한 시간/메모리 복잡도를 유지하면서도 뛰어난 정확도를 달성함을 보인다. 실제로, 커널 솔버를 벤치마킹(benchmark)하는 데 사용되는 표준 대규모 데이터셋에서 BLOKS는 최신(state-of-the-art) 기법들과 비교할 만하거나 그보다 더 나은 성능을 달성한다.
부분 학습 가능 연산자 학습 프레임워크: 대규모 응용을 위한 DeepONet과 Karhunen-Loeve 전개의 연결
A Trainable-by-Parts Operator Learning Framework: Bridging DeepONet and Karhunen-Loeve Expansions for Large-Scale Applications
편미분방정식(PDE)으로 지배되는 대규모 문제에 대한 연산자 학습 모델의 학습은 차원의 저주, 메모리 제약, 그리고 제한된 학습 데이터로 인해 어렵다. 이러한 문제는 지하 흐름, 기후 모델링, 지질 탄소 저장(GCS)을 포함한 다양한 과학 및 공학 응용 분야에서 발생한다. 본 연구에서는 Karhunen-Loeve 심층 신경망(KL-DNN)을 기반으로 한 확장 가능한 연산자 학습 프레임워크를 제안하고, GCS 모델링에 대한 성능을 입증한다. 모델은 170만 셀과 50개 시간 단계를 포함하는 3차원 도메인에서의 대규모 시뮬레이션 100개 샘플로 구성된 데이터셋으로 학습된다. KL-DNN 방법은 정적 속성의 저순위 특이값 분해와 동적 압력장에 대한 중첩 Karhunen-Loeve 전개를 사용하여 잠재 공간을 구성하며, 서브샘플링이나 공간 조잡화 없이 전체 해상도 예측을 가능하게 한다. KL-DNN 모델은 압력에 대해 평균 1.1 psi의 평균 제곱근 오차(RMSE)(도메인 내 평균 압력 대비 0.04% 상대 오차)와 CO2 포화도에 대해 RMSE 0.0146(플룸 내부 평균 포화도 대비 5% 상대 오차)을 달성한다. 모델은 단일 GPU에서 20분의 학습 시간을 필요로 하며, 동일한 데이터셋으로 학습된 DeepONet 대비 압력 오차 19% 감소, 포화도 오차 7% 감소, 2차 규모의 속도 향상을 나타낸다. 이러한 결과는 1분 미만의 추론 시간과 함께, 제안된 모델이 대규모 PDE 문제에 대한 실용적이고 정확한 솔루션으로서 신속한 불확실성 정량화, 히스토리 매칭, 실시간 의사결정 지원을 가능하게 함을 보여준다.
GraphGP: Vecchia의 근사법을 활용한 확장 가능한 가우시안 프로세스
GraphGP: Scalable Gaussian Processes with Vecchia's Approximation
가우시안 프로세스는 연속 필드를 모델링하는 강력한 도구이지만, 순진한 $\mathcal{O}(N^3)$ 계산 비용과 $\mathcal{O}(N^2)$ 메모리 요구사항으로 인해 실제 사용이 제한되는 경우가 많습니다. Vecchia의 근사법은 각 점을 $k$개의 최근접 이웃에만 조건화하는 정상적이고 감소하는 커널에 대한 희소 정밀도 행렬(sparse precision matrix) 근사입니다. GraphGP는 Vecchia의 근사법을 위한 GPU 알고리즘으로, 선형 시간 및 메모리 요구사항을 가지며 거의 10억 개의 매개변수까지 확장 가능하고 넓은 동적 범위에 걸친 임의의 점 분포를 처리할 수 있습니다. 우리의 주요 기여는 (1) 효율적인 이웃 탐색을 가능하게 하면서 배치 병렬성을 최대화하는 비트 반전(bit-reversed) k-d 트리 순서와, (2) 순수 JAX 기준선(baseline)보다 훨씬 빠르고 메모리 효율적인 미분 가능한 CUDA 구현입니다. GraphGP는 순방향 생성, 역 적용, 로그 행렬식, 커널 매개변수 도함수를 포함하여 추론(inference)을 위한 기본 구성 요소를 제공합니다.
LLM 추론의 수치적 불안정성 규명: HEAL을 통한 미션 크리티컬 태스크의 재현 가능한 추론 달성
Demystifying Numerical Instability in LLM Inference: Achieving Reproducible Inference for Mission-Critical Tasks with HEAL
대규모 언어 모델(LLM)이 금융, 의료, 법률과 같은 미션 크리티컬 영역에 배포되면서 출력 재현성은 엄격한 시스템 요구사항이 되었다. 실무자들은 알고리즘적 확률성을 제거하기 위해 탐욕적 디코딩을 사용하지만, 16비트 정밀도를 사용하는 실제 배포 환경에서는 이기종 GPU 간에 치명적인 출력 불일치가 여전히 나타난다. SASS 수준 프로파일링을 통해 이러한 불일치가 근본적으로 커널 경계에서 다운캐스팅 중 발생하는 절단 오차에 의해 유발됨을 밝힌다. 그러나 전역 FP32 파이프라인으로 재현성을 확보하면 과도한 시스템 비용이 발생한다. 16비트 하드웨어 가속기를 우회하면 연산 효율이 떨어지고, KV 캐시를 상향 캐스팅하면 메모리 오버헤드가 두 배가 된다. 이러한 간극을 메우기 위해 FP32 정밀도를 근사하면서 두 가지 표적 메커니즘으로 하드웨어 제약을 해결하는 표적 개입 기법인 하이브리드 오차 완화(Hybrid Error ALleviation, HEAL)를 제안한다. 첫째, 부동소수점 형식이 Q, K, V 텐서에 대해 비트 폭을 충분히 활용하지 못한다는 점에 착안하여, HEAL은 KV 캐시 점유량을 늘리지 않으면서 수치 안정성을 보존하는 INT16 양자화를 적용한다. 둘째, HEAL은 대수적 오차 보상 전략을 통해 고정밀 행렬 곱셈을 합성하며, 이를 전적으로 고처리량 16비트 텐서 코어에서 실행한다. 접근법을 실용적으로 평가하기 위해 미션 크리티컬 작업의 재현성을 겨냥한 벤치마크인 MCR-Bench를 소개한다. HEAL은 다운스트림 작업에서 FP32 기준선과 동일한 수준의 재현성을 달성하면서 성능 오버헤드를 최대 6.0$\times$까지 줄인다.
방향 비순환 그래프 위의 심층 가우시안 과정
Deep Gaussian Processes on Directed Acyclic Graphs
많은 실제 과정은 방향 비순환 그래프(DAG)를 따르는 함수들의 합성으로 표현할 수 있다. 인과 모델링에서 이는 기저 메커니즘에, 공학에서는 다중 충실도 수준에, 유전자 조절 네트워크에서는 전사 인자에 해당한다. 이러한 함수들은 DAG 전반에서 잡음이 있고 이질적으로 샘플링된 측정값으로 부분적으로만 관측되므로, 재구성, 불확실성 전파, 추론에 상당한 어려움을 야기한다. 이러한 어려움을 해결하기 위해 함수에 대한 사전분포를 두어 자연스럽게 DAG 위의 심층 가우시안 과정에 도달한다. 우리는 이들의 사전분포 붕괴 거동과, 그래프 위상 및 중간 관측이 정보 보존에 미치는 영향을 이론적으로 연구한다. 입력 간 구별이 보존되는 깊이의 점근적 빈도에 대한 거의 확실한 하한을 얻고, 이것이 성립하는 폭넓은 커널 클래스를 규명하며, 입력 연결의 역할에 관한 \citep{dunlop2018}의 관찰을 증명한다. 또한 그래프 의존성을 유지하고 합성적 불확실성을 보존하며 충돌자(collider)의 설명 소거(explaining-away) 거동을 포착하는 구조적 변분 근사를 제시한다. 마지막으로 대규모 및 DAG 오지정 상황에서 이론과 방법론을 경험적으로 검증한다. 이어서 잠재 충돌자 DAG, 단백질 신호 전달 네트워크, 다중 충실도 \mbox{heavy-ion} 충돌 에뮬레이션 과제를 모델링하여, 최고 수준의 성능을 달성하는 동시에 저충실도 기여를 복원하고 시뮬레이터 계층에 대한 해석 가능성을 제공한다.
LiteTopK: 장문맥 희소 어텐션용 통합 Indexer-TopK 커널을 위한 차원의 저주 활용
LiteTopK: Exploiting the Curse of Dimensionality for a Fused Indexer-TopK Kernel in Long-Context Sparse Attention
토론
이 논문과 연결된 포럼 글이 아직 없습니다.