arXiv:2606.11402v1 stat.CO

GraphGP: Vecchia의 근사법을 활용한 확장 가능한 가우시안 프로세스

GraphGP: Scalable Gaussian Processes with Vecchia's Approximation

Benjamin Dodge, Philipp Frank, Susan E. Clark

제출 2026-06-09

한국어 초록

가우시안 프로세스는 연속 필드를 모델링하는 강력한 도구이지만, 순진한 $\mathcal{O}(N^3)$ 계산 비용과 $\mathcal{O}(N^2)$ 메모리 요구사항으로 인해 실제 사용이 제한되는 경우가 많습니다. Vecchia의 근사법은 각 점을 $k$개의 최근접 이웃에만 조건화하는 정상적이고 감소하는 커널에 대한 희소 정밀도 행렬(sparse precision matrix) 근사입니다. GraphGP는 Vecchia의 근사법을 위한 GPU 알고리즘으로, 선형 시간 및 메모리 요구사항을 가지며 거의 10억 개의 매개변수까지 확장 가능하고 넓은 동적 범위에 걸친 임의의 점 분포를 처리할 수 있습니다. 우리의 주요 기여는 (1) 효율적인 이웃 탐색을 가능하게 하면서 배치 병렬성을 최대화하는 비트 반전(bit-reversed) k-d 트리 순서와, (2) 순수 JAX 기준선(baseline)보다 훨씬 빠르고 메모리 효율적인 미분 가능한 CUDA 구현입니다. GraphGP는 순방향 생성, 역 적용, 로그 행렬식, 커널 매개변수 도함수를 포함하여 추론(inference)을 위한 기본 구성 요소를 제공합니다.

원문 초록

Gaussian processes are a powerful tool for modeling continuous fields, but their naive $\mathcal{O}(N^3)$ computational cost and $\mathcal{O}(N^2)$ memory requirement often limit their practical use. Vecchia's approximation is a sparse precision matrix approximation for stationary, decaying kernels that conditions each point only on its $k$ nearest neighbors. We present GraphGP, a GPU algorithm for Vecchia's approximation that scales to nearly a billion parameters with linear time and memory requirements, handling arbitrary point distributions over a large dynamic range. Our key contributions are (1) a bit-reversed k-d tree ordering that allows efficient neighbor searches while also maximizing batch parallelism, and (2) a differentiable CUDA implementation, which is substantially faster and more memory efficient than our pure JAX baseline. GraphGP provides the building blocks for inference, including forward generation, inverse application, log-determinant, and kernel parameter derivatives.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11402v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13382v1cs.LG공통 태그 GPU, Computational Efficiency, Gaussian Processes

BLOKS: 스케치된 블록 전처리를 통한 커널 솔버의 스케일링

BLOKS: Scaling Kernel Solvers with Sketched Block Preconditioning

커널 리지 회귀(Kernel Ridge Regression, KRR)는 비매개변수적 학습(nonparametric learning)을 위한 이론적으로 타당한 알고리즘이며, 심층 학습(deep learning)의 특성을 연구하는 데에도 자주 사용된다. 그러나 정확한(exact) KRR 수식은 대규모 데이터셋(dataset)에 적용할 수 없을 정도의 시간 및 메모리 비용을 발생시키며, 이는 근사 솔버(approximate solver) 개발의 동기가 되었다. 이러한 알고리즘들은 (i) 직접적인 해법의 계산 부담을 피하기 위한 반복적 방법(iterative method), (ii) 문제 크기를 줄이기 위한 스케칭(sketching) 또는 배치화(batching), (iii) 수렴(convergence)을 가속화하기 위한 전처리(preconditioning)에 의존한다. 빠른 수렴을 위해 필수적이지만, 전처리는 메모리 비용을 발생시키며, 이는 모델(model)의 자유 매개변수 수를 줄임으로써 관리할 수 있으나 그 대가로 표현력, 나아가 정확도가 저하될 수 있다. 이러한 문제를 해결하기 위해, 우리는 블록 자코비(Jacobi) 근사와 스케칭을 결합한 새로운 프리컨디셔너(preconditioner)를 중심으로 구축된, Nyström 방식으로 스케치된 KRR을 위한 컨주게이트 그래디언트(Conjugate Gradient) 기반 솔버인 BLOKS를 제안한다. BLOKS의 프리컨디셔너는 데이터셋 크기와 매개변수 수 모두와 무관한 메모리 비용을 가지므로, 대규모 모델로의 스케일링(scaling)이 가능하다. 우리는 메모리 효율적이고 GPU로 가속화된 구현을 제공하며, BLOKS가 우수한 시간/메모리 복잡도를 유지하면서도 뛰어난 정확도를 달성함을 보인다. 실제로, 커널 솔버를 벤치마킹(benchmark)하는 데 사용되는 표준 대규모 데이터셋에서 BLOKS는 최신(state-of-the-art) 기법들과 비교할 만하거나 그보다 더 나은 성능을 달성한다.

arXiv:2609.28425v1quant-ph공통 태그 Bayesian Inference, Computational Efficiency, parameter estimation

머신러닝을 활용한 재귀적 상태 추정에서 근사 솔버의 수리 가능성

Repairability of Inexact Solvers in Recursive State Estimation with Machine Learning

재귀적 상태 추정은 종종 피드백 루프 안에서 근사적인 수치 해를 실행하며, 국소적으로 매우 정확한 단계가 전체적으로 더 나은 결과를 보장하지는 않는다. 고정된 선형 Kalman 모델에 대해, 규정된 부분공간과 노름 예산 내 보정이 국소 허용 가능성 허용 오차를 충족할 수 있는 조건을 특성화하고, 실제로 실행된 결함이 유한 구간 공분산 응답에 미치는 영향을 분석한다. 구현된 공분산에 대한 정확한 이득(gain)을 중심으로 각 결함을 두면 현재 솔브 오류와 상속된 이득 드리프트를 분리할 수 있다. 정확한 잔차-드리프트 항등식을 전개하면 2차 응답을 넘어 상반되는 4차 기여가 드러난다. 혁신(innovation) 공분산 팽창은 양의 방향으로, 국소 이득 재최적화는 음의 방향으로 작용한다. 일치하는 초기화 하에서, 고정 구간에서 유계 결함 열에 대해 균일한 절대 6차 나머지 상한은 2차 과소 또는 과대 예측에 대한 충분 조건을 제공한다. 머신러닝은 유계 보정을 제안하고, 학습기에 독립적인 잔차 증명서(residual certificate)와 검증된 폴백(fallback)이 기준 추정기를 바꾸지 않은 채 고전 및 양자 후보의 실행을 관장한다. 전력망 허용 오차 연구에서, 학습된 보정은 동일한 잔차 증명서 하에서 보정되지 않은 솔브에 비해 폴백 없이 배포할 때 최소 �共轭梯度(conjugate-gradient) 반복 횟수를 낮춘다. 변분 양자 선형 솔버와 어닐링 기반 이진 인코딩으로 재구성된 이득은 초전도 하드웨어上的 소규모 단말 측정과 양자 어닐러(quantum annealer)上的 샘pling을 거쳐 동일한 인터페이스로 실행된다. 국소 수리 가능성을 비선형 오류 전파와 연결함으로써, 이 프레임워크는 독립적 인증과 유한 구간 응답을 통해 근사 솔버와 학습된 보정을 평가하며, 하이브리드 양자-고전 계산 연구를 위한 실용적 토대를 제공한다.

arXiv:2609.27203v1cs.AI공통 태그 GPU, Bayesian Inference, Computational Efficiency

XLOG: 신경기호 통합을 위한 CUDA 네이티브 엔진

XLOG: A CUDA-Native Engine for Neurosymbolic Integration

xlog는 타입 프론트엔드와 제공자 소유(provider-owned) CUDA 런타임을 통해 신경망 지각을 결정론적 데이탈로그(Datalog), 확률적 추론, 인식론적 세계관과 통합하는 CUDA 네이티브 논리 프로그래밍 엔진입니다. 추론 모드들은 디바이스 데이터 평면을 공유하지만 실행 경계는 서로 다릅니다. 일반 데이탈로그와 정확 추론(exact inference)은 호스트가 오케스트레이션하는 반면, 인증된 상주 재귀(certified resident recursive) 및 몬테카를로 샘플링 코어는 유계 종단 수신(bounded terminal receipt) 전까지 추적 대상 호스트-디바이스 전송을 0회 기록합니다. 확률적 경로는 프로버넌스(provenance)부터 CNF, Decision-DNNF에 이르는 GPU 지식 컴파일, 정확 가중치 모델 카운팅(exact weighted model counting), 역방향 그래디언트를 통해 엔드투엔드 그래디언트를 지원합니다. 최종 평활화된 회로는 캐싱 또는 평가 전에 소스 포뮬러에 대해 검증(certified)됩니다. 회로 캐싱을 통해 MNIST 덧셈 학습에서 2.74배의 속도 향상을 얻었으며, 최악 조건 최적 조인(worst-case-optimal join) 서브시스템은 xlog의 이항 조인 기준선 대비 27.96배의 기하 평균 이득을 보입니다. MNIST 덧셈 정확도는 Scallop과 대등하지만(0.9561 대 0.9468), 기준선 에포크 시간이 CPU 할당량에 따라 달라지므로 에포크당 속도 주장은 하지 않습니다. 5개의 허브 편향 삼각형 카운팅 사례에서 Souffle 대비 융합 xlog의 실행 시간 비율은 Souffle이 더 빠른 15만 개 엣지에서의 0.88배에서 120만 개에서의 5.54배로 증가하며, 융합 피크 디바이스 할당량은 구체화(materializing) 암의 3,287~44,979MB에 비해 85~1,033MB입니다. 정확 추론은 ProbLog2와 정확도 측면에서 동등하지만 더 느립니다. 공개 비디오 벤치마크에서는 기호적 크레딧(symbolic credit)으로만 학습된 근접 술어가 동일한 홀드아웃 정확도를 유지하면서 수작업으로 설정된 기하 구조를 대체하지만, Event-Calculus 규칙 탐색 내에서는 10겹 교차 검증에 실패하며 누출 없는(leak-free) 분할에서는 전이되지 않습니다. 해양 코퍼스에서 가중치 부여 절(weighted clauses)은 크리스프(crisp) 선택 대비 F1 점수에서 0.065 앞섰으며, 이 결과는 단일 시계열 학습 패스로 재현되었습니다.

arXiv:2609.28870v3cs.DC공통 태그 GPU, Computational Efficiency

정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고

When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse

장시간 실행되는 LLM 애플리케이션과 자율 에이전트는 점점 늘어나는 컨텍스트를 반복적으로 전송하므로, 프리픽스 캐싱은 프리필 비용을 줄이는 데 매우 중요하다. 이는 수십 년간의 전통적인 캐시 관리 기법이 에이전트형 및 대화형 LLM 서빙에 그대로 적용되는가라는 근본적인 질문을 제기한다. 우리는 200억 개가 넘는 처리 토큰으로 구성된 실제 서비스 트레이스를 분석하고, 용량이 제한된 HBM 환경과 대규모 메모리 풀 환경에서 14가지 축출 알고리즘을 평가한다. 그 결과, 단순한 LRU(Least Recently Used)가 놀라울 정도로 견고하여 정교한 전통적 정책과 대등한 성능을 보이지만, 벨라디(Belady)의 최적 해와는 여전히 상당한 격차가 남아 있음을 확인한다. 그 이유는 구조적이다. 프리픽스 재사용은 활성 세션의 꾸준한 진행 속도에 의해 좌우되므로, 최근 사용 여부가 축출에 대해 이례적으로 강한 예측 변수가 된다. 그럼에도 프리픽스 캐싱은 최근성이 무시하는 측면에서 전통적 워크로드와 다르며, 특히 단일 턴 요청의 만연, 극단적인 세션 크기 편중, 어텐션 연산이 토큰 깊이에 따라 증가하기 때문에 발생하는 매우 불균일한 미스 비용이 그러하다. 최적과의 격차를 줄이기 위해, 우리는 프리픽스 캐시 관리를 위한 몇 가지 설계 원칙을 제시한다. 즉, 최근성을 기준선으로 유지하면서 일회성 프롬프트를 걸러내기 위한 신속한 강등, 비용이 큰 미스를 우선시하는 연산 인지형 축출, 용량 적응형 축출 단위를 함께 도입하는 것이다. 우리의 트레이스와 시뮬레이터는 공개되어 있다.

arXiv:2609.27976v2stat.ML공통 태그 Bayesian Inference, parameter estimation

연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계

Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity

Conformal Bayes는 베이즈 사후 예측 점수와 컨포멀 보정을 결합한다. 연속적 레이블 이동 하에서는 점수와 보정 가중치가 모두 알려지지 않은 응답 밀도비에 의존한다. 기존 방법은 보통 의사 레이블이나 예측 표본으로부터 단일 지수 틸트를 추정하여 이를 보정에 대입한다. 우리는 사전에 지정한 틸트 족에 대해 민감도 분석을 수행하는 Joint Tilt-Sensitivity Conformal Bayes(JTS-CB)를 제안한다. 각 틸트는 결합된 점수-가중치 쌍을 정의한다. 분할 절차인 JTS-SCB는 가중 절편 전용 분위수 회귀에서 틸트별 임계값 중 가장 큰 값을 취하여 결합 최소-최대 보정을 푼다. JTS-Union은 개별 임계값을 유지하여 JTS-SCB의 예측 집합에 포함되는 예측 집합을 산출한다. 두 방법 모두 설계상 보정 전용 가중치를 사용하며 일반적인 커버리지 보장은 없다. 또한 후보 가중 방식의 정확한 대응 방법도 연구한다. 0이 아닌 선형 지수 틸트는 어떤 것이든 그 예측 집합을 비유계로 만드는 반면, 콤팩트한 음의 이차 족은 가우시안 점수 하에서 유계인 정확한 합집합을 산출한다. 실용적 절차의 경우, 대체(fallback)를 포함한 국소화 보정은 틸트 족이 참 틸트를 포함할 때 명목 수준에서 목표 꼬리 질량 상한을 뺀 값 이상의 커버리지를 제공하지만, 폭을 상당히 증가시킬 수 있다. 세 개의 회귀 데이터셋에 대한 통제된 이동 실험과 합성 데이터 실험은, 이동이 잘 식별될 때 플러그인 예측 표집이 오라클 커버리지에 근접할 수 있으나 예측 편향과 불안정한 틸트 추정에는 여전히 취약함을 보여준다. 민감도 분석은 시험한 설정에서 이러한 실패를 완화할 수 있으나, 그 대가로 예측 집합이 넓어진다. 점수와 가중치를 결합하면 가중치만 변화시킬 때보다 더 높은 커버리지로 더 좁은 집합을 얻을 수 있으나, 이러한 이점이 모든 이동에서 일정하지는 않다. 민감도 족에서 참 틸트를 제외하면 여전히 과소 커버리지가 발생할 수 있다.

arXiv:2610.15965v1cs.LG공통 태그 GPU, Computational Efficiency

반복 데이터 사전학습 스케일링: 배치 크기, 정규화 및 GPU-시간 트레이드오프

Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs

본 연구에서는 연산량은 풍부하지만 고유한 학습(training) 데이터가 유한하여 동일한 데이터에 대한 반복 학습이 필요한 환경에서의 사전학습(pre-training)을 다룹니다. 먼저 무한 연산량 사전학습(Kim et al. 2026)을 재검토하여, 그 프론티어가 기존에 고정되었거나 개별적으로만 연구되었던 선택 사항들에 결정적으로 의존함을 보입니다. 특히 에포크(epoch) 수와 함께 배치(batch) 크기를 최적화하면 검증 손실(validation loss)과 배치 크기 사이에 U자형 관계가 나타나 일반적인 사전학습보다 더 작은 배치를 선호하게 됨을 밝히며, 이는 소배치 그래디언트(gradient) 노이즈가 암묵적 정규화(implicit regularization)를 제공하기 때문인 것으로 보입니다. 나아가 기존에 단일 패스 가정 하에서 최적화되었던 학습 레시피를 조정할 수 있음을 확인했습니다. 예를 들어 에포크마다 문서를 새로운 시퀀스로 재패킹하는 것, 가중치 공유(weight tying), 그리고 양의 임베딩 가중치 감쇠(positive embedding weight decay) 등이 있습니다. 이후 무한 연산량 가정을 완화합니다. 특히 일반적인 경우보다 작은 배치 크기는 지나치게 긴 순차적 학습 시간을 요구할 수 있으므로, GPU와 시간을 별개의 자원으로 다루어야 할 필요성이 발생합니다. 마감 기한이 촉박할수록 더 큰 배치가 유리하며, 지연 시간 중심의 병렬 처리를 통해 추가 GPU를 투입하여 학습 시간을 단축할 수 있습니다. 그럼에도 불구하고 고정된 시간 예산 내에서도 더 적은 수의 GPU와 작은 배치를 사용하는 것이 더 많은 GPU와 큰 배치를 사용하는 것보다 더 낮은 검증 손실을 달성할 수 있으며, 이는 마감 기한 내에서 GPU 활용도를 극대화하기 위해 데이터 병렬 처리를 늘리는 일반적인 관행에 도전합니다. 종합적으로 본 연구 결과는 반복 데이터 학습에서 충분히 탐구되지 않았던 요인들을 식별하고, 단일 패스 사전학습 대비 학습 레시피와 자원 할당이 어떻게 변화해야 하는지에 대한 구체적인 지침을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.