PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13382v1cs.LG

BLOKS: 스케치된 블록 전처리를 통한 커널 솔버의 스케일링

BLOKS: Scaling Kernel Solvers with Sketched Block Preconditioning

커널 리지 회귀(Kernel Ridge Regression, KRR)는 비매개변수적 학습(nonparametric learning)을 위한 이론적으로 타당한 알고리즘이며, 심층 학습(deep learning)의 특성을 연구하는 데에도 자주 사용된다. 그러나 정확한(exact) KRR 수식은 대규모 데이터셋(dataset)에 적용할 수 없을 정도의 시간 및 메모리 비용을 발생시키며, 이는 근사 솔버(approximate solver) 개발의 동기가 되었다. 이러한 알고리즘들은 (i) 직접적인 해법의 계산 부담을 피하기 위한 반복적 방법(iterative method), (ii) 문제 크기를 줄이기 위한 스케칭(sketching) 또는 배치화(batching), (iii) 수렴(convergence)을 가속화하기 위한 전처리(preconditioning)에 의존한다. 빠른 수렴을 위해 필수적이지만, 전처리는 메모리 비용을 발생시키며, 이는 모델(model)의 자유 매개변수 수를 줄임으로써 관리할 수 있으나 그 대가로 표현력, 나아가 정확도가 저하될 수 있다. 이러한 문제를 해결하기 위해, 우리는 블록 자코비(Jacobi) 근사와 스케칭을 결합한 새로운 프리컨디셔너(preconditioner)를 중심으로 구축된, Nyström 방식으로 스케치된 KRR을 위한 컨주게이트 그래디언트(Conjugate Gradient) 기반 솔버인 BLOKS를 제안한다. BLOKS의 프리컨디셔너는 데이터셋 크기와 매개변수 수 모두와 무관한 메모리 비용을 가지므로, 대규모 모델로의 스케일링(scaling)이 가능하다. 우리는 메모리 효율적이고 GPU로 가속화된 구현을 제공하며, BLOKS가 우수한 시간/메모리 복잡도를 유지하면서도 뛰어난 정확도를 달성함을 보인다. 실제로, 커널 솔버를 벤치마킹(benchmark)하는 데 사용되는 표준 대규모 데이터셋에서 BLOKS는 최신(state-of-the-art) 기법들과 비교할 만하거나 그보다 더 나은 성능을 달성한다.

arXiv:2601.20174v3cs.LG

NeuraLSP: PDE 솔버 가속을 위한 신경 스펙트럴 전처리기

NeuraLSP: A Neural Spectral Preconditioner for Accelerating PDE Solvers

편미분방정식(PDE)에서 유래한 대규모 희소 선형 시스템을 푸는 것은 고성능 과학 컴퓨팅의 기본 주제이며, 전처리기(preconditioner)가 핵심적이다. 멀티그리드(multigrid) 방법은 가장 효과적인 전처리기 중 하나이지만, 성능은 격자 전달 연산자(grid transfer operator)의 정확한 구성에 의해 좌우된다. 현재의 신경 멀티그리드 방법은 그래프 신경망(GNN)으로 이러한 연산자를 학습하며, 일반적으로 이산화된 시스템 행렬에서 연결성(connectivity)을 추출한다. 효과적이긴 하지만, 이러한 그래프 기반 구성은 rank inflation(랭크 팽창) 문제가 있어 불필요하게 큰 coarse space와 더 느린 수렴을 초래한다. 이를 개선하기 위해 본 논문은 NeuraLSP를 제안한다. NeuraLSP는 그래프 집계(aggregation)를 근-nullspace 성분의 좌특이 부분공간(left singular subspace)에서 유도된 고정된 저랭크(low-rank) 스펙트럴 표현으로 대체하는 새로운 신경 멀티그리드 전처리기이다. 네트워크 설계 수준에서 NeuraLSP는 새로운 부분공간 손실(subspace loss) 함수로 학습되며, 이는 랭크 팽창을 억제하면서 멀티그리드 수렴과 가장 관련 있는 오류 모드(error mode)를 보존한다. 본 논문의 핵심 혁신은 이론적 보장과 랭크 팽창에 대한 경험적 견고성(robustness) 모두에 기반하며, 다양한 PDE 계열에서 SOTA(state-of-the-art) 신경 전처리기 대비 최대 53%의 속도 향상을 제공한다.

arXiv:2602.02016v2cs.LG

DASH: 배치 블록 사전조건화와 효율적인 역근 솔버를 통한 빠른 Shampoo

DASH: Faster Shampoo via Batched Block Preconditioning and Efficient Inverse-Root Solvers

Shampoo의 높은 계산 비용을 줄이기 위해 DASH(Distributed Accelerated Shampoo)가 제안되며, 사전조건자(preconditioner) 블록을 3D 텐서로 묶어 GPU 활용도를 높이고 Newton-DB 반복과 체비쇼프(Chebyshev) 다항식 근사로 역행렬 근 계산을 가속한다. GPU에 맞춘 구현은 Distributed Shampoo 대비 최대 5.6배 빠른 옵티마이저 스텝을 달성했고, Newton-DB는 테스트한 방법 중 반복당 검증 퍼플렉서티(perplexity)가 가장 낮았다.