PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13382v1cs.LG

BLOKS: 스케치된 블록 전처리를 통한 커널 솔버의 스케일링

BLOKS: Scaling Kernel Solvers with Sketched Block Preconditioning

커널 리지 회귀(Kernel Ridge Regression, KRR)는 비매개변수적 학습(nonparametric learning)을 위한 이론적으로 타당한 알고리즘이며, 심층 학습(deep learning)의 특성을 연구하는 데에도 자주 사용된다. 그러나 정확한(exact) KRR 수식은 대규모 데이터셋(dataset)에 적용할 수 없을 정도의 시간 및 메모리 비용을 발생시키며, 이는 근사 솔버(approximate solver) 개발의 동기가 되었다. 이러한 알고리즘들은 (i) 직접적인 해법의 계산 부담을 피하기 위한 반복적 방법(iterative method), (ii) 문제 크기를 줄이기 위한 스케칭(sketching) 또는 배치화(batching), (iii) 수렴(convergence)을 가속화하기 위한 전처리(preconditioning)에 의존한다. 빠른 수렴을 위해 필수적이지만, 전처리는 메모리 비용을 발생시키며, 이는 모델(model)의 자유 매개변수 수를 줄임으로써 관리할 수 있으나 그 대가로 표현력, 나아가 정확도가 저하될 수 있다. 이러한 문제를 해결하기 위해, 우리는 블록 자코비(Jacobi) 근사와 스케칭을 결합한 새로운 프리컨디셔너(preconditioner)를 중심으로 구축된, Nyström 방식으로 스케치된 KRR을 위한 컨주게이트 그래디언트(Conjugate Gradient) 기반 솔버인 BLOKS를 제안한다. BLOKS의 프리컨디셔너는 데이터셋 크기와 매개변수 수 모두와 무관한 메모리 비용을 가지므로, 대규모 모델로의 스케일링(scaling)이 가능하다. 우리는 메모리 효율적이고 GPU로 가속화된 구현을 제공하며, BLOKS가 우수한 시간/메모리 복잡도를 유지하면서도 뛰어난 정확도를 달성함을 보인다. 실제로, 커널 솔버를 벤치마킹(benchmark)하는 데 사용되는 표준 대규모 데이터셋에서 BLOKS는 최신(state-of-the-art) 기법들과 비교할 만하거나 그보다 더 나은 성능을 달성한다.

arXiv:2604.20021v2cs.LG

저비용 LLM 서빙을 위한 연속적 시맨틱 캐싱

Continuous Semantic Caching for Low-Cost LLM Serving

대규모 언어 모델(LLM)의 인기가 높아짐에 따라, 의미적으로 유사한 질의를 가진 사용자가 재사용할 수 있도록 응답을 캐싱하는 것은 추론(inference) 비용과 지연 시간을 줄이기 위한 필수적인 전략이 되었습니다. 기존 캐싱 프레임워크는 유한하고 이미 알려진 이산적 질의 집합을 가정한 뒤 서빙 비용과 질의 도착 확률을 학습하여 어떤 질의 응답을 캐싱할지 결정하는 방식을 제안해 왔습니다. 그러나 LLM 사용자와 질의 풀이 확장됨에 따라 이러한 가정은 점점 더 유지하기 어려워지고 있으며, 실제 LLM 질의는 무한하고 연속적인 임베딩(embedding) 공간에 존재합니다. 본 논문에서는 불확실성 하의 연속 질의 공간에서 시맨틱 LLM 응답 캐싱을 위한 최초의 엄밀한 이론적 프레임워크를 정립합니다. 이산 최적화와 연속 표현 공간 간의 격차를 좁히기 위해, 본 연구는 커널 리지 회귀(Kernel Ridge Regression)와 결합된 동적 $ε$-net 이산화 기법을 도입합니다. 이 설계를 통해 시스템은 추정 불확실성을 정형화하여 정량화하고, 연속적인 시맨틱 질의 이웃 전반에 걸쳐 LLM 질의 비용에 대한 부분적인 피드백을 일반화할 수 있습니다. 또한 캐시된 응답을 변경할 때 발생하는 전환 비용(switching cost)을 줄이도록 최적화된 오프라인 학습 및 온라인 적응형 알고리즘을 개발합니다. 나아가 제안하는 온라인 알고리즘이 최적의 오라클 대비 준선형 후회 경계(sublinear regret bound)를 달성하며, 이는 이산 질의 모델의 기존 경계로 환원됨을 증명합니다. 광범위한 실증적 평가를 통해 본 프레임워크가 연속적인 최적 캐시를 효과적으로 근사하는 동시에 기존 방식에 비해 계산 및 전환 오버헤드를 줄임을 보입니다.

arXiv:2610.02564v1math.NA

커널 능형 회귀를 이용한 동역학계의 닫힘 모델 학습

Learning Closure of Dynamical Systems with Kernel Ridge Regression

본 연구에서는 커널 능형 회귀(Kernel Ridge Regression, KRR)를 사용하여 동역학계(dynamical systems)의 누락된 성분을 식별하기 위한 닫힘 모델링(closure modeling) 프레임워크를 개발합니다. 이 프레임워크는 두 가지 부류의 닫힘 문제를 다룹니다. 즉, 상미분방정식(ODE) 및 편미분방정식(PDE) 환경에서 발생하는 차분방정식 닫힘과, 기체운동학 방정식의 모멘트 닫힘(moment closure)에서 발생하는 대수적 닫힘입니다. 첫 번째 부류에 대해, 저자들은 시간 적분, 미해결 스케일(unresolved scales)의 근사, 그리고 미해결 스케일의 효과를 해석된 솔버(resolved solver)와 결합하는 데 필요한 보간(interpolation)의 기여도를 정량화하는 ODE 환경에서의 오차 한계를 유도합니다. Lorenz-63 시스템과 Kuramoto-Sivashinsky 방정식에 대한 수치 실험은 정확한 장기 예측 성능과 LSTM 기반 닫힘 모델 대비 상당한 개선을 보여줍니다. 두 번째 부류에 대해서는 1차원 기체운동학 방정식의 모멘트 닫힘을 다루며, 해석된 거시적 변수의 함수로서 기체운동학적 플럭스와 거시적 플럭스 간의 불일치를 모델링합니다. 주성분 분석(PCA) 좌표에 기반한 전역 KRR 모델과 공간적 국소(spatially local) 모델을 비교합니다. 전역 모델은 단봉형(unimodal) 초기 조건에서는 우수한 성능을 보이지만, 쌍봉형(bimodal) 초기 조건에서는 정확도가 저하됩니다. 반면 적절한 모델링 입력을 갖춘 공간적 국소 모델은 견고성(robustness)을 향상시키며 더 높은 예측 정확도를 달성합니다.