PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2407.00079v5cs.DC공식 코드 · Papers with Code

Mooncake: LLM 서빙을 위한 KVCache 중심의 분리형 아키텍처

Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving

Mooncake은 Moonshot AI가 제공하는 주요 대규모 언어 모델(LLM) 서비스인 Kimi의 서빙 플랫폼입니다. Mooncake은 prefill 클러스터와 디코딩(decoding) 클러스터를 분리하는 KVCache 중심의 분리형(disaggregated) 아키텍처를 특징으로 합니다. 또한 GPU 클러스터에서 충분히 활용되지 않는 CPU, DRAM, SSD 자원을 활용하여 KVCache의 분리형 캐시를 구현합니다. Mooncake의 핵심은 KVCache 중심 스케줄러로, 지연 시간(latency) 관련 서비스 수준 목표(Service Level Objective, SLO)를 충족하면서 전체 유효 처리량(throughput)을 최대화하는 균형을 맞춥니다. 모든 요청이 처리될 것이라고 가정하는 기존 연구들과 달리, Mooncake은 과부하가 매우 심한 상황으로 인한 문제에 직면합니다. 이를 완화하기 위해 우리는 예측 기반 조기 거부(early rejection) 정책을 개발했습니다. 실험 결과 Mooncake은 긴 컨텍스트(long-context) 상황에서 뛰어난 성능을 보입니다. 기준선(baseline) 방법과 비교하여, Mooncake은 특정 시뮬레이션 상황에서 SLO를 준수하면서도 처리량을 최대 525%까지 증가시킬 수 있습니다. 실제 워크로드에서 Mooncake의 혁신적인 아키텍처는 Kimi가 75% 더 많은 요청을 처리할 수 있게 합니다.

arXiv:2411.16975v2cs.LG공식 코드 · Papers with Code

ExpTest: 심층 신경망에서 자율적인 학습률 선택을 위한 손실 곡선 가설 검정

ExpTest: Loss-Curve Hypothesis Testing for Autonomous Learning-Rate Selection in Deep Neural Networks

하이퍼파라미터 튜닝은 심층 신경망(DNN) 학습(training)에서 여전히 중대한 과제로 남아 있으며, 수동 탐색이나 시간 소모적인 그리드 탐색을 요구하여 자원 비용을 증가시키고 머신러닝의 접근성을 제한합니다. 전체 초기 학습률(learning rate)은 이러한 하이퍼파라미터 중 가장 큰 영향을 미치는 요소 중 하나입니다. 적응형 및 스케줄링 기반 방식은 학습 중에 학습률을 관리하지만 여전히 초기 글로벌 값의 수동 선택이 필요하며, 학습률이 필요 없는 대안 방식(learning-rate-free alternatives)은 비볼록(non-convex) 문제에서 성능이나 안정성을 희생하면서 이러한 선택을 제거합니다. 본 논문에서는 학습 손실(loss) 곡선을 온라인 신호로 취급하고, 이론적 근거에 기반한 윈도우에서 순차적 통계 검정을 수행하여 수렴 거동을 감지하고 학습률 감소를 유발하는 자율 학습률 제어기인 ExpTest를 제시합니다. 이 프레임워크는 선형화된 네트워크 동역학에서 예측되는 대략적인 지수 감쇠 거동에 착안하여, 공분산 기반의 초기 학습률 추정치, 곡률 기반 윈도우 크기 설정, 2단계 검정 기반 감쇠를 결합합니다. 본 연구는 ExpTest에 대한 수학적 동기를 제공하고, 완전 연결, 합성곱, 트랜스포머(transformer) 기반 및 사전학습된 아키텍처 전반에 걸쳐 회귀, 분류(classification), 예측, 자연어 태스크에서 이를 평가(evaluation)합니다. 이러한 태스크 전반에서 ExpTest는 수동으로 초기 학습률을 선택하거나 사전 정의된 스케줄링 없이도, 수동으로 튜닝된 SGD 기반 베이스라인 및 최근의 학습률 불필요 방식들과 비교해 경쟁력 있는 성능을 달성합니다.

arXiv:2505.13252v5cs.CL공식 코드 · Papers with Code

제약 만족 문제에서 형식화자로서 언어 모델에 대한 현실 점검

A Reality Check of Language Models as Formalizers on Constraint Satisfaction Problems

최근 연구는 기호적 추론(symbolic reasoning) 문제에서 대규모 언어 모델(LLM)을 end-to-end 솔버로 쓰기보다 형식화자(formalizer)로 사용할 때 더 우수한 성능을 보인다고 한다. 문제 설명이 주어지면 LLM은 외부 솔버를 통해 해법을 도출하는 형식 프로그램(formal program)을 생성한다. 우리는 4개 벤치마크, 6개 LLM, 2종류의 형식 언어(formal language)에 걸쳐 실제 제약 만족 문제에서 LLM의 형식화 역량을 체계적으로 조사한다. LLM-as-formalizer가 문제를 결코 사소하게 만들지는 않지만, 검증 가능성(verifiability)과 해석 가능성(interpretability)에도 불구하고 24개 모델-데이터셋 조합 중 15개에서 LLM-as-solver보다 성능이 낮음을 보인다. 형식화 공간이 탐색 공간(search space)보다 수 orders of magnitude 작음에도, 스케일링 분석 결과 LLM-as-formalizer는 LLM-as-solver와 마찬가지로 문제 복잡도가 증가할수록 급격히 저하된다. 이 한계를 더 잘 이해하기 위해, 때로는 하드코딩된 해법(hard-coded solution)으로 이어지는 과도한 솔버 유사 추론 토큰(solver-like reasoning token)을 관찰하였으며, 이는 LLM 기반 형식화 개선을 위한 핵심 과제임을 부각한다.