PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.12573v2cs.LG

Prof-K: 효율적인 Top-k 선택을 위한 확률론적 단일 패스 필터링

Prof-K: Probabilistic One-Pass Filtering for Efficient Top-k Selection

Top-k 선택은 데이터베이스, 정보 검색, 신호 처리뿐만 아니라 희소 활성화 및 어텐션(attention) 가지치기(pruning)를 포함한 현대 머신러닝 워크로드 전반에 활용되는 핵심적인 기본 연산(computational primitive)입니다. 데이터 규모가 커짐에 따라 기존 접근법은 비효율적이 됩니다. 정확한(exact) 방식은 높은 메모리 및 연산 오버헤드를 유발하며, 근사(approximate) 방식은 취약한 휴리스틱에 의존하는 경우가 많아 적대적이거나 두터운 꼬리(heavy-tailed) 분포를 갖는 입력에서 성능이 저하됩니다. 본 논문에서는 정확한 Top-k 선택을 위한 빠르고 확장 가능하며 분포에 구애받지 않는(distribution-agnostic) 알고리즘인 Prof-K를 소개합니다. Prof-K는 단일 패스 필터링 절차를 수행합니다. 즉, 작은 무작위 표본을 통해 적응형 임계값을 추정한 후, N개의 입력 요소를 컴팩트한 버퍼로 한 번 스트리밍하며, 이 버퍼에 대해 정확한 Top-k 루틴을 수행하여 사용자가 지정한 $\varepsilon>0$에 대해 최소 $1-\varepsilon$의 확률로 첫 번째 시도에서 실제 Top-k 요소를 복원합니다. 본 연구는 N과 k의 함수로서 오버헤드를 최소화하는 대략적으로 최적화된 표본 크기와 함께, 정확도 및 버퍼 크기에 대한 높은 확률 보장(high-probability guarantees)을 도출합니다. 실증적으로 Prof-K는 고도로 최적화된 PyTorch topk 및 최근의 RadiK 구현 대비 1.5배~15배의 속도 향상을 달성하며, 기존 방법들이 가장 취약했던 대규모이면서 작거나 중간 크기의 k 영역에서 가장 큰 성능 향상을 보입니다. 이전 접근법과 달리 이러한 보장은 입력 분포와 무관하게 유지되므로 적대적 설정에 대한 견고성을 보장합니다. 런타임 검사를 통해 드물게 발생하는 실패를 감지하고 재시도를 트리거하므로, 반환되는 집합은 항상 정확하며 $\varepsilon$은 추가 패스가 필요할 확률만을 제한합니다. 나아가 Top-k 선택이 학습 비용의 상당 부분을 차지하는 BatchTopK 희소 오토인코더(SAE) 학습(training)에서 Prof-K의 효과를 입증합니다.