PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.19368v1cs.AI

Spectral-LSH: Krylov 투영 국소민감 해싱을 통한 준이차 프롬프트 압축

Spectral-LSH: Sub-Quadratic Prompt Compression via Krylov-Projected Locality-Sensitive Hashing

긴 프롬프트 추론은 prefill 어텐션이 시퀀스 길이에 대해 이차적으로 스케일링되기 때문에 여전히 비용이 큽니다. 우리는 Spectral-LSH를 제안합니다. 이는 프롬프트가 언어 모델에 들어가기 전에 동작하는 무학습 프롬프트 압축 방법입니다. Spectral-LSH는 Krylov 부분공간(subspace) 방법과 랜덤 특징(random features)을 함께 사용하여 암시적 어텐션-커널 연산자의 주요 성분을 근사하며, 명시적인 $O(N^2)$ 어텐션-커널 구체화(materialization)를 피합니다. 그다음 결과적인 어텐션 고유공간(eigenspace)에서 SimHash를 적용하여 유사한 토큰을 그룹화하고, 인과적(causal) 위치 할당으로 이를 거시 토큰(macro-tokens)으로 집약합니다. 우리는 C4에서 Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct, Qwen2.5-14B-Instruct를 평가합니다. 실험 결과 압축률(compression ratio)의 위상 전이(phase transition)가 나타납니다. $ρ= 4 \times$ 미만에서는 지역적 토큰 중복도가 충분히 낮아 경량 청킹(chunking)이 일반적으로 최상의 지연-품질(latency-quality) 트레이드오프를 제공합니다. $ρ= 8 \times$ 이상에서는 스펙트럴(spectral) 경로가 청킹이 잃는 품질을 보존합니다. $ρ= 16 \times$에서 Qwen2.5-7B(adaptive)는 PPL 비율을 353.409에서 196.963으로 낮추고, Qwen2.5-14B(adaptive)는 9.533에서 3.427로 낮춥니다. JSON 유사, 코드 유사, 표 유사 입력을 포함하는 소규모 장문맥 구조화 스트레스 테스트에서, 지역 LSH 또한 $8 \times$에서 청킹 대비 모든 지표를 개선합니다. 적응형(adaptive) 백엔드는 낮은 압축에서는 청킹 경로를, 높은 압축에서는 스펙트럴 클러스터링을 사용하여 두 영역을 모두 포착하지만, 총 지연 시간(total latency)에서는 청킹이 여전히 가장 빠른 백엔드입니다.

arXiv:2607.09909v1cs.DS

최근접 이웃 탐색을 위한 분할 트리 학습

Learning Partition Trees for Nearest Neighbor Search

우리는 데이터 기반 알고리즘 설계의 관점에서 최근접 이웃 탐색을 연구한다: 크기 $n$의 데이터셋 $P \subset \mathbb{R}^d$와 $\mathbb{R}^d$ 위의 쿼리 분포에 대한 샘플 접근이 주어졌을 때, 해당 특정 분포로부터 추출된 쿼리에 최적화된 자료구조를 학습하는 것이 목표이다. 우리는 지역 민감 해싱(locality-sensitive hashing)과 같은 공간 분할 프레임워크를 자연스럽게 추상화하는 균형 반공간 트리(balanced halfspace trees) 클래스에 초점을 맞춘다. 데이터셋과 쿼리 분포에 대한 가우시안 유사 주변 조건(Gaussian-like marginal conditions)을 가정하여, 완벽한 트리가 존재할 경우 $o(nd)$의 쿼리 시간을 달성하는 트리를 학습하는 효율적인 알고리즘을 제시한다. 우리의 알고리즘 접근법의 핵심은 균형 반공간 분할 문제(balanced halfspace cut problem)로, $\mathbb{R}^d \times \mathbb{R}^d$ 위의 분포가 주어졌을 때 분할되는 쌍의 비율을 최소화하는 균형 반공간을 찾아야 한다. 우리는 분포 가정 없이 최적의 균형 반공간을 찾는 것이 NP-난해함을 증명한다. 이 계산적 장벽을 우회하기 위해, 우리는 효율적인 비정형 학습 알고리즘(improper learning algorithm)을 설계한다: 최적 반공간이 쌍의 $\alpha$ 비율을 분할한다면, 우리 알고리즘은 최대 $O(\sqrt{\alpha+\varepsilon})$ 비율을 분할하는 차수 $\tilde{O}(1/\varepsilon^2)$의 균형 다항 임계 함수(balanced polynomial threshold function)를 출력한다.

arXiv:2410.11378v3cs.LG

신뢰 불필요 개인화 탈중앙화 학습

Trust-free Personalized Decentralized Learning

신뢰 없는 환경에서의 개인화 연합학습을 위해 블록체인 기반 게시판과 LSH·피어 랭킹을 결합한 TPFed 프레임워크를 제안하며, 공개 참조 데이터셋을 활용한 '올인원' 지식 증류 프로토콜로 지식 전달·모델 품질 평가·유사도 검증을 단일 교환으로 동시 처리한다. 광범위한 실험에서 TPFed는 기존 연합학습 기준선 대비 학습 정확도와 적대적 공격에 대한 견고성 모두에서 우수한 성능을 보였다.

arXiv:2607.01445v1cs.CR

Hamm-Grams: An Algorithm for Mining Regular Expressions of Bytes

악성코드(malware) 탐지에서 n-그램 피처의 취약성을 극복하기 위해, 고정 길이와 단일 문자 와일드카드를 갖는 정규표현식의 특수 클래스인 hamm-gram을 효율적으로 추출하는 알고리즘을 제안한다. 해밍 거리(Hamming distance)에 민감한 새로운 지역 민감 해싱(locality-sensitive hashing)과 해시 버킷 내 클러스터링을 결합하여, Drebin 안드로이드 악성코드 및 Ember 2018 Windows 악성코드 분류 태스크에서 기존 n-그램 대비 향상된 견고성과 성능을 보였다.