PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.06317v3cs.LG

희소 디코딩을 위한 어텐션 질량 응축

Attention-Mass Condensation for Sparse Decoding

어텐션 질량(attention-mass)의 집중은 희소 디코딩(sparse decoding)의 기회를 제공하지만, 유지된 질량만으로는 안정적인 탐욕적 결정(greedy decision)을 보장할 수 없습니다. 즉, 검색 오류, 생략된 밸류(value) 방향, 재귀적 디코딩이 모두 중요한 영향을 미칩니다. 본 연구에서는 정확한 생략 질량 항등식과 충분한 다운스트림 마진 조건을 통해 이러한 차이를 정형화하고, 쿼리 의존적 평균 풀링 블록 선택기(query-dependent mean-pooled block selector)의 특성을 규명합니다. Qwen2-0.5B 모델을 대상으로 한 대응 신규 선택 탐색(paired fresh-selection sweep)은 97~769개 위치의 지지 집합(support), 2K~16K의 컨텍스트, 그리고 컨텍스트당 5개의 접두사(prefix)를 다룹니다. 주요 완전 일치(exact-match) 결과에 따르면, 60회의 실행 중 128개 토큰에 걸쳐 밀집 디코딩(dense decoding)과 동일하게 유지된 경우는 단 하나도 없었습니다. 분포적 품질은 이와 다릅니다. 193 이상의 지지 집합에 대해 9개의 컨텍스트-지지 집합 조건 중 7개에서 밀집 모델 대비 교사 강제(teacher-forced) 연속 펄플렉서티(perplexity) 변화 중앙값이 5% 이내였으나, 프롬프트 수준의 범위에는 심각한 16K 이상치(outlier)가 포함되어 있습니다. 교사 강제 일치율이 70% 미만인 7번의 실행 모두에서 펄플렉서티가 100% 이상 증가했습니다. 이러한 관찰 결과는 두 개의 접두사에서 비롯된 것으로 일반적인 임계값이 아닌 경고 영역을 시사합니다. 측정된 펄플렉서티는 희소 모델의 자유 실행(free-running) 출력이 아닌 밀집 모델 자체의 연속 생성에 대해 교사 강제된 값입니다. 분리된 검색 및 어텐션 질량 프로브(probe)는 포착된 질량만으로는 검색이나 결정을 보장할 수 없는 이유를 보여줍니다. 독립된 연산자 측정 시간만으로는 동일 품질에서의 가속이나 엔드투엔드 서빙 속도를 입증하지 못합니다.

arXiv:2511.21702v2cs.CL

CSV-Decode: 효율적인 대규모 언어 모델 추론을 위한 검증 가능한 하위 어휘 디코딩

CSV-Decode: Certifiable Sub-Vocabulary Decoding for Efficient Large Language Model Inference

대규모 언어 모델은 큰 어휘에 대한 비용이 큰 출력 층 계산으로 인해 추론 중 상당한 계산 병목을 겪는다. 우리는 각 디코딩 단계마다 작은 하위 어휘를 구성하기 위해 기하학적 상한을 사용하는 새로운 접근법인 CSV-Decode를 제안한다. 이는 정확한 top-$k$ 인증과 $\varepsilon$-인증 소프트맥스 근사라는 이중 정확성 보장을 유지하면서 효율적인 희소(sparse) 계산을 가능하게 한다. 우리 방법은 어휘 임베딩을 오프라인으로 클러스터링하고, 중심점(centroid)과 반경(radius) 상한을 사용하여 계산에서 안전하게 생략할 수 있는 토큰을 식별한다. 우리는 희소 GEMV 커널, 다중 GPU 샤딩, CUDA Graph 최적화를 갖춘 완전한 시스템 구현을 제공한다. 실험 결과는 분포 보장과 낮은 폴백(fallback) 비율을 유지하면서 전체 어휘 디코딩 대비 상당한 속도 향상을 보여준다. 코드 구현은 https://github.com/FastLM/CSV-Decode 에서 이용할 수 있다.