PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.14568v1cond-mat.other

6GB 2011 GPU에서의 현대적 다중모달 어시스턴트: 단계별 검증된 Fermi용 전 GPU CUDA 추론

A Modern Multimodal Assistant on a 6 GB 2011 GPU: Stage-Validated, All-GPU CUDA Inference for Fermi

동반 연구에서는 4비트 모델이 디바이스 메모리에 들어가지 못해(arXiv:2606.24031), 2011 NVIDIA Tesla C2075(Fermi, sm_20, 6GB)에서 35B 전문가 혼합(MoE) 모델을 GPU prefill/CPU decode 하이브리드로 실행했다. 본 보고서는 동일한 하드웨어를 유지한 채 메모리에 들어가는 모델이 무엇을 할 수 있는지 묻는다: SigLIP2 비전 인코더와 윈도우 어텐션(window-attention) merger(16배 비주얼 토큰 압축)를 compact hybrid gated-delta-net 백본과 짝지은 현대적 다중모달 어시스턴트 MiniCPM-V-4.6을 전부 GPU에서 배포한다. 세 가지 결과. (i) 측정 기반으로 구축한 전 GPU 엔진: 8비트 가중치를 한 번 역양자화하고 최종 Fermi 툴체인의 vendor SGEMM을 호출하는 projection(FP32 피크의 64%; 우리의 최고 수작업 GEMM은 37%로, 잘못 천장이라 불림); 순차 scan보다 2.8배 빠른 recurrent layer의 chunked delta-rule 재작성(속성 분석이 하나의 불량 커널을 드러낸 뒤); 측정된 부정 결과: Fermi가 니블 언팩 shifting을 절반 속도로만 이슈하기 때문에, 여기서는 4비트 가중치가 8비트보다 decode를 느리게 만든다. (ii) 비전 측면은 증명 의무가 있는 포팅이다: tower, merger, projector를 sm_20 CUDA로 이식하고, 로컬 생성 reference forward와 각 단계를 검증한다(전체 tower 1.4e-5). position-embedding bucketization이 정확한 유리수 동률에서 달라진 한 실패는 일반 규칙으로 확장된다: 인덱스 산술에서 float tie-breaking은 구현 정의(implementation-defined)이다; reference 연산자를 호출하고 재구현하지 말 것. (iii) 긴 컨텍스트는 짧은 벤치마크가 숨기는 O(N^2) 벽을 드러낸다: naive 어텐션 커널에서 prefill은 2k 토큰에서 114 tok/s에서 10k에서 21로 떨어진다; 기존 score buffer에 쓰는 per-head vendor-GEMM 호출(추가 메모리 0)은 평탄한 프로파일을 복원한다(2k에서 408, 10k에서 361; 17배), 60% 깊이에서의 정확한 needle retrieval로 검증된다. 동일한 재작성은 이미지 인코딩을 6배 줄여 0.93초로 만든다. 시스템은 이미지 질문에 end-to-end로 1.7초 만에 답한다.