Papers with Code 아카이브
Model Compression
태스크의 하위 분류와 논문·코드·평가·기법·데이터셋을 탐색하세요.
- 하위 태스크
- 1
- 평가표
- 2
- 보존된 평가 기록
- 14
Model Compression is an actively pursued area of research over the last few years with the goal of deploying state-of-the-art deep networks in low-power and resource limited devices without significant drop in accuracy. Parameter pruning, low-rank factorization and weight quantization are some of the proposed methods to compress the size of deep networks.
논문
이 태스크와 하위 분야의 관련 논문입니다. 실제 성능 비교는 평가 결과에서 확인하세요.
S4oP: 자원 제약 디바이스를 위한 구조화된 상태 공간 모델의 연산자 수준 가지치기
MiX: 엔드투엔드 저비트 비전-언어 모델 가속을 위한 마이크로 역스케일링
SparkDiffusion: 고희소성 함정 완화 --- 시각 생성의 최대 265배 단일 GPU 가속을 위한 통합 프레임워크
무엇을 남길지가 아닌 언제 제거할 것인가: 학습 불필요 KV 캐시 압축을 위한 초안 유도 제거
디코더는 동결하고 인코더는 치유하기: SVD 기반 KV 캐시 압축을 위한 매개변수 효율적 적응 기법
Phase-HDC: 이산 위상 학습에서 옵티마이저 히스토리를 그래디언트 임계값으로 대체하기
D-SLR: 서로소 행-희소 및 저계수 분해
손실 압축 텍스트 오토인코더
SEER: 추론 모델을 위한 자기 강화형 사고의 연쇄(Chain-of-Thought) 압축
효율적인 LLM/VLM을 위한 활성화 정보 기반 파레토 유도 저순위 압축
엣지 분류기를 위한 RRAM 기반 방사 기저 함수 뉴런 하드웨어 구현
Faster-WAM: 월드 액션 모델에 딥 액션 모듈이 필요한가?
마스크 미세조정을 통한 대규모 언어 모델 성능 향상
QUASAR: 손실 인지 재구성을 통한 양자화 인지 학습의 손실 하한 낮추기
작은 빈도 보정이 KV 캐시 압축에서 보존 대상을 바꿀 수 있다
BitNest: 메모리 효율적인 대규모 언어 모델(LLM) 추론 가속을 위한 비트 중첩 추측 디코딩
JARQ: 양자화를 위한 결합 교차 개선 기법
조 단위 규모 전문가 혼합 모델을 위한 하드웨어 네이티브 통합 희소-양자화
LLM 압축을 위한 능력 축소 스케일링 법칙
자기회귀 기상 모델의 사후 학습 양자화
효율적인 LLM 작업 라우팅을 위한 학생 모델 주도 교사 증류: Jev 방식 System-1 분류기와의 포지셔닝
BaCP: 극도로 희소한 신경망에서 표현을 보존하기 위한 백본 대조 가지치기
시그모이드 신경망의 사후 학습 압축을 위한 역활성화 회귀 기반 뉴런 병합
오프로딩된 가중치에서 더 빠른 LLM 디코딩을 위한 가중치 근사 기반 활성화 희소성
CORE: KV 캐시를 위한 커버리지 캘리브레이션 및 제거 질량 재분배
iS-KV: 블록 증분 SVD를 통한 온라인 저역삼/저차원 KV 캐시 압축
TACD: 종단 증폭 제어를 통한 효율적인 텍스트-모션 모델 증류
KV$^2$: 자체 정제형 키-값(KV) 캐시
궤적 인식 저순위 근사를 통한 압축된 확산 언어 모델의 수학적 추론 능력 보존
단일 단계 생성 모델에서의 시간으로서의 깊이
Last But Not Least: 멀티모달 KV 캐시 압축을 위한 경계 어텐션 보정
ADATEX4D: 4D 가우시안 스플래팅을 위한 적응형 텍스처 용량 할당
SCION: 인스턴스화된 뉴럴 프리미티브를 활용한 장면 합성
CHASE-VLA: 청크 인식 스케일 추정을 적용한 비전-언어-행동 모델용 사후 학습 양자화 프레임워크
Budgeted-GS: LOD 인자화를 통한 실시간 대규모 가우시안 스플래팅
출처: Papers with Code · CC BY-SA 4.0. 아카이브 자료와 새로 수집한 논문은 별도로 관리합니다.