viettel.com.vn

이 이메일 도메인이 관측된 논문 2건

arXiv:2608.23048v1cs.LG

중요도 저수지: 미분 가능한 부분집합 샘플링을 통한 반구조화 희소성 학습

Reservoir of Importance: Learning Semi-Structured Sparsity with Differentiable Subset Sampling

반구조화(semi-structured) $N$:$M$ 희소성은 대규모 언어 모델(LLM)을 가속화하기 위한 실용적인 방향으로 부상했습니다. 그러나 기존의 학습 가능한 마스크 접근 방식은 상당한 매개변수 및 메모리 오버헤드를 유발하여 대규모 모델 및 공격적인 희소성 체제로의 확장성을 제한합니다. 본 연구에서는 효율성과 확장성을 조화시키는 관점에서 반구조화 가지치기를 재검토합니다. 우리는 미분 가능한 부분집합 샘플링을 통해 희소성 마스크를 학습하는 경량 반구조화 가지치기 프레임워크인 중요도 저수지(Reservoir of Importance, RoI)를 제안합니다. 실현 가능한 모든 $N$:$M$ 패턴에 대한 전체 범주형 분포를 모델링하는 기존 방법과 달리, RoI는 희소성 마스크 학습을 위한 콤팩트 로짓 매개변수화를 도입하고 마스크 선택을 위해 비복원 추출(sampling without replacement)을 수행함으로써 학습 가능한 매개변수를 조합 복잡도에서 $\mathcal{O}({M})$으로 줄입니다. 그 결과, RoI는 하드웨어 친화적인 희소성 패턴과 완벽하게 일치하면서도 1.5-8.75배 더 적은 학습 가능한 매개변수와 현저히 낮은 메모리 비용만을 필요로 합니다. Qwen2.5 LLM 패밀리(0.5-7B 매개변수)의 다양한 규모에 걸친 광범위한 평가는 RoI가 강력한 메모리 효율성, 안정성 및 더 공격적인 $N$:$M$ 희소성 패턴에 대한 확장성과 함께 경쟁력 있는 성능을 달성함을 입증하여, 효율적인 LLM 배포를 위한 실용적인 경로를 제공합니다.

arXiv:2608.03490v1cs.RO

Mamba 기반 지식 증류를 통한 경량 3D 객체 검출

Lightweight 3D Object Detection via Mamba-Based Knowledge Distillation

라이다(LiDAR) 센서를 활용한 3D 객체 검출(3D object detection)은 자율주행 및 로봇 내비게이션의 온보드 인지를 위해 정확도와 연산 효율성 간의 균형을 필요로 합니다. 기존의 많은 라이다 기반 검출 방법은 복잡한 아키텍처를 적용하여 특징(feature)을 추출하고 대량의 문맥 정보를 통합하여 정확도를 높입니다. 이는 종종 상당한 연산 비용을 초래하여 자원이 제한된 임베디드 기기에서 차선의 성능을 보이는 결과를 낳습니다. 본 연구에서는 선택적 복셀 공간 특징 정렬을 통해 강력한 교사 모델(teacher model)의 객체 수준 복셀 표현을 경량 학생 모델로 전달하는 지식 증류(knowledge distillation) 프레임워크를 제안합니다. 선택적 상태 공간을 갖춘 선형 시간 시퀀스 모델인 Mamba의 이점을 활용하여, 다중 브랜치 Mamba 교사 백본과 Mamba 기반 프로젝션 모듈을 통해 교사 및 학생 네트워크 간의 공간적으로 대응하는 복셀 특징을 정렬하는 박스 인지 특징 전달 메커니즘을 설계합니다. 공개 데이터셋(dataset)과 실제 환경 데이터 모두에 대한 실험 결과는 본 접근 방식이 최첨단 방법들과 비교하여 경쟁력 있는 정확도를 유지하면서도 연산 부하를 크게 줄임을 보여줍니다.