arXiv:2004.07984

Spectral Learning on Matrices and Tensors

Majid Janzamin, Rong Ge, Jean Kossaifi, Anima Anandkumar

제출 2020-04-16

원문 초록

Spectral methods have been the mainstay in several domains such as machine learning and scientific computing. They involve finding a certain kind of spectral decomposition to obtain basis functions that can capture important structures for the problem at hand. The most common spectral method is the principal component analysis (PCA). It utilizes the top eigenvectors of the data covariance matrix, e.g. to carry out dimensionality reduction. This data pre-processing step is often effective in separating signal from noise. PCA and other spectral techniques applied to matrices have several limitations. By limiting to only pairwise moments, they are effectively making a Gaussian approximation on the underlying data and fail on data with hidden variables which lead to non-Gaussianity. However, in most data sets, there are latent effects that cannot be directly observed, e.g., topics in a document corpus, or underlying causes of a disease. By extending the spectral decomposition methods to higher order moments, we demonstrate the ability to learn a wide range of latent variable models efficiently. Higher-order moments can be represented by tensors, and intuitively, they can encode more information than just pairwise moment matrices. More crucially, tensor decomposition can pick up latent effects that are missed by matrix methods, e.g. uniquely identify non-orthogonal components. Exploiting these aspects turns out to be fruitful for provable unsupervised learning of a wide range of latent variable models. We also outline the computational techniques to design efficient tensor decomposition methods. We introduce Tensorly, which has a simple python interface for expressing tensor operations. It has a flexible back-end system supporting NumPy, PyTorch, TensorFlow and MXNet amongst others, allowing multi-GPU and CPU operations and seamless integration with deep-learning functionalities.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02598v1cs.LG공통 태그 GPU, CPU

오프로딩된 가중치에서 더 빠른 LLM 디코딩을 위한 가중치 근사 기반 활성화 희소성

Activation Sparsity with Weight Approximation for Faster LLM Decoding on Offloaded Weights

가중치를 모두 담기에 메모리가 부족한 소비자용(consumer-grade) GPU에 LLM을 배포하면 추론 속도가 지나치게 느려질 수 있는데, 이는 디코딩 과정에서 오프로딩된 가중치를 시스템 RAM이나 플래시 스토리지에서 GPU로 반복적으로 전송해야 하며, 이 전송 대역폭이 로컬 GPU 메모리 접근보다 훨씬 낮기 때문이다. 활성화 희소성(activation sparsity)은 0이거나 0에 가까운 활성화(activation)와 연관된 가중치를 건너뜀으로써 이러한 전송을 줄인다. 그러나 더 많은 활성화 기여분을 생략할수록 모델 품질이 결국 급격히 저하되는데, 이는 작은 크기의 활성화와 연관된 가중치들이 전체적으로 모델 품질에 큰 영향을 미친다는 것을 보여준다. 본 연구에서는 활성화 희소성을 활용할 때 모델 품질과 디코딩 성능 간의 trade-off를 개선한다. 핵심 아이디어는 가중치를 읽을지 여부에 대한 이진 선택을, 완전히 유지하거나, 압축된 가중치 표현(compressed weight representation)을 사용해 근사하거나, 완전히 생략하는 세 가지 옵션으로 대체하는 것이다. SpAx는 0에 가장 가까운 활성화와 연관된 가중치를 건너뛰고, 더 작은 크기의 활성화에 대해서는 근사된 가중치를 읽으며, 가장 큰 크기의 활성화에 대해서는 원본 가중치를 읽는다. 더 작은 크기의 활성화는 근사 가중치로 인해 발생하는 오차를 완화시키며, 압축된 가중치 표현은 전송해야 할 바이트 수를 줄인다. 가중치를 CPU 메모리로 오프로딩한 경우, SpAx는 16비트 가중치에서 평균 3.86배(최대 5.57배), 4비트 가중치에서 평균 2.06배(최대 2.74배)의 디코딩 속도 향상을 달성하며, WikiText-2 퍼플렉시티(perplexity) 증가는 최대 10%에 그친다. 가중치를 플래시 스토리지로 오프로딩한 경우, 속도 향상은 평균 3.31배(최대 4.81배) 및 평균 1.54배(최대 2.03배)이다.

arXiv:2610.03187v1cs.DC공통 태그 GPU, CPU

로봇 안내견을 위한 경량 및 자원 효율적 인지

Lightweight and Resource-Efficient Perception for Robotic Guide Dogs

다중 카메라 스트리밍 인지(streaming perception)는 함께 상주하는 워크로드와 공유되는 이기종 엣지 플랫폼에 점차 많이 배포되고 있으나, 가속기 배치는 격리된 단일 스트림 실험과 평균 스트리밍 평균 정밀도(sAP)를 사용하여 평가되는 경우가 많습니다. 단일 GPU-NPU 플랫폼에서 두 개의 엔드투엔드 파이프라인을 사용하여, 본 연구는 격리된 평가가 실제 배포 시점의 배치 순위를 잘못 매길 수 있음을 보여줍니다. 단독 환경에서는 GPU 파이프라인이 선호되지만, GPU에 국한된 자원 경합(contention)으로 인해 마감 시간 초과(deadline miss)가 발생하여 검출 결과가 진부화(stale)되고, GPU가 완전히 포화되기 전에도 선호되는 배치가 뒤바뀔 수 있습니다. NPU 파이프라인은 단독 환경에서 소형 및 중형 객체에 대해 GPU 파이프라인보다 정확도가 낮지만, 대형 객체에서는 거의 대등한 성능을 보입니다. 지연 시간 및 경합 실험에서 가장 큰 절대적 sAP 손실은 대형 객체에서 발생합니다. 4개 스트림 실험에서 선호되는 배치는 어느 경로가 진부화되는지에 따라 달라지며, GPU 측 경합이 증가함에 따라 최적의 배치는 All-GPU에서 All-NPU로 전환됩니다. GPU를 포화시키는 비전-언어(vision-language) 공동 상주 워크로드 환경에서 All-NPU는 All-GPU 대비 최악 스트림 sAP의 $5.2\times$를 달성합니다. 평균 sAP는 특정 단일 스트림의 심각한 성능 저하를 감출 수 있으므로, 평가는 평균 sAP와 함께 경합 스윕(contention sweep), 양쪽 경로의 마감 시간 초과 비율, 그리고 최악 스트림 sAP를 보고해야 합니다.

arXiv:2609.27547v1cs.LG공통 태그 GPU, CPU

EBRL: 다중 세분도 자원 관리를 통한 비동기 체현형 RL

EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management

체현형 강화학습(RL)은 환경 시뮬레이션, 행동 생성, 모델 업데이트로 이루어진 파이프라인을 통해 모델 역량을 향상시킨다. 이러한 단계들은 서로 다른 CPU·GPU 수요를 보여 효율적인 자원 활용을 어렵게 한다. 최근 시스템은 효율을 위해 롤아웃(시뮬레이션 및 생성)과 학습을 겹치지만, 롤아웃에서 GPU를 독점 할당하고 동기화 배리어를 두는 방식은 여전히 하드웨어 자원 낭비가 크다. 본 논문에서는 두 가지 핵심 기법을 갖춘 비동기 체현형 RL 학습 시스템 EBRL을 제안한다. 비동기 파이프라인 스케줄러는 롤아웃과 학습을 겹치고, 환경 그룹 간에 시뮬레이션과 생성을 파이프라인으로 연결하며, 각 환경을 독립적으로 실행해 동기화로 인한 정체를 없앤다. 세분화된 자원 관리자는 CPU 코어와 GPU 스트리밍 멀티프로세서(SM)를 풀로 묶고, 단계별 프로파일과 런타임 피드백으로 단계 간 변하는 수요에 맞춰 자원 할당량과 배치 크기를 조정한다. EBRL을 RLinf 위에 구현하고, 이질적 GPU 테스트베드에서 체현형 정책 네 종과 시뮬레이션 벤치마크 네 종으로 평가했다. 실험 결과 EBRL은 SOTA 체현형 RL 시스템 대비 end-to-end 롤아웃 처리량 1.30–3.47배, 학습 수렴 속도 2.5배를 달성했다.

arXiv:2607.24009v1cs.CV공통 태그 Dimensionality Reduction, Tensor Decomposition

행렬 저랭크 근사를 통한 텐서 근사를 위한 구조적 손실 지표

Structural Loss Metrics for Tensor Approximation via Matrix Low-Rank Approximation

SVD를 통한 행렬화 저랭크 근사는 텐서 분해의 표준 대리(surrogate)이지만, 항별 재구성 오류는 다방향(multiway) 기하학적 열화를 포착하지 못한다. 직교 Tucker 모델 하에서, 우리는 두 가지 지표로 이 열화를 특성화한다: 랭크 절단과 노이즈 회전에 따른 기하학적 부분공간 편차를 측정하는 교차 모드 Direction Loss, 그리고 코어 텐서의 다선형(multilinear) 상호작용 왜곡을 정량화하는 Interaction Loss. 우리는 제곱 상대 재구성 오류가 직교적으로 상호작용 손실과 부분공간 밖 에너지로 분해됨을 증명하고, 플러그인 Direction Loss 추정량의 안정성을 확립하는 Wedin형 경계를 유도한다. 합성 및 초분광(hyperspectral) 데이터셋에 대한 실험은 거의 동일한 재구성 오류가 현저히 다른 구조적 손실 프로파일을 초래할 수 있음을 보여준다; 유사한 재구성 오류를 가진 초분광 패치는 Direction Loss에서 최대 4.6배의 차이를 보이며, 이는 심각한 시각적 흐림과 상관관계가 있다.

arXiv:2607.22262v1stat.ML공통 태그 Dimensionality Reduction, Tensor Decomposition

다중 피험자 시공간 데이터 분석을 위한 변분 저랭크 텐서 분해

Variational Low-rank Tensor Decomposition for Multisubject Spatiotemporal Data Analysis

다중 피험자 시공간 데이터에서 공유 구조와 피험자별 구조를 모델링하는 일은 여전히 어려우며, 특히 신경영상에서는 공간·시간 패턴이 피험자 간에 풍부한 변동성을 보인다. 기존 행렬 및 텐서 분해는 해석 가능한 인수분해를 제공하지만, 고정된 다중선형 구조나 결합 방식에 의존하여 복잡한 변동성을 포착하는 유연성이 제한될 수 있다. 본 연구에서는 텐서 인수분해 생성 모델과 구조화된 사전을 결합하여 공간 맵과 시간 역학을 공동으로 표현하는 시공간 변분 텐서 분해(ST-VTD) 프레임워크를 제안한다. 공간 인자는 LL1 분해에서 영감을 받은 저랭크 구조를 촉진하도록 정규화되고, 시간 인자는 학습된 장단기 메모리(LSTM) 기반 사전으로 모델링되어 유연하고 적응적인 역학을 가능하게 한다. 사후 추론은 최적화 알고리즘의 반복을 언롤링하는 상각형 변분 정식화를 통해 수행되며, 해석 가능하고 매개변수 효율적인 아키텍처로 이어진다. 제안된 추론 프레임워크는 그룹 독립성분분석에 기반한 웜스타트 전략을 사용하며, 이는 최적화 성능을 향상시키는 것으로 나타났다. 현실적인 합성 기능적 MRI(fMRI) 데이터셋에 대한 실험은, 제안 방법이 대표적인 고전적·확률적 분해 벤치마크와 비교하여 잠재 인자 복원을 크게 향상시킴을 보여준다.

arXiv:2607.11356v1cs.CV공통 태그 GPU, CPU

산업용 머신 비전의 심층 학습 모델을 위한 엣지 추론 전략 벤치마킹

Benchmarking Edge Inference Strategies for Deep Learning Models in Industrial Machine Vision

엣지 배포(edge deployment)는 낮은 지연 시간, 데이터 보안, 또는 제한된 연결성이 핵심 요구사항인 산업용 머신 비전 시스템에서 흔히 선호되는 솔루션이다. 엣지 디바이스에서의 추론을 최적화하기 위한 여러 프레임워크가 존재하지만, 산업 배포 조건에서의 추론 시간 성능을 체계적으로 비교한 연구는 상대적으로 드물다. 본 연구에서는 산업 환경의 머신 비전 추론에 널리 사용되는 네 가지 접근 방식, 즉 순수 PyTorch, ONNX Runtime, OpenVINO, TensorRT에 대한 비교 연구를 제시한다. 평가는 추론 시간에 초점을 맞추며, 여러 CPU 및 GPU 기반 하드웨어 플랫폼을 대상으로 하고, 기존 합성곱 신경망과 트랜스포머 기반 비전 모델을 모두 포함한다. 평가된 하드웨어 플랫폼과 모델에 대한 결과, OpenVINO는 CPU에서 가장 낮은 추론 시간을 달성한 반면, TensorRT는 GPU에서 가장 낮은 추론 시간을 달성하였다. 단, TensorRT는 본 연구에서 고려된 트랜스포머 기반 모델에 대해 순수 PyTorch를 능가하지 못하였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.