arXiv:1605.00507

Methods for Sparse and Low-Rank Recovery under Simplex Constraints

Ping Li, Syama Sundar Rangapuram, Martin Slawski

제출 2016-05-02

원문 초록

The de-facto standard approach of promoting sparsity by means of $\ell_1$-regularization becomes ineffective in the presence of simplex constraints, i.e.,~the target is known to have non-negative entries summing up to a given constant. The situation is analogous for the use of nuclear norm regularization for low-rank recovery of Hermitian positive semidefinite matrices with given trace. In the present paper, we discuss several strategies to deal with this situation, from simple to more complex. As a starting point, we consider empirical risk minimization (ERM). It follows from existing theory that ERM enjoys better theoretical properties w.r.t.~prediction and $\ell_2$-estimation error than $\ell_1$-regularization. In light of this, we argue that ERM combined with a subsequent sparsification step like thresholding is superior to the heuristic of using $\ell_1$-regularization after dropping the sum constraint and subsequent normalization. At the next level, we show that any sparsity-promoting regularizer under simplex constraints cannot be convex. A novel sparsity-promoting regularization scheme based on the inverse or negative of the squared $\ell_2$-norm is proposed, which avoids shortcomings of various alternative methods from the literature. Our approach naturally extends to Hermitian positive semidefinite matrices with given trace. Numerical studies concerning compressed sensing, sparse mixture density estimation, portfolio optimization and quantum state tomography are used to illustrate the key points of the paper.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.23869v5stat.ML공통 태그 compressed sensing공식 코드 · Papers with Code

Gibbs 무작위성-압축 명제

Gibbs randomness-compression proposition

손실 압축 과정과 연관된 측정 벡터 집합에 대한 Gibbs 엔트로피를 통해 무작위성과 압축을 연결하는 명제를 제안한다. 이 연결을 구축하는 과정에서, 반복적인 압축-학습 주기에서 압축을 탐색하는 수단으로 학습 과제의 성능을 사용한다. 이는 열역학적 효율을 탐색 수단으로 사용하는 통계역학적 관점에서의 반복적 coarse-graining으로 볼 수 있다. 압축률의 매우 작은 감소와 성능 사이의 공단조(comonotonic) 관계를 통해 이 연결을 공식화한다. 기준선 모델로 세 가지 서로 다른 모델 압축 과정을 사용하여, 심층 학습의 정형적인 비전 과제에서 이 명제의 타당성을 입증한다. 다음의 단순한 것부터 복잡한 것까지의 모델 압축 접근법을 사용한다: (1) 무작위 가지치기, (2) 크기(magnitude) 가지치기, (3) 이중 방식의 압축 센싱(compressed sensing)을 활용하는 이중 tomographic 압축을 이용한 보다 복잡한 압축으로, 이는 새로운 방법으로 소개된다. 심층 학습 네트워크의 남은 가중치를 측정 벡터로 사용하여 Gibbs 엔트로피를 측정한다. 성능으로 탐색한 압축과 학습된 모델에 대한 엔트로피 측정으로부터 얻은 무작위성 사이에 본질적으로 계산 가능한 연결이 존재한다는 개념을 보여준다.

arXiv:2505.23527v4cs.LG공통 태그 Density Estimation공식 코드 · Papers with Code

정규화 흐름은 연속 제어에 유능한 모델이다

Normalizing Flows are Capable Models for Continuous Control

현대 강화학습(RL) 알고리즘은 트랜스포머, 에너지 기반 모델, diffusion/flow 기반 모델과 같은 강력한 확률 모델을 활용함으로써 성공을 거두었다. 이를 위해 RL 연구자들은 이러한 모델을 알고리즘에 맞추는 대가를 자주 감수한다. diffusion 모델은 표현력이 뛰어나지만 미분 방정식을 풀어야 한다는 점 때문에 계산 비용이 크고, autoregressive 트랜스포머 모델은 확장성은 있지만 일반적으로 이산 표현을 학습해야 한다. 반면 정규화 흐름(NF)은 미분 방정식을 풀거나 autoregressive 아키텍처 없이도 우도와 샘플링을 가능하게 하므로 매력적인 대안으로 보인다. 그러나 RL에서의 잠재력은 정규화 흐름이 충분한 표현력을 갖추지 못한다는 지배적인 믿음 때문인지 제한적인 주목만 받아왔다. 우리는 그렇지 않음을 보인다. NF의 최근 연구를 기반으로, 우리는 RL 알고리즘에 원활하게 통합되어 정책(policy), Q-함수(Q-function), 점유도(occupancy measure) 역할을 하는 단일 NF 아키텍처를 제안한다. 우리의 접근은 훨씬 더 단순한 알고리즘으로 이어지며, 모방 학습(imitation learning), 오프라인 RL, 목표 조건 RL(goal-conditioned RL), 비지도 RL에서 더 높은 성능을 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.