PyTorchKR Papers

업데이트된 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2306.04169v4cs.LG

효율적인 교대 최소화와 가중 저차원 근사에의 응용

Efficient Alternating Minimization with Applications to Weighted Low Rank Approximation

가중 저차원 근사는 수치 선형대수의 근본적인 문제이며 기계 학습에서 많은 응용을 갖는다. 행렬 $M \in \mathbb{R}^{n \times n}$, 음이 아닌 가중치 행렬 $W \in \mathbb{R}_{\geq 0}^{n \times n}$, 매개변수 $k$가 주어졌을 때, 목표는 $\| W \circ (M - X Y^\top) \|_F$를 최소화하는 두 행렬 $X,Y\in \mathbb{R}^{n \times k}$를 출력하는 것이며, 여기서 $\circ$는 아다마르 곱을 나타낸다. 이는 잘 연구된 저차원 행렬 완성 문제를 자연스럽게 일반화한다. 이 문제는 NP-난해이며 지수 시간 가설을 가정하면 근사조차 어렵다고 알려져 있다 [GG11, RSW16]. 한편 교대 최소화는 가중 저차원 근사에 대한 좋은 휴리스틱 해법이다. 특히 [LLR16]은 온건한 가정 하에서 교대 최소화가 증명 가능한 보장을 제공함을 보였다. 본 연구에서는 교대 업데이트를 근사적으로 계산할 수 있도록 하는 효율적이고 강건한 교대 최소화 프레임워크를 개발한다. 가중 저차원 근사에서 이는 [LLR16]의 반복당 비용을 $\|W\|_0k^2$에서 $\|W\|_0 k$로 개선하며, 여기서 $\|W\|_0$는 가중치 행렬의 0이 아닌 원소의 개수를 나타낸다. 우리 프레임워크의 핵심은 교대 최소화에 대한 강건한 분석과 함께 사용되는 고정밀 다중 응답 회귀 해결기이다. 또한 주장된 보장이 성립하지 않는 [LLR16]의 무작위 초기화를 가우시안 시작점에서의 부분공간 반복으로 대체하며, 따라서 총 실행 시간 $\widetilde O((\|W\|_0 k+nk^3)\log(1/\epsilon))$은 초기화를 포함한다. 그 대가로, 우리의 보장은 가중치 행렬이 $n$에 대해 다항식적으로 작은 $\gamma$에 대하여 모든 원소가 1인 행렬과의 스펙트럼 거리 $\gamma n$ 이내에 있을 것을 요구한다.

arXiv:2302.11068v4cs.LG

거의 선형 시간의 강건한 교대 최소화를 통한 저랭크 행렬 완성

Low Rank Matrix Completion via Robust Alternating Minimization in Nearly Linear Time

행렬 $M\in \mathbb{R}^{m\times n}$이 주어졌을 때, 저랭크 행렬 완성 문제는 원소 집합 $\Omega\subseteq [m]\times [n]$로 지정된 소수의 원소만을 관측하여 $M$의 랭크-$k$ 근사를 $U\in \mathbb{R}^{m\times k}$와 $V\in \mathbb{R}^{n\times k}$에 대해 $UV^\top$ 형태로 찾도록 요구한다. 특히 본 연구는 실무에서 널리 사용되는 접근법인 교대 최소화 프레임워크를 살펴본다. Jain, Netrapalli, Sanghavi [JNS13]는 $M$의 행과 열이 비일관적(incoherent)이면 $n$에 대해 거의 선형인 개수의 원소를 관측하는 것만으로 교대 최소화가 행렬 $M$을 증명 가능하게 복원함을 보였다. 이후 표본 복잡도는 개선되었으나 [GLZ17], 교대 최소화 단계를 정확하게 계산해야 한다는 요구는 여전히 남아 있다. 이는 더 효율적인 알고리즘의 개발을 저해하며, 효율을 위해 갱신을 보통 근사적으로 수행하는 교대 최소화의 실제 구현을 설명하지 못한다. 본 논문에서는 더 효율적이고 오차에 강건한 교대 최소화 프레임워크를 향해 중요한 진전을 이룬다. 이를 위해 근사 갱신으로 발생하는 적당한 크기의 오차를 허용할 수 있는 교대 최소화의 분석적 프레임워크를 개발한다. 더욱이 제안하는 알고리즘은 표본 복잡도를 유지하면서 $\widetilde O(|\Omega| k)$ 시간에 실행되며, 이는 해를 검증하는 데 걸리는 시간에 거의 선형이다. 이는 $\widetilde O(|\Omega| k^2)$ 시간을 요구하던 기존의 모든 교대 최소화 접근법을 개선한 결과이다.