효율적인 교대 최소화와 가중 저차원 근사에의 응용
Efficient Alternating Minimization with Applications to Weighted Low Rank Approximation
가중 저차원 근사는 수치 선형대수의 근본적인 문제이며 기계 학습에서 많은 응용을 갖는다. 행렬 $M \in \mathbb{R}^{n \times n}$, 음이 아닌 가중치 행렬 $W \in \mathbb{R}_{\geq 0}^{n \times n}$, 매개변수 $k$가 주어졌을 때, 목표는 $\| W \circ (M - X Y^\top) \|_F$를 최소화하는 두 행렬 $X,Y\in \mathbb{R}^{n \times k}$를 출력하는 것이며, 여기서 $\circ$는 아다마르 곱을 나타낸다. 이는 잘 연구된 저차원 행렬 완성 문제를 자연스럽게 일반화한다. 이 문제는 NP-난해이며 지수 시간 가설을 가정하면 근사조차 어렵다고 알려져 있다 [GG11, RSW16]. 한편 교대 최소화는 가중 저차원 근사에 대한 좋은 휴리스틱 해법이다. 특히 [LLR16]은 온건한 가정 하에서 교대 최소화가 증명 가능한 보장을 제공함을 보였다. 본 연구에서는 교대 업데이트를 근사적으로 계산할 수 있도록 하는 효율적이고 강건한 교대 최소화 프레임워크를 개발한다. 가중 저차원 근사에서 이는 [LLR16]의 반복당 비용을 $\|W\|_0k^2$에서 $\|W\|_0 k$로 개선하며, 여기서 $\|W\|_0$는 가중치 행렬의 0이 아닌 원소의 개수를 나타낸다. 우리 프레임워크의 핵심은 교대 최소화에 대한 강건한 분석과 함께 사용되는 고정밀 다중 응답 회귀 해결기이다. 또한 주장된 보장이 성립하지 않는 [LLR16]의 무작위 초기화를 가우시안 시작점에서의 부분공간 반복으로 대체하며, 따라서 총 실행 시간 $\widetilde O((\|W\|_0 k+nk^3)\log(1/\epsilon))$은 초기화를 포함한다. 그 대가로, 우리의 보장은 가중치 행렬이 $n$에 대해 다항식적으로 작은 $\gamma$에 대하여 모든 원소가 1인 행렬과의 스펙트럼 거리 $\gamma n$ 이내에 있을 것을 요구한다.