PyTorchKR Papers

최신 논문

총 141편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2109.11057v2stat.ML

가중 저랭크 행렬 근사: 가속화와 응용

Weighted Low-Rank Matrix Approximation: Acceleration and Applications

가중 저랭크 행렬 근사(WLRMA)는 임의의 원소별 가중치를 허용함으로써 고전적인 저랭크 근사와 행렬 완성(matrix completion)을 일반화한다. 이러한 정식화는 일반화 선형 저랭크 모델(generalized linear low-rank models)을 포함한 넓은 범위의 통계 모델에서 자연스럽게 등장하며, WLRMA는 매개변수 추정을 위한 계산적 기본 연산 역할을 한다. 넓은 적용 가능성에도 불구하고, 일반적인 WLRMA에 대한 효율적인 최적화 방법은 상대적으로 충분히 개발되지 않았다. 본 논문에서는 해당 반복 알고리즘이 투영(projected) 그래디언트 방법과 근접(proximal) 그래디언트 방법임을 보임으로써, 순위 제약(rank-constrained) 및 핵 노름(nuclear-norm) WLRMA 문제를 통합된 1차 최적화 프레임워크 내에 정식화한다. 이 관점을 바탕으로, Nesterov 모멘텀과 Anderson 가속화(Anderson acceleration)에 기반한 가속 알고리즘을 개발하며, 비볼록(non-convex) 문제에 대한 수치적 안정성을 개선하는 정규화된 Anderson 방식(regularized Anderson scheme)도 함께 제안한다. 또한 대규모 희소 데이터 행렬을 위한 확장 가능한 구현을 제안하고, 순위 제약 해와 핵 노름 해 사이에 의미 있는 대응 관계를 제공하는 실용적인 유효 순위(effective-rank) 기준을 도입한다. 또한 일반화 선형 저랭크 모델의 적합(fitting)이 가중 저랭크 행렬 근사 문제의 연속으로 환원될 수 있음을 보이며, 이를 통해 제안 알고리즘을 해당 추정의 계산적 구성 요소로 사용할 수 있게 한다. 시뮬레이션 연구는 제안된 가속 알고리즘이 달성한 상당한 계산 이득을 보여준다. MovieLens 데이터셋에 대한 응용은 행렬 완성, 이분산(heteroscedastic) 가우시안 저랭크 모델링, 및 로지스틱 저랭크 모델링에 대한 제안 프레임워크를 추가로 보여준다.