PyTorchKR Papers

최신 논문

총 14편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.30509v2cs.LG

Muon은 느린 안장점 간 동역학 없이 행렬 분해에서 균형 해를 학습한다

Muon learns balanced solutions in matrix factorization without slow saddle-to-saddle dynamics

Matrix factorization (i.e., problems of the form $\min_{\mathbf{P},\mathbf{Q}} \|\mathbf{M}^\star - \mathbf{P}^\top\mathbf{Q}\|_\mathrm{F}^2$) is a minimal learning problem that exhibits both nonlinear parameter dynamics and representation learning. In this setting, we study how parameter trajectories under the Muon optimizer differ from those of gradient descent. We identify three main dynamical differences: (1) Muon avoids the slow saddle-to-saddle dynamics of GD from small initialization. Muon instead learns all the top singular vectors of $\mathbf{M}^\star$ at the same rate, and they saturate in order of increasing (rather than decreasing) singular value. (2) Muon does not diverge even when the learning rate exceeds the critical threshold set by the local loss sharpness. This frees the learning rate from the condition number of the problem, enabling rapid convergence via exponential learning rate annealing. (3) Once the weights are aligned with each other and the target, Muon flow conserves the matrix quantity $\sqrt{\mathbf{P}^\top \mathbf{P}}-\sqrt{\mathbf{Q}^\top \mathbf{Q}}$, while gradient flow is known to conserve the matrix $\mathbf{P}^\top\mathbf{P} - \mathbf{Q}^\top\mathbf{Q}$. Despite having distinct conserved quantities, both optimizers find the so-called balanced solution from vanishing initialization. When training from small random initialization, the weights spontaneously align early in training. We derive the alignment rates in simple settings and show that they predict the empirical alignment rates in general. Finally, we exploit structural properties of Muon to construct a learning rate schedule that achieves near-perfect alignment in only two optimization steps.

arXiv:2512.17473v4eess.SP

비선형 행렬 분해를 위한 교차 방향 승수법

Alternating Direction Method of Multipliers for Nonlinear Matrix Decompositions

우리는 비선형 행렬 분해(NMD)를 해결하기 위해 교차 방향 승수법(ADMM)에 기반한 알고리즘을 제시합니다. 입력 행렬 $X \in \mathbb{R}^{m \times n}$과 인수분해 랭크 $r \ll \min(m, n)$가 주어지면, NMD는 $X \approx f(WH)$를 만족하는 행렬 $W \in \mathbb{R}^{m \times r}$와 $H \in \mathbb{R}^{r \times n}$을 찾습니다. 여기서 $f$는 요소별(element-wise) 비선형 함수입니다. 우리는 음수가 아닌 희소 데이터 근사에 적합한 정류 선형 유닛(ReLU) 활성화 $f(x) = \max(0, x)$, 확률적 회로 표현에 적용 가능한 요소별 제곱 $f(x) = x^2$, 그리고 추천 시스템과 관련된 MinMax 변환 $f(x) = \min(b, \max(a, x))$를 포함하여 여러 대표적인 비선형 모델에서 우리의 방법을 평가합니다. 제안된 프레임워크는 최소제곱법(least squares), $\ell_1$ 노름, 쿨백-라이블러 발산(Kullback-Leibler divergence)을 포함한 다양한 손실(loss) 함수를 유연하게 지원하며, 다른 비선형성과 메트릭으로 쉽게 확장될 수 있습니다. 우리는 실제 데이터셋(dataset)에서 이 접근 방식의 적용 가능성, 효율성, 적응성을 입증하여 광범위한 응용 분야에 대한 잠재력을 강조합니다.

arXiv:2509.00550v3cs.LG

중소기업 이질적 신용 데이터 분석을 위한 통합 다변량 분할 트리

Integrated Multivariate Segmentation Tree for Heterogeneous Credit Data Analysis in Small- and Medium-Sized Enterprises

전통적인 의사결정 트리 모델은 수치 변수에만 의존하여 고차원 데이터 처리에 어려움을 겪는 경우가 많으며, 텍스트 정보를 효과적으로 통합하는 능력이 제한적이다. 이러한 한계를 해결하기 위해 본 연구는 금융 데이터와 텍스트 자료를 통합하여 중소기업(SME) 신용 평가를 개선하도록 설계된 포괄적 프레임워크인 통합 다변량 분할 트리(integrated multivariate segmentation tree, IMST)를 제안한다. 이 방법은 세 가지 핵심 단계로 구성된다: (1) 행렬 분해(matrix factorization)를 통해 텍스트 데이터를 수치 행렬로 변환, (2) Lasso 회귀를 사용하여 두드러진 재무 특성을 선택, (3) Gini 지수 또는 엔트로피(entropy)를 기반으로 다변량 분할 트리를 구성하고, 모델 복잡도를 제어하기 위해 weakest-link 가지치기(pruning)를 적용한다. 1,428개 중국 중소기업 데이터셋을 기반으로 한 실험 결과, IMST는 88.9%의 정확도를 달성하여 기준선 의사결정 트리(87.4%)와 서포트 벡터 머신(support vector machine), 신경망(neural network) 등 기존 모델을 능가했다. 또한 제안 모델은 해석 가능성과 계산 효율성이 우수하며, 더 간결한 구조와 향상된 위험 탐지 능력을 보였다.

arXiv:2607.13919v1cs.LG

쿨백-라이블러 발산 비음수 행렬 분해를 위한 효율적인 뉴턴 알고리즘

An Efficient Newton Algorithm for Nonnegative Matrix Factorization with the Kullback-Leibler Divergence

비음수 행렬 분해(NMF)는 비지도 학습의 기본 도구로, 비음수 행렬을 두 개의 저랭크 비음수 인수의 곱으로 근사한다. 쿨백-라이블러(KL) 발산은 분해된 데이터 샘플이 포아송 분포를 따를 때—용어-문서 행렬이나 이미지와 같은 계수 데이터셋에서 그러한 경우—데이터와 모델 간 불일치를 측정하는 데 가장 적합하다. 문헌의 대부분 KL-NMF 알고리즘은 다음 반복값을 구하기 위해 손실의 분리 가능한 메이저런트(majorant)를 최소화한다. 우리는 이 방법이 한계에 도달했다고 주장하며, 대신 손실의 2차 테일러 전개를 사용하는 뉴턴형 방법을 제안한다. 우리는 잘 알려진 HALS 알고리즘의 일반화를 제안하여 이 비분리 가능 대리 함수(surrogate)를 최소화한다. 이를 통해 수렴이 보장되는 효율적인 KL-NMF 알고리즘이 도출되며, 다양한 데이터셋에서 최신 알고리즘과 유리하게 경쟁한다.

arXiv:2607.13246v1cs.LG

행렬 분해에서 Muon 재평가

Reassessing Muon for Matrix Factorization

Muon은 최근 대규모 심층 학습에서 강력한 옵티마이저로 부상했으며, 근사적 직교화를 통해 그래디언트 업데이트를 재형성하고 대규모 언어 모델 학습에서 Adam 및 AdamW보다 우수하다고 보고되었다. 그 경험적 성공은 Muon을 스펙트럴 노름(spectral norm) 하에서의 최급강하(steepest descent)로 해석하는 이론 연구를 증가시켰다. 그러나 Muon의 장점 중 어느 것이 업데이트 규칙 자체에서 비롯되는지, 어느 것이 현대 심층 신경망의 규모, 아키텍처, 데이터에 기인하는 부산물인지는 여전히 불분명하다. 본 연구에서는 단순하고 잘 이해되며 스펙트럼 구조를 갖는 문제인 저랭크 행렬 분해(low-rank matrix factorization)에서 Muon을 연구함으로써, 이러한 교란 요인들로부터 옵티마이저를 분리한다. 세밀하게 튜닝된 적응형 베이스라인과의 통제된 비교를 통해, Muon이 이 설정에서 AdamW보다 일관되게 우수하지 않으며, 이전에 보고된 여러 장점이 하이퍼파라미터 선택에 민감하다는 것을 발견한다. 우리 결과는 스펙트럼 인식 직교화(spectrum-aware orthogonalization)가 유익한 경우에 대한 더 미묘한 그림을 제공하며, 엔드투엔드 벤치마크에 더해 통제된 문제에서도 현대 옵티마이저를 평가할 것을 주장한다.

arXiv:2607.09779v1cs.CV

SAR 자동 표적 인식을 위한 일반화된 심층 비음수 행렬 분해 접근법

A Generalized Deep Non-negative Matrix Factorization Approach for SAR Automatic Target Recognition

심층 비음수 행렬 분해(DNMF) 기법은 합성 개구 레이더(SAR) 표적 샘플에서 다층 특징을 추출하는 심층 학습 기반 방법의 낮은 해석 가능성을 해결하기 위해 제안되었다. 그러나 기존 DNMF 방법은 층별 분해 전략을 채택하고 있어 오류 누적 및 지역 최적값 문제를 야기하기 쉬우며, 이로 인해 층 수가 증가해도 인식 정확도가 일관되게 향상되지 않는 한계가 있다. 본 논문에서는 SAR 자동 표적 인식(ATR)에서 이러한 문제를 해결하기 위해 일반화된 심층 비음수 행렬 분해(G-DNMF)라 불리는 강건한 다층 특징 추출 방법을 제안한다. G-DNMF는 전역 최적성을 목표로 하며, 라그랑지 승수법을 사용하여 각 매개변수에 대한 갱신 규칙을 도출한다. 새로운 갱신 수식은 인코딩 행렬 기반 DNMF 방법과 혼합 행렬 기반 DNMF 방법이 모두 제안된 방법의 특수한 경우임을 보여줌으로써, 제안된 방법의 보편성을 이론적으로 입증한다. 전반적으로 제안된 방법은 층별 분해 전략을 폐기함으로써 지역 최적값의 위험을 효과적으로 완화하고 오류 누적을 제거하여 DNMF의 다층 특징 추출 능력을 크게 향상시킨다. G-DNMF가 각 층에서 추출한 특징 이미지와 재구성된 원본 이미지를 제시한 실험 결과는 제안된 방법의 다층 특징에 대한 순수 가산적 이해를 검증하고 해석 가능성을 입증하였다. MSTAR 및 OpenSARship 데이터셋 기반 실험 결과는 G-DNMF가 안정성 및 인식 성능 측면에서 기존 DNMF 알고리즘 및 그 파생 방법들을 능가함을 보여준다.

arXiv:2607.04875v2cs.CC

저랭크 행렬 부호화 및 원소별 거듭제곱 행렬 분해의 복잡도에 관하여

On the Complexity of Low-Rank Matrix Signing and Entrywise Power Matrix Factorization

비음수 행렬 $X$, 분해 랭크 $r$, 그리고 양의 정수 $p$가 주어질 때, 원소별 거듭제곱 행렬 분해(EPMF)는 $X = |X_r|^{\circ p}$ (정확한 경우) 또는 $X \approx |X_r|^{\circ p}$ (근사 경우)를 만족하는 저랭크 행렬 $X_r$을 탐색하는 문제이며, 여기서 $(\cdot)^{\circ p}$는 원소별 지수를 나타낸다. EPMF는 모듈러스 모델($p=1$)과 원소별 제곱 분해($p=2$)를 특수 경우로 포함하며, 후자는 제곱근 랭크와 밀접하게 관련된다. 본 논문에서는 정확한 결정 문제와 Frobenius 노름 근사 문제의 계산 복잡도를 분석하고 완전한 복잡도 전경을 확립한다. 정확한 경우에서, EPMF는 주어진 행렬 $X$의 원소 부호를 뒤집어 랭크-$r$ 행렬을 얻는 조합론적 문제—본 논문에서 저랭크 행렬 부호화(LRMS) 문제라 칭함—와 동치임을 보인다. 먼저 LRMS, 그리고 이에 따라 정확한 EPMF가 강 NP-난해(strongly NP-hard)임을 보임으로써, 제곱근 랭크에 대한 약 NP-난해 결과(Math. Prog., 2015)를 개선한다. 이어서 $r$이 고정될 때 LRMS가 다항 시간에 풀림을 보인다. 더 나아가, 랭크 $r$이 입력의 일부인 경우, 일반 행렬에 대해 알고리즘이 매개변수 $r$에 대해 고정-매개변수 다루기 가능(FPT)함을 보이며, 실제로 수행 시간은 입력 행렬의 원소 수에 대해 고정-매개변수 선형임을 증명한다. Frobenius 노름을 오차 척도로 사용하는 근사 경우에서는, 가장 작은 비자명 경우인 $r=2$일 때조차 EPMF가 NP-난해임을 보인다.

arXiv:2607.08380v1cs.LG

플랫 미니마 다양체 근방에서 큰 스텝 크기를 사용하는 경사하강법의 동역학

Dynamics of Gradient Descent with Large Step Size Near a Manifold of Flat Minima

경사하강법(GD) 이론에서 중요한 양 중 하나는 목적 함수 헤시안의 최대 고유값으로 정의되는 날카로움(sharpness)이다. 고전적 분석은 일반적으로 스텝 크기가 날카로움의 역수의 두 배보다 균일하게 작을 것을 요구하지만, 이 조건은 심층 신경망 학습에서 빈번히 위반된다. 최근 연구는 단일 스칼라 출력을 갖는 과매개변수화 최소제곱 설정에서 이 간극을 해소하였으며, 고립된 플랫 미니마의 근방에서 큰 스텝 크기 GD에 대한 표준형(normal form)을 제시하고 이에 대응하는 세 가지 수렴 결과를 확립하였다. 본 논문에서는 이 이론을 두 방향으로 확장한다: (1) 벡터 값 출력을 갖는 과매개변수화 최소제곱(임의로 많은 관측값을 가진 회귀 포함)으로의 확장, 그리고 (2) 플랫 미니마의 다양체 근방으로의 확장(행렬 인수분해와 같은 응용에 필수적임을 보인다). 우리는 cite{macdonaldeos}의 표준형과 세 가지 수렴 정리 모두를 이 더 넓은 설정으로 일반화하며, 독립적인 관심을 가질 수 있는 새로운 방법을 통한 특이 편미분방정식의 풀이를 포함한 여러 기술적 난제를 극복한다. 나아가 우리의 프레임워크가 온화한 가정 하에 심층 행렬 인수분해에 적용됨을 보이고, 몇 가지 새로운 구조적 결과를 도출한다. 특히 플랫 미니마의 집합이 구면의 곱 위에서 파이버 번들을 형성하며, 날카로움이 이 다양체를 따라 Morse-Bott 조건을 만족함을 증명한다.

arXiv:2607.01824v1cs.LG

Gaming Consensus: Coordinated Manipulation in Crowdsourced Fact-Checking

X, Meta 등 주요 소셜미디어가 채택한 크라우드소싱 팩트체킹 시스템의 핵심인 행렬 분해(matrix factorization) 기반 브리징(bridging) 알고리즘이 조율된 계정 그룹에 의해 조작될 수 있음을 이론적·실증적으로 분석한 연구로, 실제 프로덕션 데이터에서 10개 미만의 평점만으로 하위 품질 노트의 최대 10.7%를 합의 임계값 이상으로 끌어올릴 수 있음을 보였다. 역직관적으로 "도움 안 됨(Not Helpful)" 평점이 오히려 노트의 유용성 점수를 높일 수 있다는 이론적 분석과 공격 비용 모델도 함께 제시하며, X의 Community Notes 알고리즘에 완화 조치를 개발·배포했다.

arXiv:2606.25268v1stat.AP

구조적 응답을 위한 해석 가능한 텍스트 신호 학습

Learning Interpretable Text Signals for Structured Responses

구조적 응답 변수와 함께 수집된 텍스트에서 예측과 해석을 함께 다루기 위해, 비음수 행렬 분해(NMF)와 이항 회귀를 결합한 Joint Binomial NMF 모델을 제안하고 문서-토픽 표현을 텍스트 재구성과 평점 예측으로 동시에 학습한다. 시뮬레이션과 실제 리뷰 데이터에서 응답 관련 텍스트 신호를 안정적으로 복원하며 선형·릿지 회귀 기준 모델과 비슷한 예측 성능을 달성한다.

arXiv:2606.19540v1stat.ME

적응형 스펙트럼 수축을 통한 과적합 고차원 행렬 분해

Overfitted high-dimensional matrix factorizations via adaptive spectral shrinkage

요인 모델(factor models)은 저계수 신호를 추출하고 공분산을 추정하기 위해 고차원 데이터를 분석하는 대중적인 접근법입니다. 이들은 공분산 행렬을 저계수 성분과 대각 성분의 합으로 분해합니다. 핵심 문제는 잠재 차원(latent dimension) $k$를 선택하는 방법으로, 이는 요인 모델이 근사적으로만 성립하고 신호 대 잡음 비율이 낮은 시나리오에서 특히 어렵습니다. 베이지안 과적합 요인 모델은 $k$에 대한 상한을 지정하고, 불필요한 성분을 효과적으로 제거하기 위해 구조화된 수축 사전분포(shrinkage priors)에 의존합니다. 이러한 접근법들은 대중적이고 효과적이지만 계산 비용이 많이 듭니다. 우리는 잠재 요인의 스펙트럼 추정과 주요 하이퍼파라미터의 적응형 경험적 베이지안(empirical Bayes) 보정을 기반으로, 타당한 불확실성 정량화(uncertainty quantification)를 제공하는 훨씬 빠른 \texttt{EigenBayes} 접근법을 제안합니다. 결과적으로 도출된 사후 분포(posterior distribution)는 결과(outcomes) 간에 인수분해되며 해석적으로 다루기 쉬워 마르코프 연쇄 몬테카를로(Markov chain Monte Carlo)를 우회할 수 있습니다. 우리는 \texttt{EigenBayes}가 각 결과와 잠재 차원의 신호 대 잡음 비율에 적응하면서, 불필요한 잠재 성분을 0으로 수축시킴을 보입니다. 우리는 유리한 점근적 성질(asymptotic properties)을 확립하고 수치 실험 및 유전체학 응용에서 강력한 실증적 성능을 입증하며, 여기서 EigenBayes는 최신 수준의 대안들(state-of-the-art alternatives)보다 우수한 성능을 보입니다.

arXiv:2104.08928v4stat.ML

그룹 희소 행렬 분해를 통한 단어 임베딩의 전이학습

Group-Sparse Matrix Factorization for Transfer Learning of Word Embeddings

비정형 텍스트는 소매업의 제품 리뷰부터 의료 분야의 간호 기록에 이르기까지 다양한 도메인에서 의사결정권자에게 풍부한 데이터 소스를 제공합니다. 이 정보를 활용하기 위해 단어는 일반적으로 행렬 분해와 같은 비지도 학습 알고리즘을 통해 단어 임베딩(word embeddings, 단어 간의 의미적 관계를 인코딩하는 벡터)으로 변환됩니다. 그러나 학습 데이터가 제한된 새로운 도메인에서 단어 임베딩을 학습하는 것은 어려울 수 있는데, 이는 새로운 도메인에서 단어의 의미나 사용법이 달라질 수 있기 때문입니다. 예를 들어, 'positive'라는 단어는 일반적으로 긍정적인 감정을 나타내지만, 환자가 특정 질병에 대해 양성 반응을 보였음을 의미할 수 있으므로 의료 기록에서는 종종 부정적인 감정을 나타냅니다. 실제로 우리는 소수의 도메인 특정 단어만이 새로운 의미를 가질 것으로 기대합니다. 우리는 그룹 희소 페널티(group-sparse penalty)를 통해 이러한 구조를 활용하여, 대규모 텍스트 말뭉치(예: 위키피디아)와 제한된 도메인 특정 텍스트 데이터를 결합함으로써 도메인 특정 단어 임베딩을 효율적으로 전이 학습할 수 있는 직관적인 2단계 추정기를 제안합니다. 우리는 전이 학습 추정기의 일반화 오차를 한정하고, 도메인 간에 소수의 임베딩만 변경되는 경우 훨씬 적은 도메인 특정 데이터로도 높은 정확도를 달성할 수 있음을 증명합니다. 또한, 표준 정규화 조건 하에서 우리의 비볼록 목적 함수가 식별하는 모든 국소 최솟값이 전역 최솟값과 통계적으로 구별할 수 없음을 증명하여, 해당 추정기를 효율적으로 계산할 수 있음을 시사합니다. 우리의 결과는 그룹 희소 행렬 분해에 대한 첫 번째 한계(bounds)를 제공하며, 이는 그 자체로도 독립적인 관심사가 될 수 있습니다. 우리는 자연어 처리(NLP) 분야의 최첨단 미세조정 휴리스틱과 비교하여 우리의 접근 방식을 실증적으로 평가합니다.

arXiv:2606.17531v1cs.LG

위상학적 정규화를 사용한 비음수 행렬 분해

Non-negative Matrix Factorisation with Topological Regularisation

우리는 학습된 기저 함수의 위상(topology)을 정규화하여 비음수 행렬 분해(NMF)에서 해석 가능한 기저의 학습을 연구합니다. 우리의 접근 방식은 많은 데이터 모달리티가 구조화된 도메인 위의 비음수 함수로 볼 수 있다는 관찰에서 동기를 얻었으며, 여기서 기저의 품질은 그 위상과 본질적으로 연결되어 있습니다. 그러나 지지 집합(support)의 위상을 통합하는 단순한 방법들은 종종 이산성과 임계값 의존성으로 인해 제한을 받아 연속 최적화에 부적합합니다. 우리는 안정적이고 임계값이 없는 위상학적 정량화 지표로서 지속적 호몰로지(persistent homology)를 활용하고, NMF 목적 함수에 정규화 항으로 통합되는 위상학적 점수를 설계하여 이러한 문제를 해결합니다. 결과적인 프레임워크는 공간적으로 응집된 이미지 구성 요소, 주기적인 시계열 구조, 클리크 유사 그래프 신호를 하나의 통합된 모델링 언어로 포괄합니다.

arXiv:2312.07762v3cs.LG공식 코드 · Papers with Code

정신병리 잠재 요인 식별을 위한 임상 설문지의 해석 가능한 요인 분해

Interpretable factorization of clinical questionnaires to identify latent factors of psychopathology

정신의학 연구는 설문지 데이터로 측정되는 행동에서 정신병리의 양상을 이해하기 위해, 이를 설명하는 소수의 잠재 요인(latent factor)을 식별하려고 한다. 요인 분석(factor analysis)은 이러한 목적을 위한 전통적인 도구이지만, 결과 요인은 해석 가능하지 않을 수 있으며 교란 변수(confounding variable)의 영향을 받을 수도 있다. 또한 결측 데이터가 흔하고, 명시적 대체(imputation)가 종종 필요하다. 이러한 한계를 극복하기 위해, 설문지 데이터에 맞춘 정규화(regularization)를 적용한 비음수 행렬 분해(non-negative matrix factorization) 방법인 해석 가능성 제약 설문지 요인 분해(ICQF)를 제안한다. 본 방법은 요인의 해석 가능성과 해법의 안정성을 높이는 것을 목표로 한다. 우리는 이론적 수렴 보장을 갖춘 최적화(optimization) 절차와 잠재 차원(latent dimensionality)을 정확히 탐지하는 자동화 절차를 제공한다. 현실적인 합성 데이터를 사용하여 이러한 절차를 검증한다. 널리 사용되는 범용 설문지에 대해 두 개의 독립적인 데이터셋(Healthy Brain Network 및 Adolescent Brain Cognitive Development 연구)에서 본 방법의 효과를 입증한다. 구체적으로, ICQF는 다양한 장애에 걸친 진단 정보를 보존하면서 영역 전문가가 정의한 기준에 따라 해석 가능성을 개선하며, 더 작은 데이터셋 크기에서 경쟁 방법들을 능가함을 보인다. 이는 본 방법의 정규화가 영역 특성과 부합함을 시사한다. ICQF의 Python 구현은 https://github.com/jefferykclam/ICQF 에서 이용할 수 있다.