PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10636v1cs.LG

D-SLR: 서로소 행-희소 및 저계수 분해

D-SLR: The Disjoint Row-Sparse plus Low-Rank Decomposition

재구성을 위해 행렬을 압축할 때는 여전히 단일 저계수(low-rank) 구조로 데이터를 근사하는 절단 SVD(truncated SVD)가 기본적으로 사용됩니다. 중첩되는 행-희소(row-sparse) 성분을 추가하여 잔차를 더욱 줄이는 방식이 흔히 쓰이지만, 이러한 결합 문제를 해결하는 방법들은 대개 반복적 솔버(iterative solver)와 정규화(regularization) 매개변수(parameter) 튜닝을 필요로 합니다. 본 논문에서는 절단 SVD를 개선하거나 정확히 일치시키는 닫힌 형식(closed-form)의 직접 대체제인 서로소 행-희소 및 저계수(D-SLR, Disjoint Row-Sparse plus Low-Rank) 분해를 제안합니다. D-SLR은 행을 그대로 저장하거나 저계수 적합으로 근사하는 것 중 하나로만 제한하며, 둘 다 적용하지는 않습니다. 제곱 오차 기준에서 이러한 제한은 아무런 손실을 초래하지 않습니다. 즉, 모든 비자명한 랭크와 저장된 행 수(형태)에서 더 적은 매개변수로 서로소 형태의 결합 최적해를 달성할 수 있습니다. 저장된 행 수가 0일 때 D-SLR은 절단 SVD로 환원되므로 동일한 비용에서 절단 SVD보다 결코 나빠지지 않습니다. 이 알고리즘은 오차 대 매개변수의 전체 트레이드오프를 평가하며, 이후 제공된 목표 오차나 매개변수 수, 또는 선택 규칙에 따라 해가 결정됩니다. 그리드와 해를 구하는 데 드는 비용은 튜닝이나 정규화 없이 SVD 3회 분량에 불과합니다. 또한 모든 형태에 대해 오차에 대한 가정 없는 사후(a-posteriori) 하한을 도출하여, 각 해에 대해 랭크 및 저장된 행 수의 다른 선택에 따른 잠재적 이득에 관한 계산 가능한 인증서를 제공합니다. 합성 데이터 및 실제 데이터(대규모 언어 모델(LLM) 임베딩(embedding) 테이블, 네트워크 트래픽, 초분광 영상)에 대한 실험을 통해 성능 향상을 확인하고 인증서를 정량화합니다.

arXiv:2610.03326v1cs.AI

궤적 인식 저순위 근사를 통한 압축된 확산 언어 모델의 수학적 추론 능력 보존

Preserving Mathematical Reasoning in Compressed Diffusion Language Models via Trajectory-Aware Low-Rank Approximation

확산 언어 모델(dLLM) 압축은 캘리브레이션(calibration)이 일반적으로 노이즈가 없는 완전히 가시적인 활성화에서 수행되는 반면, 추론(inference)은 부분적으로 마스킹된 중간 상태들을 거친다는 잘 알려진 과제에 직면합니다. 저순위(low-rank) 압축의 경우, 이는 두 가지 질문을 제기합니다. 첫째, 근사 품질을 궤적 분포 상태 전반에서 측정할 때도 저순위 최적성을 여전히 규명할 수 있는가? 둘째, 캘리브레이션 상태의 선택이 압축 시 수학적 추론 보존에 영향을 미치는가? 본 연구에서는 손상 수준(corruption levels)과 마스킹 실현 전반에 걸친 궤적 인식 저순위 목적식을 정식화하여 이러한 질문을 해결합니다. 이 목적식을 효율적으로 추정하기 위해, 몬테카를로 샘플링을 통해 궤적 2차 모멘트를 추정하고 정확한 표본 상태 최적성 및 모집단 일관성을 산출하는 Traj-MC를 제안합니다. 동일한 압축 예산 하에서, 궤적 인식 캘리브레이션은 생성 궤적 전반의 재구성을 개선하며, 수학적 추론 벤치마크에서 클린 캘리브레이션 대비 훨씬 더 많은 수학적 추론 능력을 보존합니다. 본 연구 결과는 궤적 인식 저순위 최적성을 dLLM 압축 후 유지되는 추론 능력과 연결합니다. 코드는 https://github.com/Zishan-Shao/traj-mc.git 에서 확인할 수 있습니다.

arXiv:2610.03321v1math.OC

저계수 근사 검증의 정보 한계

Information Limits of Low-Rank Approximation Certification

저계수 근사(low-rank approximation)에서는 오차가 지정된 허용 오차를 충족하는지 확인하기 위해 추가적인 행렬-벡터 곱이 필요할 수 있습니다. 본 연구에서는 상대 행렬 오차와 평균 제곱 출력 오차 모두에 대해 이러한 검증(certification) 비용을 규명합니다. 단일 근사 행렬 후보의 경우, 허용 실패 확률이 0으로 수렴함에 따라 차원에 무관한 정확한 미니맥스 쿼리 상수를 결정합니다. 본 논문의 주요 결과는 근사 공간이 확장됨에 따라 검증(validation) 반응을 재사용하는 것과 관련이 있습니다. 검증과 독립적으로 구성된 후보군에 대해, 단 하나의 배치(batch)만으로도 검사 횟수에 따라 쿼리 예산을 늘리지 않고 전체 중첩 경로를 지원할 수 있습니다. \(W\)개의 경로 전반에 걸쳐 공유 잔여 에너지를 활용한 집중 부등식은 \(\sqrt{\log(W+1)}\) 의존성을 산출합니다. 일치하는 하한선은 고정된 내부 오차 목표와 충분히 작은 분리 간격에 대해 이것이 최적임을 입증합니다. 마지막으로, 동일한 분산 스펙트럼 계열에서 균일하게 유효한 두 개의 인증서를 비교합니다. 각 규칙 계열 내에서 검증 예산을 최적화하면 실제 목표를 넘어 검증 및 구성에 각각 \(N^{1/3}\) 및 \(N^{2/3}\) 차수의 비용이 발생합니다. 코드는 https://anonymous.4open.science/r/Low-rank-approximation-1275/ 에서 확인할 수 있습니다.

arXiv:2607.24009v1cs.CV

행렬 저랭크 근사를 통한 텐서 근사를 위한 구조적 손실 지표

Structural Loss Metrics for Tensor Approximation via Matrix Low-Rank Approximation

SVD를 통한 행렬화 저랭크 근사는 텐서 분해의 표준 대리(surrogate)이지만, 항별 재구성 오류는 다방향(multiway) 기하학적 열화를 포착하지 못한다. 직교 Tucker 모델 하에서, 우리는 두 가지 지표로 이 열화를 특성화한다: 랭크 절단과 노이즈 회전에 따른 기하학적 부분공간 편차를 측정하는 교차 모드 Direction Loss, 그리고 코어 텐서의 다선형(multilinear) 상호작용 왜곡을 정량화하는 Interaction Loss. 우리는 제곱 상대 재구성 오류가 직교적으로 상호작용 손실과 부분공간 밖 에너지로 분해됨을 증명하고, 플러그인 Direction Loss 추정량의 안정성을 확립하는 Wedin형 경계를 유도한다. 합성 및 초분광(hyperspectral) 데이터셋에 대한 실험은 거의 동일한 재구성 오류가 현저히 다른 구조적 손실 프로파일을 초래할 수 있음을 보여준다; 유사한 재구성 오류를 가진 초분광 패치는 Direction Loss에서 최대 4.6배의 차이를 보이며, 이는 심각한 시각적 흐림과 상관관계가 있다.

arXiv:2607.04875v2cs.CC

저랭크 행렬 부호화 및 원소별 거듭제곱 행렬 분해의 복잡도에 관하여

On the Complexity of Low-Rank Matrix Signing and Entrywise Power Matrix Factorization

비음수 행렬 $X$, 분해 랭크 $r$, 그리고 양의 정수 $p$가 주어질 때, 원소별 거듭제곱 행렬 분해(EPMF)는 $X = |X_r|^{\circ p}$ (정확한 경우) 또는 $X \approx |X_r|^{\circ p}$ (근사 경우)를 만족하는 저랭크 행렬 $X_r$을 탐색하는 문제이며, 여기서 $(\cdot)^{\circ p}$는 원소별 지수를 나타낸다. EPMF는 모듈러스 모델($p=1$)과 원소별 제곱 분해($p=2$)를 특수 경우로 포함하며, 후자는 제곱근 랭크와 밀접하게 관련된다. 본 논문에서는 정확한 결정 문제와 Frobenius 노름 근사 문제의 계산 복잡도를 분석하고 완전한 복잡도 전경을 확립한다. 정확한 경우에서, EPMF는 주어진 행렬 $X$의 원소 부호를 뒤집어 랭크-$r$ 행렬을 얻는 조합론적 문제—본 논문에서 저랭크 행렬 부호화(LRMS) 문제라 칭함—와 동치임을 보인다. 먼저 LRMS, 그리고 이에 따라 정확한 EPMF가 강 NP-난해(strongly NP-hard)임을 보임으로써, 제곱근 랭크에 대한 약 NP-난해 결과(Math. Prog., 2015)를 개선한다. 이어서 $r$이 고정될 때 LRMS가 다항 시간에 풀림을 보인다. 더 나아가, 랭크 $r$이 입력의 일부인 경우, 일반 행렬에 대해 알고리즘이 매개변수 $r$에 대해 고정-매개변수 다루기 가능(FPT)함을 보이며, 실제로 수행 시간은 입력 행렬의 원소 수에 대해 고정-매개변수 선형임을 증명한다. Frobenius 노름을 오차 척도로 사용하는 근사 경우에서는, 가장 작은 비자명 경우인 $r=2$일 때조차 EPMF가 NP-난해임을 보인다.