arXiv:2610.10636v1 cs.LG

D-SLR: 서로소 행-희소 및 저계수 분해

D-SLR: The Disjoint Row-Sparse plus Low-Rank Decomposition

Vincent Szolnoky

제출 2026-10-07

한국어 초록

재구성을 위해 행렬을 압축할 때는 여전히 단일 저계수(low-rank) 구조로 데이터를 근사하는 절단 SVD(truncated SVD)가 기본적으로 사용됩니다. 중첩되는 행-희소(row-sparse) 성분을 추가하여 잔차를 더욱 줄이는 방식이 흔히 쓰이지만, 이러한 결합 문제를 해결하는 방법들은 대개 반복적 솔버(iterative solver)와 정규화(regularization) 매개변수(parameter) 튜닝을 필요로 합니다. 본 논문에서는 절단 SVD를 개선하거나 정확히 일치시키는 닫힌 형식(closed-form)의 직접 대체제인 서로소 행-희소 및 저계수(D-SLR, Disjoint Row-Sparse plus Low-Rank) 분해를 제안합니다. D-SLR은 행을 그대로 저장하거나 저계수 적합으로 근사하는 것 중 하나로만 제한하며, 둘 다 적용하지는 않습니다. 제곱 오차 기준에서 이러한 제한은 아무런 손실을 초래하지 않습니다. 즉, 모든 비자명한 랭크와 저장된 행 수(형태)에서 더 적은 매개변수로 서로소 형태의 결합 최적해를 달성할 수 있습니다. 저장된 행 수가 0일 때 D-SLR은 절단 SVD로 환원되므로 동일한 비용에서 절단 SVD보다 결코 나빠지지 않습니다. 이 알고리즘은 오차 대 매개변수의 전체 트레이드오프를 평가하며, 이후 제공된 목표 오차나 매개변수 수, 또는 선택 규칙에 따라 해가 결정됩니다. 그리드와 해를 구하는 데 드는 비용은 튜닝이나 정규화 없이 SVD 3회 분량에 불과합니다. 또한 모든 형태에 대해 오차에 대한 가정 없는 사후(a-posteriori) 하한을 도출하여, 각 해에 대해 랭크 및 저장된 행 수의 다른 선택에 따른 잠재적 이득에 관한 계산 가능한 인증서를 제공합니다. 합성 데이터 및 실제 데이터(대규모 언어 모델(LLM) 임베딩(embedding) 테이블, 네트워크 트래픽, 초분광 영상)에 대한 실험을 통해 성능 향상을 확인하고 인증서를 정량화합니다.

원문 초록

Compressing a matrix for reconstruction still defaults to the truncated SVD, approximating the data with a single low-rank structure. It is common to reduce the residual further by adding an overlapping row-sparse component, but methods that solve this joint problem often require iterative solvers and tuning of regularization parameters. We propose the Disjoint Row-Sparse plus Low-Rank (D-SLR) decomposition, a closed-form drop-in for the truncated SVD that improves or exactly matches it. D-SLR restricts rows to either being stored verbatim or approximated by the low-rank fit, never both. Under squared error this restriction costs nothing: the joint optimum is attainable disjointly with fewer parameters at every non-trivial rank and stored row count (shape). With zero stored rows D-SLR reduces to the truncated SVD, so it never does worse at equal cost. The algorithm scores the entire error-versus-parameters tradeoff, and the solution is chosen afterwards by a supplied error target or parameter count, or by a selection rule. The grid and solution together cost three SVDs, with no tuning or regularization. We derive an assumption-free, a-posteriori lower bound on the error at every shape, giving each solution a computable certificate on the potential gain of any other choice of rank and stored rows. Experiments on synthetic and real data (LLM embedding tables, network traffic, hyperspectral images) confirm the gains and quantify the certificate.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10636v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03321v1math.OC공통 태그 Dimensionality Reduction, low-rank approximation

저계수 근사 검증의 정보 한계

Information Limits of Low-Rank Approximation Certification

저계수 근사(low-rank approximation)에서는 오차가 지정된 허용 오차를 충족하는지 확인하기 위해 추가적인 행렬-벡터 곱이 필요할 수 있습니다. 본 연구에서는 상대 행렬 오차와 평균 제곱 출력 오차 모두에 대해 이러한 검증(certification) 비용을 규명합니다. 단일 근사 행렬 후보의 경우, 허용 실패 확률이 0으로 수렴함에 따라 차원에 무관한 정확한 미니맥스 쿼리 상수를 결정합니다. 본 논문의 주요 결과는 근사 공간이 확장됨에 따라 검증(validation) 반응을 재사용하는 것과 관련이 있습니다. 검증과 독립적으로 구성된 후보군에 대해, 단 하나의 배치(batch)만으로도 검사 횟수에 따라 쿼리 예산을 늘리지 않고 전체 중첩 경로를 지원할 수 있습니다. \(W\)개의 경로 전반에 걸쳐 공유 잔여 에너지를 활용한 집중 부등식은 \(\sqrt{\log(W+1)}\) 의존성을 산출합니다. 일치하는 하한선은 고정된 내부 오차 목표와 충분히 작은 분리 간격에 대해 이것이 최적임을 입증합니다. 마지막으로, 동일한 분산 스펙트럼 계열에서 균일하게 유효한 두 개의 인증서를 비교합니다. 각 규칙 계열 내에서 검증 예산을 최적화하면 실제 목표를 넘어 검증 및 구성에 각각 \(N^{1/3}\) 및 \(N^{2/3}\) 차수의 비용이 발생합니다. 코드는 https://anonymous.4open.science/r/Low-rank-approximation-1275/ 에서 확인할 수 있습니다.

arXiv:2610.03326v1cs.AI공통 태그 Model Compression, low-rank approximation

궤적 인식 저순위 근사를 통한 압축된 확산 언어 모델의 수학적 추론 능력 보존

Preserving Mathematical Reasoning in Compressed Diffusion Language Models via Trajectory-Aware Low-Rank Approximation

확산 언어 모델(dLLM) 압축은 캘리브레이션(calibration)이 일반적으로 노이즈가 없는 완전히 가시적인 활성화에서 수행되는 반면, 추론(inference)은 부분적으로 마스킹된 중간 상태들을 거친다는 잘 알려진 과제에 직면합니다. 저순위(low-rank) 압축의 경우, 이는 두 가지 질문을 제기합니다. 첫째, 근사 품질을 궤적 분포 상태 전반에서 측정할 때도 저순위 최적성을 여전히 규명할 수 있는가? 둘째, 캘리브레이션 상태의 선택이 압축 시 수학적 추론 보존에 영향을 미치는가? 본 연구에서는 손상 수준(corruption levels)과 마스킹 실현 전반에 걸친 궤적 인식 저순위 목적식을 정식화하여 이러한 질문을 해결합니다. 이 목적식을 효율적으로 추정하기 위해, 몬테카를로 샘플링을 통해 궤적 2차 모멘트를 추정하고 정확한 표본 상태 최적성 및 모집단 일관성을 산출하는 Traj-MC를 제안합니다. 동일한 압축 예산 하에서, 궤적 인식 캘리브레이션은 생성 궤적 전반의 재구성을 개선하며, 수학적 추론 벤치마크에서 클린 캘리브레이션 대비 훨씬 더 많은 수학적 추론 능력을 보존합니다. 본 연구 결과는 궤적 인식 저순위 최적성을 dLLM 압축 후 유지되는 추론 능력과 연결합니다. 코드는 https://github.com/Zishan-Shao/traj-mc.git 에서 확인할 수 있습니다.

arXiv:2607.24009v1cs.CV공통 태그 Dimensionality Reduction, low-rank approximation

행렬 저랭크 근사를 통한 텐서 근사를 위한 구조적 손실 지표

Structural Loss Metrics for Tensor Approximation via Matrix Low-Rank Approximation

SVD를 통한 행렬화 저랭크 근사는 텐서 분해의 표준 대리(surrogate)이지만, 항별 재구성 오류는 다방향(multiway) 기하학적 열화를 포착하지 못한다. 직교 Tucker 모델 하에서, 우리는 두 가지 지표로 이 열화를 특성화한다: 랭크 절단과 노이즈 회전에 따른 기하학적 부분공간 편차를 측정하는 교차 모드 Direction Loss, 그리고 코어 텐서의 다선형(multilinear) 상호작용 왜곡을 정량화하는 Interaction Loss. 우리는 제곱 상대 재구성 오류가 직교적으로 상호작용 손실과 부분공간 밖 에너지로 분해됨을 증명하고, 플러그인 Direction Loss 추정량의 안정성을 확립하는 Wedin형 경계를 유도한다. 합성 및 초분광(hyperspectral) 데이터셋에 대한 실험은 거의 동일한 재구성 오류가 현저히 다른 구조적 손실 프로파일을 초래할 수 있음을 보여준다; 유사한 재구성 오류를 가진 초분광 패치는 Direction Loss에서 최대 4.6배의 차이를 보이며, 이는 심각한 시각적 흐림과 상관관계가 있다.

arXiv:2607.15456v2cs.LG공통 태그 Dimensionality Reduction, Model Compression

루프형 잠재 어텐션: 루프형 Transformer를 위한 루프 간 KV 압축

Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers

가중치 공유 루프형 Transformer는 단일 블록을 재사용하여 파라미터를 줄이지만, 디코딩 시에는 여전히 각 순환 단계마다 별도의 K/V 캐시를 저장한다. 우리는 이 루프 인덱스 캐시가 매우 구조적임을 보인다. 고정된 토큰, 층, 헤드에 대해 K/V 벡터는 루프에 걸쳐 짧은 저랭크(low-rank) 궤적을 그리는 반면, 헤드 및 층 축은 훨씬 더 평탄하게 유지된다. 우리는 Looped Latent Attention(\lla{})을 제안한다. 이는 사후 학습 캐시 코덱으로, 압축된 K 및 V 잠재(latent)를 저장하고 어텐션이 이를 읽을 때에만 루프별 K/V 벡터를 복원한다. 기본 per-head 코덱은 순환을 압축하며, \lla{}-2D는 극한 압축 구간에서 헤드들을 하나의 잠재 표현으로 접어 넣기도 한다. 코덱은 교사(teacher) 활성화의 SVD로 초기화되며, 로짓 및 어텐션 출력 증류(distillation)로 정제된다. 동일한 캐시 예산에서 per-head \lla{}는 헤드 축 MLA, 층 간 공유, KV 양자화, 최종 루프 재사용보다 우수하며, 순환 캐시가 저랭크이지만 단일 상태로 안전하게 축소할 수 없음을 보여준다. 동일한 축 이점은 Ouro-2.6B-Thinking에서도 유지되며 Huginn-3.5B로 전이된다. 여기서 SVD 코덱은 디코더 독립 평가에서 $32\times$ 압축까지 거의 무손실을 유지한다. 캐시 축소는 정확하다. H200 1대에서 잠재 저장 경로는 4k 컨텍스트에서 $21.3\times$ 압축 시 측정된 Ouro-1.4B 배치 용량을 32개 시퀀스에서 768개 시퀀스로 증가시킨다. 마지막으로, MATH-500과 같은 긴 추론 롤아웃(rollout)에서, 학생이 생성한 접두(prefix)에 대한 온-정책 정제는 $4\times$ 압축에서 정확도를 0.43에서 0.66으로 높이며, 토큰 수준 오프-정책 증류와 비교할 때 무응답 생성을 줄인다.

arXiv:2609.38840v3cs.LG공통 태그 Dimensionality Reduction

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.