PyTorchKR Papers

최신 논문

총 590편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.24009v1cs.CV

행렬 저랭크 근사를 통한 텐서 근사를 위한 구조적 손실 지표

Structural Loss Metrics for Tensor Approximation via Matrix Low-Rank Approximation

SVD를 통한 행렬화 저랭크 근사는 텐서 분해의 표준 대리(surrogate)이지만, 항별 재구성 오류는 다방향(multiway) 기하학적 열화를 포착하지 못한다. 직교 Tucker 모델 하에서, 우리는 두 가지 지표로 이 열화를 특성화한다: 랭크 절단과 노이즈 회전에 따른 기하학적 부분공간 편차를 측정하는 교차 모드 Direction Loss, 그리고 코어 텐서의 다선형(multilinear) 상호작용 왜곡을 정량화하는 Interaction Loss. 우리는 제곱 상대 재구성 오류가 직교적으로 상호작용 손실과 부분공간 밖 에너지로 분해됨을 증명하고, 플러그인 Direction Loss 추정량의 안정성을 확립하는 Wedin형 경계를 유도한다. 합성 및 초분광(hyperspectral) 데이터셋에 대한 실험은 거의 동일한 재구성 오류가 현저히 다른 구조적 손실 프로파일을 초래할 수 있음을 보여준다; 유사한 재구성 오류를 가진 초분광 패치는 Direction Loss에서 최대 4.6배의 차이를 보이며, 이는 심각한 시각적 흐림과 상관관계가 있다.

arXiv:2607.22262v1stat.ML

다중 피험자 시공간 데이터 분석을 위한 변분 저랭크 텐서 분해

Variational Low-rank Tensor Decomposition for Multisubject Spatiotemporal Data Analysis

다중 피험자 시공간 데이터에서 공유 구조와 피험자별 구조를 모델링하는 일은 여전히 어려우며, 특히 신경영상에서는 공간·시간 패턴이 피험자 간에 풍부한 변동성을 보인다. 기존 행렬 및 텐서 분해는 해석 가능한 인수분해를 제공하지만, 고정된 다중선형 구조나 결합 방식에 의존하여 복잡한 변동성을 포착하는 유연성이 제한될 수 있다. 본 연구에서는 텐서 인수분해 생성 모델과 구조화된 사전을 결합하여 공간 맵과 시간 역학을 공동으로 표현하는 시공간 변분 텐서 분해(ST-VTD) 프레임워크를 제안한다. 공간 인자는 LL1 분해에서 영감을 받은 저랭크 구조를 촉진하도록 정규화되고, 시간 인자는 학습된 장단기 메모리(LSTM) 기반 사전으로 모델링되어 유연하고 적응적인 역학을 가능하게 한다. 사후 추론은 최적화 알고리즘의 반복을 언롤링하는 상각형 변분 정식화를 통해 수행되며, 해석 가능하고 매개변수 효율적인 아키텍처로 이어진다. 제안된 추론 프레임워크는 그룹 독립성분분석에 기반한 웜스타트 전략을 사용하며, 이는 최적화 성능을 향상시키는 것으로 나타났다. 현실적인 합성 기능적 MRI(fMRI) 데이터셋에 대한 실험은, 제안 방법이 대표적인 고전적·확률적 분해 벤치마크와 비교하여 잠재 인자 복원을 크게 향상시킴을 보여준다.

arXiv:2410.06329v4stat.ML

저랭크 확률 질량 텐서에 대한 베이지안 매개변수 및 모델 차수 동시 추정

Joint Bayesian Parameter and Model Order Estimation for Low-Rank Probability Mass Tensors

결합 확률 질량 함수(PMF) 텐서의 저랭크 성분과 랭크(모델 차수)를 관측 데이터로부터 동시에 추정하는 새로운 베이지안 프레임워크를 제안하며, Dirichlet 사전 분포와 변분 추론(VI)을 활용해 교차 검증 없이 자동 랭크 탐지를 가능하게 한다. 합성 데이터 및 실제 분류·아이템 추천 데이터 실험에서 기존 방법 대비 추정 정확도와 계산 효율성 면에서 우수한 성능을 입증하였다.

arXiv:2607.03788v1cs.LG

퓨스텝 이산 확산을 위한 텐서-트레인 결합 모델링

Tensor-Train Joint Modeling for Few-Step Discrete Diffusion

이산 확산(Discrete diffusion) 모델의 조건부 독립 가정이 퓨스텝 생성 시 병렬화 바이어스를 유발하는 문제를 해결하기 위해, 텐서 분해(Canonical Polyadic Decomposition 및 Tensor-Train Decomposition)를 통해 결합 분포를 명시적으로 모델링하는 최초의 프레임워크를 제안한다. TTD는 Oseledets 정리에 기반한 인접 토큰 간 의존성 포착에 구조적으로 유리하며, 사전학습된 MDM에 경량 파인튜닝으로 통합해 OpenWebText에서 VADD 대비 8스텝 생성 perplexity를 32.7% 개선했다.

arXiv:2506.09105v3cs.LG

MetaTT: A Global Tensor-Train Adapter for Parameter-Efficient Fine-Tuning

사전학습된 트랜스포머의 파인튜닝을 위해 단일 공유 텐서 트레인(Tensor Train)으로 모든 서브모듈을 전역적으로 분해하는 MetaTT 어댑터를 제안하며, 이 구조는 파라미터 수가 모드들의 곱이 아닌 합에 비례하여 높은 파라미터 효율성을 달성한다. 단일 태스크 및 멀티태스크 학습 벤치마크에서 LoRA 등 기존 행렬·텐서 분해 기반 파인튜닝 방법과 경쟁력 있는 성능을 보이며, 양자 다체 물리학의 DMRG에서 영감을 받은 랭크 적응 최적화 기법을 AdamW와 결합해 최적화 성능을 향상시킨다.

arXiv:2606.28708v1cs.CL

AnTenA: 대규모 언어 모델을 활용한 실행 가능하고 설명 가능한 텐서 분석 시스템

AnTenA: Actionable and Explainable Tensor Analysis System with Large Language Models

다중 측면 데이터의 숨겨진 패턴을 정확히 설명하는 작업은 일반적으로 레이블 및/또는 보조 메타데이터를 활용하여 수행되어 왔다. 그러나 레이블과 보조 데이터는 부정확하거나(예: 비표준적이거나 일관성이 없는 경우), 불충분하거나(예: 시간 의존적 기록에 대한 정적 표 형식 메타데이터), 또는 사용 불가능한 경우가 있다. 우리는 대규모 언어 모델(LLM)의 지식을 활용하여 인간 내러티브의 숨겨진 패턴을 설명하는 \fullmethod(\method)를 제안한다. \method는 태스크 비종속적(task-agnostic) 및 태스크 특화적(task-specific) 프롬프트를 사용하여 텐서 분해로부터 추출된 공동 클러스터링된 잠재 패턴을 설명한다. 이러한 설명들을 평가하기 위해, 순방향 및 역방향 추론 태스크에서 LLM을 테스트한다. 데모 시스템은 https://github.com/dawonahn/ECML_PKDD_AnTenA 에서 확인할 수 있다.

arXiv:2606.24989v1cs.LG

Low-Cost High-Order Singular Value Decomposition for Tensor-Based Reconstruction from Sparse Sensor Measurements: Urban Flow and Air-Quality Applications

희소 센서 측정값으로부터 도시 유동(urban flow) 및 대기질 필드를 재구성하기 위해, 기존 행렬 분해 방식의 구조적 정보 손실 문제를 해결하는 텐서 기반 프레임워크인 lcHOSVD(low-cost High-Order Singular Value Decomposition)를 제안한다. 전체 공간의 1~4%에 불과한 센서 위치만을 활용해 3차원 속도장과 오염물질 농도 필드를 재구성하며, 강한 다차원 결합이 존재하는 환경에서 lcSVD 대비 낮은 재구성 오차와 불균일한 센서 분포에 대한 높은 강건성을 보인다.

arXiv:2606.24938v1q-bio.GN

Privacy-preserving federated tensor decomposition of single-cell immune data: recovering multicellular programs across institutions

Tensor decomposition of donor $\times$ cell-type $\times$ gene single-cell data recovers \emph{multicellular programs}: coordinated axes of inter-individual transcriptional variation that span cell types and stratify disease. Yet immune single-cell atlases are increasingly multi-institution, multi-ancestry, and governed, so patient cells often cannot be pooled. We present a federated estimator: each site computes a local program subspace, and a coordinator merges these by stacked SVD under federated global-mean centering, provably equivalent (up to truncation) to the centralised decomposition. This centering makes the merge robust to site-label confounding (program AUC $0.957$ vs.\ $0.861$ for naive per-site centering). Only program subspaces leave a site, and aggregation is compatible with secure aggregation. On a 261-donor systemic lupus erythematosus atlas it recovers the canonical interferon program (ISG enrichment AUC $0.998$; case--control separation $0.958$; bootstrap $Δ\text{AUC}=-0.000$, 95\% CI $[-0.004,+0.012]$ vs.\ centralised), across institution-scale and multi-ancestry partitions, and across three \emph{real} COVID-19 sites (subspace correlation $0.989$). It recovers the program when \emph{no site observes all cell types} (correlation $1.000$, exact by construction), which fixed-feature federated PCA cannot. On an interstitial-lung-disease atlas the recovered program predicts disease better than the best single cell type (AUC $0.96$ vs.\ $0.91$; gap 95\% CI excludes zero) and the advantage survives federation; a liver cohort is consistent ($p=0.005$). Membership-inference shows secure aggregation cuts attack AUC from $0.91$ to $0.61$. The method enables cross-institution, cross-ancestry recovery of multicellular immune programs without sharing cells.

arXiv:2602.04548v2cs.LG

다이어그램 전개를 통한 그래디언트 흐름: 학습 체제와 명시적 해

Gradient Flow Through Diagram Expansions: Learning Regimes and Explicit Solutions

대규모 학습에서 그래디언트 흐름(GF)의 스케일링 체제를 분석하기 위해 손실 진화를 파인만 다이어그램과 유사한 다이어그램으로 인코딩한 멱급수 전개 프레임워크를 제안하고, 고차 텐서의 CP 분해 학습에서 NTK·평균장·자유 진화 등 lazy/rich GF 체제를 분류해 명시적 해를 도출한다. 형식적 손실 전개는 1차 편미분방정식(PDE)으로 환원되어 특성곡선법으로 풀 수 있으며, 이론적 예측이 실험과 잘 일치한다.

arXiv:2409.17502v2cs.LG

브로드캐스트 곱: 형상 정렬된 요소별 곱셈의 재정의 및 그 이상

Broadcast Product: Redefining Shape-aligned Element-wise Multiplication and Beyond

브로드캐스트 연산은 과학 계산 라이브러리에서 널리 사용되지만, 그 수학적 정식화는 종종 암묵적이며 기계학습 문헌에서 일관성 없이 표현된다. 이 문제는 텐서 형상이 일치하지 않음에도 요소별 곱이 표기될 때 유효하지 않은 방정식으로 이어지는 경우가 빈번하다. 본 논문에서는 형상 정렬된 요소 복제를 통해 아다마르 곱(Hadamard product)을 명시적으로 확장하는 브로드캐스트 곱 $\boxdot$를 도입하여 이러한 연산을 형식화한다. 브로드캐스트 곱의 엄밀한 정의를 제시하고, 그 대수적 성질을 분석하며, 이를 표준 선형대수로 표현하는 방법을 보인다. 이 프레임워크를 기반으로 최소제곱 문제를 정식화하고 개념 증명 수준의 브로드캐스트 분해를 개략적으로 제시한다. 예비적 예시로서, 이 형식체계가 기존 텐서 분해와 구별되는 구조적 성질을 지닌 새로운 분해 계열을 가능하게 함을 보인다. 본 연구는 브로드캐스트를 인식하는 텐서 연산의 수학적 토대를 확립하여 실용적 구현과 엄밀한 텐서 분석을 연결한다.