Individualized Multilayer Tensor Learning with An Application in Imaging Analysis
원문 초록
This work is motivated by multimodality breast cancer imaging data, which is quite challenging in that the signals of discrete tumor-associated microvesicles (TMVs) are randomly distributed with heterogeneous patterns. This imposes a significant challenge for conventional imaging regression and dimension reduction models assuming a homogeneous feature structure. We develop an innovative multilayer tensor learning method to incorporate heterogeneity to a higher-order tensor decomposition and predict disease status effectively through utilizing subject-wise imaging features and multimodality information. Specifically, we construct a multilayer decomposition which leverages an individualized imaging layer in addition to a modality-specific tensor structure. One major advantage of our approach is that we are able to efficiently capture the heterogeneous spatial features of signals that are not characterized by a population structure as well as integrating multimodality information simultaneously. To achieve scalable computing, we develop a new bi-level block improvement algorithm. In theory, we investigate both the algorithm convergence property, tensor signal recovery error bound and asymptotic consistency for prediction model estimation. We also apply the proposed method for simulated and human breast cancer imaging data. Numerical results demonstrate that the proposed method outperforms other existing competing methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
행렬 저랭크 근사를 통한 텐서 근사를 위한 구조적 손실 지표
Structural Loss Metrics for Tensor Approximation via Matrix Low-Rank Approximation
SVD를 통한 행렬화 저랭크 근사는 텐서 분해의 표준 대리(surrogate)이지만, 항별 재구성 오류는 다방향(multiway) 기하학적 열화를 포착하지 못한다. 직교 Tucker 모델 하에서, 우리는 두 가지 지표로 이 열화를 특성화한다: 랭크 절단과 노이즈 회전에 따른 기하학적 부분공간 편차를 측정하는 교차 모드 Direction Loss, 그리고 코어 텐서의 다선형(multilinear) 상호작용 왜곡을 정량화하는 Interaction Loss. 우리는 제곱 상대 재구성 오류가 직교적으로 상호작용 손실과 부분공간 밖 에너지로 분해됨을 증명하고, 플러그인 Direction Loss 추정량의 안정성을 확립하는 Wedin형 경계를 유도한다. 합성 및 초분광(hyperspectral) 데이터셋에 대한 실험은 거의 동일한 재구성 오류가 현저히 다른 구조적 손실 프로파일을 초래할 수 있음을 보여준다; 유사한 재구성 오류를 가진 초분광 패치는 Direction Loss에서 최대 4.6배의 차이를 보이며, 이는 심각한 시각적 흐림과 상관관계가 있다.
다중 피험자 시공간 데이터 분석을 위한 변분 저랭크 텐서 분해
Variational Low-rank Tensor Decomposition for Multisubject Spatiotemporal Data Analysis
다중 피험자 시공간 데이터에서 공유 구조와 피험자별 구조를 모델링하는 일은 여전히 어려우며, 특히 신경영상에서는 공간·시간 패턴이 피험자 간에 풍부한 변동성을 보인다. 기존 행렬 및 텐서 분해는 해석 가능한 인수분해를 제공하지만, 고정된 다중선형 구조나 결합 방식에 의존하여 복잡한 변동성을 포착하는 유연성이 제한될 수 있다. 본 연구에서는 텐서 인수분해 생성 모델과 구조화된 사전을 결합하여 공간 맵과 시간 역학을 공동으로 표현하는 시공간 변분 텐서 분해(ST-VTD) 프레임워크를 제안한다. 공간 인자는 LL1 분해에서 영감을 받은 저랭크 구조를 촉진하도록 정규화되고, 시간 인자는 학습된 장단기 메모리(LSTM) 기반 사전으로 모델링되어 유연하고 적응적인 역학을 가능하게 한다. 사후 추론은 최적화 알고리즘의 반복을 언롤링하는 상각형 변분 정식화를 통해 수행되며, 해석 가능하고 매개변수 효율적인 아키텍처로 이어진다. 제안된 추론 프레임워크는 그룹 독립성분분석에 기반한 웜스타트 전략을 사용하며, 이는 최적화 성능을 향상시키는 것으로 나타났다. 현실적인 합성 기능적 MRI(fMRI) 데이터셋에 대한 실험은, 제안 방법이 대표적인 고전적·확률적 분해 벤치마크와 비교하여 잠재 인자 복원을 크게 향상시킴을 보여준다.
AnTenA: 대규모 언어 모델을 활용한 실행 가능하고 설명 가능한 텐서 분석 시스템
AnTenA: Actionable and Explainable Tensor Analysis System with Large Language Models
다중 측면 데이터의 숨겨진 패턴을 정확히 설명하는 작업은 일반적으로 레이블 및/또는 보조 메타데이터를 활용하여 수행되어 왔다. 그러나 레이블과 보조 데이터는 부정확하거나(예: 비표준적이거나 일관성이 없는 경우), 불충분하거나(예: 시간 의존적 기록에 대한 정적 표 형식 메타데이터), 또는 사용 불가능한 경우가 있다. 우리는 대규모 언어 모델(LLM)의 지식을 활용하여 인간 내러티브의 숨겨진 패턴을 설명하는 \fullmethod(\method)를 제안한다. \method는 태스크 비종속적(task-agnostic) 및 태스크 특화적(task-specific) 프롬프트를 사용하여 텐서 분해로부터 추출된 공동 클러스터링된 잠재 패턴을 설명한다. 이러한 설명들을 평가하기 위해, 순방향 및 역방향 추론 태스크에서 LLM을 테스트한다. 데모 시스템은 https://github.com/dawonahn/ECML_PKDD_AnTenA 에서 확인할 수 있다.
Low-Cost High-Order Singular Value Decomposition for Tensor-Based Reconstruction from Sparse Sensor Measurements: Urban Flow and Air-Quality Applications
Privacy-preserving federated tensor decomposition of single-cell immune data: recovering multicellular programs across institutions
에카르트-영-슈미트 관점에서 본 심층 대칭 오토인코더
Deep Symmetric Autoencoders from the Eckart-Young-Schmidt Perspective
심층 오토인코더(deep autoencoder)는 차원 축소와 편미분 방정식의 차수 축소 모델링부터 이상치 탐지 및 신경망 기계 번역에 이르기까지 다양한 머신러닝 응용 분야에서 핵심적인 도구로 자리 잡았습니다. 이러한 실증적 성공에도 불구하고, 특히 고전적인 사영 기반 기법들과 비교했을 때 이들의 표현력에 대한 확고한 이론적 기반은 여전히 부족한 실정입니다. 본 연구에서는 최근 문헌에서 자주 등장하고 있는 광범위한 심층 학습(deep learning) 아키텍처 군인 대칭 오토인코더(symmetric autoencoder)에 대한 종합적인 분석을 제시하여 이러한 방향으로 한 걸음 나아가는 것을 목표로 합니다. 구체적으로, 서로 다른 대칭 아키텍처 군 간의 형식적 구분을 도입하고 수학적 관점에서 이들의 장점과 한계를 분석합니다. 예를 들어, 정규직교성(orthonormality) 제약 조건을 가진 대칭 오토인코더의 재구성 오차는 널리 알려진 에카르트-영-슈미트(EYS) 정리를 활용하여 이해할 수 있음을 보입니다. 또한 분석의 부산물로서, 특잇값 분해(SVD)의 반복 적용에 기반한 대칭 오토인코더용 EYS 초기화(initialization) 전략을 개발합니다. 연구 결과를 검증하기 위해 기존의 심층 오토인코더를 대상으로 제안 기법을 벤치마크하는 일련의 수치 실험을 수행하고, 모델(model) 설계 및 초기화의 중요성을 논의합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.