PyTorchKR Papers

최신 논문

총 215편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.38840v3cs.LG

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

arXiv:2512.17473v4eess.SP

비선형 행렬 분해를 위한 교차 방향 승수법

Alternating Direction Method of Multipliers for Nonlinear Matrix Decompositions

우리는 비선형 행렬 분해(NMD)를 해결하기 위해 교차 방향 승수법(ADMM)에 기반한 알고리즘을 제시합니다. 입력 행렬 $X \in \mathbb{R}^{m \times n}$과 인수분해 랭크 $r \ll \min(m, n)$가 주어지면, NMD는 $X \approx f(WH)$를 만족하는 행렬 $W \in \mathbb{R}^{m \times r}$와 $H \in \mathbb{R}^{r \times n}$을 찾습니다. 여기서 $f$는 요소별(element-wise) 비선형 함수입니다. 우리는 음수가 아닌 희소 데이터 근사에 적합한 정류 선형 유닛(ReLU) 활성화 $f(x) = \max(0, x)$, 확률적 회로 표현에 적용 가능한 요소별 제곱 $f(x) = x^2$, 그리고 추천 시스템과 관련된 MinMax 변환 $f(x) = \min(b, \max(a, x))$를 포함하여 여러 대표적인 비선형 모델에서 우리의 방법을 평가합니다. 제안된 프레임워크는 최소제곱법(least squares), $\ell_1$ 노름, 쿨백-라이블러 발산(Kullback-Leibler divergence)을 포함한 다양한 손실(loss) 함수를 유연하게 지원하며, 다른 비선형성과 메트릭으로 쉽게 확장될 수 있습니다. 우리는 실제 데이터셋(dataset)에서 이 접근 방식의 적용 가능성, 효율성, 적응성을 입증하여 광범위한 응용 분야에 대한 잠재력을 강조합니다.

arXiv:2610.15892v1stat.ML

다중 매니폴드 클러스터링을 위한 미니맥스 비율과 개선된 스펙트럴 수렴

Minimax Rates and Improved Spectral Convergence for Multi-Manifold Clustering

본 연구는 매니폴드들이 서로 교차할 수 있는 다중 매니폴드 혼합 분포(multi-manifold mixture distribution)로부터 독립적으로 추출된 $n$개의 데이터 점을 이용하여, 텐서화된(tensorized) 밀도 가중(density-weighted) 라플라스-벨트라미(Laplace-Beltrami) 연산자의 고유쌍(eigenpair) 추정 문제를 다룬다. $d$를 매니폴드 구성 요소들 중 가장 큰 고유 차원(intrinsic dimension)으로, $s\geq2$를 샘플링 밀도의 평활성(smoothness)으로 정의한다. 단순(simple)하고 자명하지 않은(nontrivial) 고유쌍에 대해, 텐서화된 라플라스-벨트라미 연산자의 고유값과 고유함수를 근사하는 미니맥스 비율(minimax rate) $n^{-s/(d+2s)}$를 수립하고, 지지 매니폴드(supporting manifold)가 알려져 있을 때 커널 밀도 추정(kernel density estimation)에 기반한 연속체 플러그인(plug-in) 추정량이 동일한 비율을 달성함을 보인다. 더 나아가 매니폴드에 구애받지 않는(manifold-agnostic) 그래프 라플라시안(graph Laplacian) 추정량을 분석하여, 그 고유쌍이 로그 인자(logarithmic factor)를 제외하고 비율 $n^{-1/(2.5d-1)}$로 텐서화된 라플라스-벨트라미 연산자의 고유쌍에 수렴함을 증명하며, 이는 다중 매니폴드 학습(multi-manifold learning)에 대해 기존에 알려진 스펙트럴 수렴 비율을 개선한 것이다. 합성 다중 매니폴드 데이터에 대한 수치 실험은 본 정리들이 보장하는 비율을 뒷받침한다. 이러한 결과들은 다중 매니폴드 스펙트럴 추정의 정보 이론적 난이도를 규명하며, 오라클(oracle) 구성 요소 정보 없이 학습할 때 발생하는 추가적인 비용을 정량화한다.

arXiv:2610.13881v1cs.LG

예측은 충분한 메모리 상태가 아니다

Prediction Is Not a Sufficient Memory State

현재의 모든 예측(prediction)을 그대로 재현하는 메모리(memory)라 할지라도 다음 관측값으로부터 학습하는 방법은 잊어버렸을 수 있다. 우리는 정확한 누적 학습(cumulative learning)과 어텐션(attention)에 대해 이러한 구분을 규명한다. 제약이 없는 실수 특징(feature)과 레이블(label)을 가진 매끄러운 볼록 잔차 손실(smooth convex residual loss)에 대해, 고정된 차원의 연속적인 순환 상태(recurrent state)는 손실(loss)이 다항식(polynomial)일 때에만 정확히 존재한다. 일반적인, 가중치가 없는 관측값의 경우, 차수(degree) $D$는 정확히 $r=\binom{d+D}{D}-1$개의 좌표(coordinate)를 필요로 한다; 현재 예측자(predictor)가 하나로 고정된 히스토리(history) 사이에서도, 연속(continuation)을 위해 정확히 $r-d$개의 좌표가 여전히 필요할 수 있다. 다항식이 아닌 손실(nonpolynomial loss)은 이러한 동일 예측 히스토리(equal-prediction history)에 대해 무한한 요구사항을 가진다. 유계 스칼라 로지스틱(logistic) 예제는 임의의 유한 도함수(derivative) 제트(jet)를 고정한 후에도 이러한 장애(obstruction)를 유지한다. 리지 회귀(ridge regression)의 경우, 숨겨진 증거는 설계 행렬(design matrix)이다: 정확한 상태는 $dp+d(d+1)/2$의 비용이 드는 반면, 예측자(predictor)는 $dp$의 비용이 든다. 잘 조건화된(well-conditioned) 제로 예측 패밀리(zero-prediction family)에서, 최적의 $B$비트 압축(compression)은 임의의 무작위화된 코드(randomized code)를 사용하더라도 $d^{-1}2^{-2B/s_d}$ ($s_d=d(d+1)/2$) 차수의 평균 1회 업데이트 오차를 갖는다. 커널(kernel) 어텐션(attention)은 두 번째의 정확한 닫힘 분류(closure classification)를 제공한다. 이 결과들은 새로운 회귀(regression) 알고리즘을 제안하거나 학습된 모델(trained model)의 성능 향상을 주장하기보다는, 미래의 업데이트가 드러내는 것이 무엇인지를 규명한다.

arXiv:2610.10640v1math.ST

절단된 확산 샘플러는 몇 개의 방향을 유지해야 하는가? 멱법칙 스펙트럼에서의 일치하는 상·하한 경계

How Many Directions Must a Truncated Diffusion Sampler Retain? Matching Bounds Under Power-Law Spectra

확산 샘플러(diffusion sampler)는 선택된 스펙트럼 좌표만을 생성하고 나머지 방향을 노이즈로 채움으로써 연산량을 줄일 수 있다. 그렇다면 샘플러는 몇 개의 방향을 유지해야 하는가? 본 연구에서는 멱법칙(power-law) 공분산 스펙트럼을 가진 데이터에 대해 이 문제를 연구한다. 평활화된(smoothed) 타깃과 비교한 가우시안 데이터의 경우, 주변 차원(ambient dimension)이 충분히 크다면 유지해야 하는 방향의 수에 대한 일치하는 상·하한 경계(matching bounds)를 증명한다. 절단 오차(truncation error)는 유지된 좌표에서 샘플러의 정확도와 무관하게 생략된 방향들의 결합된 위너 이득(Wiener gain)에 의해 결정된다. 따라서 신호가 출력 노이즈 수준을 초과하는 방향만 유지할 경우 사라지지 않는(non-vanishing) 오차가 남을 수 있으며, 개별적으로는 미약한 다수의 방향이 총합적으로는 여전히 유의미하게 작용한다. 이러한 특성 분석을 확산 수렴(convergence) 경계와 결합하여 정확한 스코어(exact score) 하에서 충분한 샘플링 단계 복잡도(sampling-step complexity)를 도출한다. 또한 상한 경계는 추정된 주성분과 성분별 가우시안 혼합 모델(Gaussian mixtures)로도 확장된다. 실질적인 지침은 총 스펙트럼 꼬리 오차 예산(aggregate spectral-tail error budget)을 사용하여 유지할 부분공간을 선택한 다음, 이에 맞춰 확산 노이즈 수준을 결정하는 것이다.

arXiv:2610.10636v1cs.LG

D-SLR: 서로소 행-희소 및 저계수 분해

D-SLR: The Disjoint Row-Sparse plus Low-Rank Decomposition

재구성을 위해 행렬을 압축할 때는 여전히 단일 저계수(low-rank) 구조로 데이터를 근사하는 절단 SVD(truncated SVD)가 기본적으로 사용됩니다. 중첩되는 행-희소(row-sparse) 성분을 추가하여 잔차를 더욱 줄이는 방식이 흔히 쓰이지만, 이러한 결합 문제를 해결하는 방법들은 대개 반복적 솔버(iterative solver)와 정규화(regularization) 매개변수(parameter) 튜닝을 필요로 합니다. 본 논문에서는 절단 SVD를 개선하거나 정확히 일치시키는 닫힌 형식(closed-form)의 직접 대체제인 서로소 행-희소 및 저계수(D-SLR, Disjoint Row-Sparse plus Low-Rank) 분해를 제안합니다. D-SLR은 행을 그대로 저장하거나 저계수 적합으로 근사하는 것 중 하나로만 제한하며, 둘 다 적용하지는 않습니다. 제곱 오차 기준에서 이러한 제한은 아무런 손실을 초래하지 않습니다. 즉, 모든 비자명한 랭크와 저장된 행 수(형태)에서 더 적은 매개변수로 서로소 형태의 결합 최적해를 달성할 수 있습니다. 저장된 행 수가 0일 때 D-SLR은 절단 SVD로 환원되므로 동일한 비용에서 절단 SVD보다 결코 나빠지지 않습니다. 이 알고리즘은 오차 대 매개변수의 전체 트레이드오프를 평가하며, 이후 제공된 목표 오차나 매개변수 수, 또는 선택 규칙에 따라 해가 결정됩니다. 그리드와 해를 구하는 데 드는 비용은 튜닝이나 정규화 없이 SVD 3회 분량에 불과합니다. 또한 모든 형태에 대해 오차에 대한 가정 없는 사후(a-posteriori) 하한을 도출하여, 각 해에 대해 랭크 및 저장된 행 수의 다른 선택에 따른 잠재적 이득에 관한 계산 가능한 인증서를 제공합니다. 합성 데이터 및 실제 데이터(대규모 언어 모델(LLM) 임베딩(embedding) 테이블, 네트워크 트래픽, 초분광 영상)에 대한 실험을 통해 성능 향상을 확인하고 인증서를 정량화합니다.

arXiv:2607.20760v2stat.ME

공편도(coskewness) 기반 차원 축소를 활용한 투블록 클러스터링 트리: 구간별 다변량 선형 체제 복원

Twoblock clustering trees with coskewness-based dimension reduction: recovering piecewise multivariate linear regimes

다변량 반응변수를 위한 해석 가능성이 매우 높은 회귀 트리인 투블록 클러스터링 트리(twoblock clustering tree, \tbtree)를 소개합니다. 투블록 트리는 리프(leaf) 노드에 국소 다변량 선형 모델을 배치하고, 국소 리프 모델 및 불순도(impurity) 계산에 조밀(dense) 또는 희소(sparse) 투블록 차원 축소를 사용하는 결정론적 의사결정 트리입니다. 이를 통해 도출된 모델은 연산 효율성이 높으며 매우 뛰어난 해석력을 가질 수 있습니다. 본 추정기의 주요 목표는 데이터에 대한 해석 가능하고 체제(regime)에 정렬된 구간별 선형(piecewise-linear) 설명을 제공하는 것이며, 분할과 리프의 분리(split/leaf decoupling)를 통해 제약 조건으로서 예측 경쟁력을 유지합니다. 본 논문은 의사결정 트리 추정기 자체를 제안하는 것 외에도 공편도(coskewness) 극대화에 기반하여 데이터 내 비정규 클러스터 식별을 용이하게 하는 투블록 차원 축소 공간 추정기를 소개합니다. 이 트리는 본질적으로 국소 선형 모델들의 집합을 생성하므로 구간별 선형 체제를 복원하는 데 적합하며, 이는 시뮬레이션을 통해 입증됩니다. 아울러 두 가지 실제 데이터 예시를 통해 투블록 트리가 더 복잡한 비선형 의존성을 모델링할 수도 있으며, 랜덤 포레스트(random forests)와 같은 블랙박스 모델링 기법과 대등한 성능을 보일 수 있음을 보여줍니다. 각 단계에서 분할을 생성하는 투블록 모델과 리프에 있는 모델 모두를 직접 점검하고 해석할 수 있습니다.

arXiv:2607.08987v2cs.LG

군 불변 스펙트럴 임베딩

Group Invariant Spectral Embedding

스펙트럴 임베딩(spectral embedding) 방법은 내재적 저차원 구조를 가진 고차원 데이터셋의 차원 축소 및 군집화에 널리 사용된다. 실제 응용에서 중요한 많은 데이터셋이 회전과 같은 대칭성에 대한 불변성을 보임에도 불구하고, 표준 스펙트럴 임베딩 방법은 이를 고려하지 못하여 대칭 관계로 연관된 데이터 포인트들을 무관한 것으로 취급한다. 이 문제에 대한 우리의 접근법은 스펙트럴 임베딩에 사용되는 친화도 커널(affinity kernel)에 대칭성을 직접 반영하는 것이다. 우리는 콤팩트 리 군(compact Lie group) $G$에 의해 주어지는 대칭성을 지닌 리만 데이터 다양체 $M$의 경우를 분석하며, 적절한 조건 하에서 세 가지 유형의 불변 커널로 구성된 그래프 라플라시안이 몫공간(quotient space) $M/G$ 상의 명시적인 2계 미분 연산자로 점별 수렴(pointwise convergence)함을 증명한다. 우리의 분석은 군의 차원에 따라 유효 차원이 감소하므로 수렴 속도가 향상됨을 시사한다. 우리는 $\mathrm{SO}(2)$ 또는 $\mathrm{SO}(3)$ 대칭성을 가진 데이터셋에서 제안하는 접근법을 검증하고, 무한한 데이터 극한에서도 내재적 기하학을 복원하지 못하는 표준 스펙트럴 임베딩과 달리 $G$-불변 스펙트럴 임베딩은 데이터의 내재적 기하학을 복원함을 보인다.

arXiv:2505.24311v3stat.ML

일반화된 커널을 사용한 t-분포 확률적 이웃 임베딩(t-SNE)의 평형 분포

Equilibrium Distribution for t-Distributed Stochastic Neighbor Embedding with Generalized Kernels

본 논문은 입력 커널(kernel)과 출력 커널의 특정 클래스를 사용하는 t-분포 확률적 이웃 임베딩(t-SNE)에 대한 대규모 샘플(large-sample) 변분 문제(variational problem)를 연구한다. 입력 분포(law)는 콤팩트 지지집합(compact support)을 가지며, 그 지지집합 위에서 연속인 밀도를 갖는다. 엔트로피 방정식(entropy equation)이 입력 커널의 척도 매개변수(scale parameter)를 결정하며, 우리는 밀도가 양수인 내부점에서 이 매개변수가 존재하고 유일함을 증명한다. 이어서 해(solution)가 존재하고 전체 지지집합에서 균등하게 유계(uniformly bounded)가 되기 위한 충분조건을 제시한다. 이러한 조건들과 출력 커널에 대한 감쇠(decay) 가정 하에서, 이산 최적값(discrete optimal values)은 연속체 최솟값(continuum minimum)으로 수렴한다. 근사 최소화자(approximate minimizers)의 경험적 측도(empirical measure)는 평행이동(translation) 후 조밀(tight)하며, 모든 부분수열 극한(subsequential limit)은 평형 방정식(equilibrium equation)을 만족하는 콤팩트 지지 최소화자(compactly supported minimizer)이다. 허용 가능한 출력 커널에는 가우시안 커널(Gaussian kernel)이 포함되며, 출력 차원이 2일 때는 코시 커널(Cauchy kernel)도 포함된다. 수치 예제(numerical examples)를 통해 서로 다른 커널로 얻은 2차원 표현(representation)들을 비교한다.

arXiv:2504.12392v3stat.ME

원형 분석(Archetypal Analysis)에 관한 서베이

A Survey on Archetypal Analysis

원형 분석(archetypal analysis, AA)은 1994년 Adele Cutler와 Leo Breiman에 의해 관측치로부터 이른바 원형(archetype)이라 불리는 서로 구별되는 측면들을 추출하기 위한 계산적 절차로 처음 제안되었으며, 각 관측 기록은 이러한 원형들의 혼합(즉, 볼록 결합)으로 근사된다. 이를 통해 AA는 특징 추출과 차원 축소를 위한 간단하고 해석 가능하며 설명 가능한 표현을 제공하여 고차원 데이터의 구조를 이해하는 데 도움을 주고, 과학 전반에 걸친 광범위한 응용을 가능하게 한다. 그러나 AA는 관련 최적화 문제가 비볼록(nonconvex)이라는 점에서 특히 어려움에 직면하기도 한다. 본 서베이는 연구자와 데이터 마이닝 실무자에게 AA가 제공하는 방법론과 기회에 대한 개요를 제공하는 최초의 서베이로서, 서로 다른 과학 분야에 걸친 AA의 다양한 응용 사례와 AA를 활용한 데이터 모델링의 모범 사례 및 그 한계점을 함께 조사한다. 본 서베이는 AA와 관련된 중요한 향후 연구 방향을 설명하며 마무리된다.

arXiv:2606.05335v2cs.LG

대규모 선형 오토인코더에서 학습 영역의 프리즘 계층 구조

A prism hierarchy of learning regimes in large linear autoencoders

머신러닝 모델에 대한 이론적 연구에서는 경사하강법(gradient descent)의 학습(training) 역학이 이론적으로 다루기 쉬워지는 다양한 극한 영역(limiting regime)을 흔히 고려합니다. 그러나 특정 유형의 모델에 대해 정성적으로 서로 다른 극한 학습 영역들을 체계적으로 파악할 수 있는 전체적인 체계(picture)를 갖추는 것이 바람직합니다. 본 논문에서는 입력 및 잠재 차원, 초기화(initialization) 크기, 그리고 학습 데이터셋 크기로 특성화되는 대규모 가중치 공유(weight-tied) 선형 오토인코더를 대상으로 이러한 체계를 제안합니다. 이 모델은 가중치에 대해 비선형적이며 그래디언트 플로우(gradient flow)의 일반적인 이론적 해를 갖지 않습니다. 본 연구에서는 형식적 손실 확장 계층 구조(formal loss-expansion hierarchy) 수준에서 이 모델의 극한 영역들이 삼각기둥(triangular prism)의 면과 자연스럽게 대응됨을 보입니다. 구체적으로 삼각기둥의 2차원 면(2-face)과 연관된 다섯 가지 기본 극한 영역이 존재합니다: (1) 대규모 데이터(large-data), (2) 소규모 데이터(small-data), (3) 평균장(mean-field), (4) 좁은 잠재 공간(narrow-latent), 그리고 (5) 자유(free) 영역입니다. 영역 (1, 2, 3, 4)에 대해 그래디언트 플로우 하에서의 극한 학습 손실 및 모집단 역학을 유도하고 엄밀하게 특성화하며, 이러한 극한으로의 수렴(convergence)을 엄밀히 증명하고 실험 결과와의 우수한 일치성을 확인합니다. 그 결과로 얻은 극한들은 스펙트럼 임계 감속(spectral critical slowing), 초기화로 인한 주성분 분석(PCA) 최적점으로부터의 고착(trapping), 그리고 모집단 손실은 지수적으로 수렴하는 반면 학습 손실은 대수적(algebraically)으로만 완화되는 영역들을 밝혀냅니다.

arXiv:2402.03809v2math.OC

고차원 가우시안 프로세스 모델링을 위한 가법성과 능동 서브스페이스의 결합

Combining additivity and active subspaces for high-dimensional Gaussian process modeling

가우시안 프로세스(Gaussian process)는 우수한 예측 정확도, 해석적 다루기 쉬움(analytical tractability), 그리고 내장된 불확실성 정량화(uncertainty quantification) 기능 덕분에 회귀 분석에서 널리 활용되는 기법입니다. 그러나 변수의 수가 증가할 때마다 차원의 저주(curse of dimensionality)를 겪게 됩니다. 이러한 난제는 일반적으로 문제에 추가적인 구조를 가정함으로써 해결되며, 주로 가법성(additivity) 또는 낮은 내재적 차원(low intrinsic dimensionality)을 가정하는 방식이 선호됩니다. 본 논문에서는 이들의 상대적 장점을 논의한 후, 고차원 가우시안 프로세스 모델링을 위해 이를 다중 충실도(multi-fidelity) 전략과 결합하는 기여를 제시합니다. 우리는 이에 상응하는 구조 설계를 상세히 설명하고, 합성 함수 및 데이터셋을 통한 실험을 통해 그 이점을 입증합니다.

arXiv:2606.11570v2stat.ML

전자 건강 기록에서 강건하고 유연한 지식 전이를 통한 스펙트럼 임베딩 강화

Enhancing Spectral Embedding through Robust and Flexible Knowledge Transfer in Electronic Health Records

본 논문에서는 데이터가 고차원이지만 표본 크기가 제한적인 전자 건강 기록(EHR)의 희귀질환 코호트에서 임상 개념과 환자에 대한 저차원 임베딩(embedding)을 도출하기 위한 스펙트럼 기반 비지도 표현 학습 프레임워크를 제안합니다. 이러한 문제를 극복하기 위해, 희귀질환 코호트와 부분적으로 중첩되는 부분 공간을 공유하는 더 넓은 모집단에서 추출한 지식 행렬을 통합합니다. 본 연구의 방법은 잠재 데이터 행렬과 지식 행렬 간의 제한적인 일대일 신호 정렬 가정을 완화하여, 보다 유연하고 현실적인 형태의 구조적 공유를 허용함으로써 기존 접근법들과 차별화됩니다. 또한 새로운 2단계 스펙트럼 임베딩 절차를 도입합니다. 먼저 지식 행렬에서 무관한 성분을 식별하여 제거한 다음, 사영(projection) 기반 방법을 적용하여 공유 성분과 이질적 성분을 분리하여 복원합니다. 시뮬레이션 및 실제 다발성 경화증 코호트 분석 결과에 따르면, 제안된 방법은 희귀질환 데이터에서 흔히 나타나듯 공유 신호가 약하고 부분적으로만 정렬되는 까다로운 시나리오에서 특히 경쟁 방식들보다 우수한 성능을 보입니다.

arXiv:2509.04603v4stat.AP

DRtool: 고차원 군집 분석을 위한 대화형 도구

DRtool: An Interactive Tool for Analyzing High-Dimensional Clusterings

새로운 데이터를 접할 때, 우리는 데이터의 구조와 데이터에 존재하는 전형적인(archetypical) 샘플들을 더 잘 이해하기 위해 군집 분석(cluster analysis)을 자주 수행합니다. 그러나 데이터의 복잡성과 차원이 증가함에 따라 이 과정은 매우 까다로워졌습니다. 고차원 데이터에 존재하는 높은 비율의 노이즈는 패턴과 경향성을 흐리게 만들어 군집을 구별하기 어렵게 합니다. 따라서 군집 탐색 도구 및 군집 검증 도구는 고차원 데이터의 이러한 어려움을 해결하도록 조정되어야 합니다. 비선형 차원 축소(nonlinear dimension reduction)는 올바른 방향으로 나아가는 단계이지만, 이러한 방법들조차 잘못 다뤄질 경우 거짓 구조(false structure)를 생성하는 것으로 알려져 있습니다. 훈련되지 않은 눈으로는 감지하기 어려운 흔한 현상 중 하나는 데이터의 과도한 군집화(over-clustering)입니다. 이러한 노력의 연장선으로, 우리는 분석가가 거짓 군집을 구별하고 고차원 군집화 결과를 더 잘 해석할 수 있도록 돕는 시각적 평가와 가설 검정을 포함한 새로운 군집 검증 기법을 개발했습니다. 사용 편의성을 위해 이러한 새로운 방법들은 R 패키지 DRTool을 통해 제공되는 대화형 툴박스로 제공됩니다.

arXiv:2610.03651v1cs.AI

MRVQ: 차원 및 비트 전송률에 탄력적인 벡터 검색을 위한 단일 상주 인덱스

MRVQ: One Resident Index for Dimension- and Rate-Elastic Vector Search

밀집 검색(dense-retrieval) 서비스는 지연 시간, 품질 및 메모리 예산 변화에 따라 임베딩 접두 차원과 인덱스 비트 전송률(bit rate) 사이를 전환해야 합니다. 각 전송률마다 양자화기(quantizer)를 개별적으로 튜닝하면 최상의 품질을 얻을 수 있지만, 검색 계층이 여러 코드 스트림과 양자화기 상태를 동시에 유지해야 합니다. 본 논문에서는 동결된 임베딩을 위한 사후 잔차 양자화기인 마트료시카 잔차 벡터 양자화(MRVQ, Matryoshka Residual Vector Quantization)를 제안합니다. MRVQ의 최대 전송률 코드는 두 가지 방식으로 잘라낼 수 있습니다. 잔차 단계를 줄이면 전송률이 낮아지고, 임베딩 좌표를 줄이면 차원이 낮아집니다. 따라서 단 하나의 상주 아티팩트만으로 평가 대상인 모든 (차원, 전송률) 쌍을 처리할 수 있습니다. FiQA 및 NFCorpus, 4가지 임베딩 계열, {4, 8, 16}바이트 코드 전반에 걸쳐 MRVQ는 평가된 설계 중 가장 적은 RAM을 사용합니다. 이는 개별적으로 학습된 3개의 QINCo2 인덱스보다 17.8~22.0배 적은 메모리를 사용하며, 간소화된 공유 모델(shared-model) 스틸맨보다 1.89~2.02배 적은 메모리를 사용합니다. 이러한 메모리 절감이 공짜는 아닙니다. 전송률별 QINCo2는 FiQA에서 nDCG@10 기준 0.026~0.107 더 우수합니다. 그러나 MRVQ는 동일한 코드 크기에서 PQ, OPQ 및 AdANNS-OPQ를 능가합니다. 또한 중앙값 기준 420배 더 빠르게 피팅되면서 RaBitQ 및 그 확장 모델과 비슷한 품질을 달성하는 낮은 구축 비용의 PCA 스칼라 설계도 평가합니다. 마지막으로 두 가지 부정적 결과(negative results)를 보고합니다. QINCo2는 높은 전송률에서 학습될 때 붕괴되며, 랭킹 경계 가설은 사전에 지정된 수락 기준을 충족하지 못합니다. 따라서 MRVQ는 탄력적 검색을 위한 저메모리 운영 지점이지 만능 품질 승자는 아닙니다.

arXiv:2610.03321v1math.OC

저계수 근사 검증의 정보 한계

Information Limits of Low-Rank Approximation Certification

저계수 근사(low-rank approximation)에서는 오차가 지정된 허용 오차를 충족하는지 확인하기 위해 추가적인 행렬-벡터 곱이 필요할 수 있습니다. 본 연구에서는 상대 행렬 오차와 평균 제곱 출력 오차 모두에 대해 이러한 검증(certification) 비용을 규명합니다. 단일 근사 행렬 후보의 경우, 허용 실패 확률이 0으로 수렴함에 따라 차원에 무관한 정확한 미니맥스 쿼리 상수를 결정합니다. 본 논문의 주요 결과는 근사 공간이 확장됨에 따라 검증(validation) 반응을 재사용하는 것과 관련이 있습니다. 검증과 독립적으로 구성된 후보군에 대해, 단 하나의 배치(batch)만으로도 검사 횟수에 따라 쿼리 예산을 늘리지 않고 전체 중첩 경로를 지원할 수 있습니다. \(W\)개의 경로 전반에 걸쳐 공유 잔여 에너지를 활용한 집중 부등식은 \(\sqrt{\log(W+1)}\) 의존성을 산출합니다. 일치하는 하한선은 고정된 내부 오차 목표와 충분히 작은 분리 간격에 대해 이것이 최적임을 입증합니다. 마지막으로, 동일한 분산 스펙트럼 계열에서 균일하게 유효한 두 개의 인증서를 비교합니다. 각 규칙 계열 내에서 검증 예산을 최적화하면 실제 목표를 넘어 검증 및 구성에 각각 \(N^{1/3}\) 및 \(N^{2/3}\) 차수의 비용이 발생합니다. 코드는 https://anonymous.4open.science/r/Low-rank-approximation-1275/ 에서 확인할 수 있습니다.

arXiv:2604.07639v2quant-ph

대규모 고전 데이터 처리에 있어 기하급수적인 양자 우위

Exponential quantum advantage in processing massive classical data

고전 데이터 처리 및 머신러닝 분야에서 널리 적용 가능한 양자 우위(quantum advantage)를 입증하는 것은 오랜 기간 근본적인 미해결 문제였습니다. 본 연구에서는 폴리로그(polylogarithmic) 크기의 소형 양자 컴퓨터가 샘플을 실시간(on the fly)으로 처리함으로써 대규모 고전 데이터에 대한 대규모 분류(classification) 및 차원 축소를 수행할 수 있음을 증명합니다. 반면, 동일한 예측 성능을 달성하는 임의의 고전 컴퓨터는 기하급수적으로 더 큰 크기를 필요로 합니다. 나아가, 요구되는 크기보다는 작지만 기하급수적으로 큰 고전 컴퓨터라 하더라도 초다항식적(superpolynomially)으로 더 많은 샘플과 시간을 필요로 합니다. 저자들은 단일 세포 RNA 시퀀싱 및 영화 리뷰 감성 분석(sentiment analysis)을 포함한 실제 응용 분야에서 이러한 양자 우위의 증거를 제시하며, 60개 미만의 논리 큐비트로 크기를 4~6 자릿수(orders of magnitude) 감소시킬 수 있음을 입증합니다. 이러한 양자 우위는 무작위 고전 데이터 샘플만을 사용하여 양자 중첩 상태에서 고전 세계에 접근하는 알고리즘인 양자 오라클 스케칭(quantum oracle sketching)을 통해 가능해집니다. 고전적 그림자(classical shadows)와 결합된 본 알고리즘은 데이터 로딩 및 판독(readout) 병목 현상을 우회하여 대규모 고전 데이터로부터 간결한 고전 모델을 구축하며, 이는 해당 양자 컴퓨터보다 기하급수적으로 크지 않은 고전 컴퓨터로는 불가능함이 증명된 과제입니다. 이러한 양자 우위는 고전 컴퓨터에 무제한의 시간이 주어지거나 BPP = BQP인 경우에도 유지되며, 오직 양자역학의 정확성에만 의존합니다. 종합적으로, 본 연구 결과는 고전 데이터 기반 머신러닝이 양자 우위의 광범위하고 자연스러운 영역이자 복잡도 경계에서 양자역학을 검증하는 근본적인 테스트임을 확립합니다.

arXiv:2506.11641v2math.NA공식 코드 · Papers with Code

에카르트-영-슈미트 관점에서 본 심층 대칭 오토인코더

Deep Symmetric Autoencoders from the Eckart-Young-Schmidt Perspective

심층 오토인코더(deep autoencoder)는 차원 축소와 편미분 방정식의 차수 축소 모델링부터 이상치 탐지 및 신경망 기계 번역에 이르기까지 다양한 머신러닝 응용 분야에서 핵심적인 도구로 자리 잡았습니다. 이러한 실증적 성공에도 불구하고, 특히 고전적인 사영 기반 기법들과 비교했을 때 이들의 표현력에 대한 확고한 이론적 기반은 여전히 부족한 실정입니다. 본 연구에서는 최근 문헌에서 자주 등장하고 있는 광범위한 심층 학습(deep learning) 아키텍처 군인 대칭 오토인코더(symmetric autoencoder)에 대한 종합적인 분석을 제시하여 이러한 방향으로 한 걸음 나아가는 것을 목표로 합니다. 구체적으로, 서로 다른 대칭 아키텍처 군 간의 형식적 구분을 도입하고 수학적 관점에서 이들의 장점과 한계를 분석합니다. 예를 들어, 정규직교성(orthonormality) 제약 조건을 가진 대칭 오토인코더의 재구성 오차는 널리 알려진 에카르트-영-슈미트(EYS) 정리를 활용하여 이해할 수 있음을 보입니다. 또한 분석의 부산물로서, 특잇값 분해(SVD)의 반복 적용에 기반한 대칭 오토인코더용 EYS 초기화(initialization) 전략을 개발합니다. 연구 결과를 검증하기 위해 기존의 심층 오토인코더를 대상으로 제안 기법을 벤치마크하는 일련의 수치 실험을 수행하고, 모델(model) 설계 및 초기화의 중요성을 논의합니다.

arXiv:2609.28371v1stat.ML

일반화된 랑주뱅 역학을 위한 메모리 조건부 확산 모델

Memory-Conditioned Diffusion Model for Generalized Langevin Dynamics

일반화된 랑주뱅 방정식(Generalized Langevin equation)은 분해된 변수(resolved variable)의 진화가 과거에 의존하는 비마르코프 역학(non-Markovian dynamics)을 설명합니다. 본 연구에서는 메모리 커널(memory kernel)을 식별하거나 미분해 변수(unresolved variable)를 재구성하지 않고도, 관측된 궤적으로부터 이러한 역학의 확률적 흐름 맵(stochastic flow map)을 학습하기 위한 메모리 조건부 확산 기법을 제안합니다. 컴팩트하고 재귀적으로 업데이트되는 지수 필터 뱅크(bank of exponential filters)를 통해 흐름 맵은 긴 관측 윈도우에 조건을 부여하지 않고도 여러 시간 척도에 걸쳐 예측 이력을 유지할 수 있습니다. 다음 단계 분포는 현재 관측값과 이 메모리 상태를 조건으로 하며, 고정된 뱅크 크기에서 메모리 상태의 저장 및 업데이트 비용은 이력 길이와 무관합니다. 예측 기준을 통해 메모리 예산을 결정하고 벡터 벤치마크에서는 참조 지원 선택을 활용하며, 선택적 선형 투영을 통해 조건부 차원을 더욱 축소합니다. 커널 기반 스코어 추정기는 스코어 네트워크를 학습(training)시키지 않고도 조건부 샘플을 생성하며, 이 샘플들은 자기회귀 시뮬레이션을 위한 신경 흐름 맵을 학습하는 데 사용됩니다. 세 가지 수치 예제를 통해 작은 조건부 차원에서의 긴 메모리 유지력, 결합된 벡터 역학에서의 예측 압축, 비가우스 조건부 분포 및 간헐적 이벤트를 평가(evaluation)합니다. 비가우스 예제는 플라스마 스크레이프-오프 층(plasma scrape-off layer)의 확률적 모델에서 조건부 비대칭성과 버스트 통계를 재현합니다.

arXiv:2507.21112v4cs.CL

자연어 처리를 활용한 인슈어테크 혁신

InsurTech innovation using natural language processing

인슈어테크(InsurTech)의 급속한 부상과 함께, 전통적인 보험사들은 경쟁력을 유지하기 위해 대체 데이터 소스와 첨단 기술을 점점 더 적극적으로 탐색하고 있다. 본 논문은 자연어 처리(NLP)와 보험 업무 내에서의 새로운 응용에 대해 개념적 개요와 실무 사례 연구를 모두 제공하며, 가공되지 않은 비정형 텍스트를 계리 분석과 의사결정에 적합한 정형 데이터로 변환하는 데 초점을 맞춘다. 전통적인 보험 데이터 소스를 보강하는 인슈어테크 업계 파트너가 제공한 실제 대체 데이터를 활용하여, 상업 보험 맥락에서 특징(feature) 편향 제거, 특징 압축, 산업 분류(classification)를 보여 주기 위해 다양한 NLP 기법을 적용한다. 이렇게 텍스트에서 도출된 보강된 인사이트는 상업 보험 요율 산정을 위한 전통적인 요율 요소를 보완하고 정교화할 뿐만 아니라, 새로운 산업 분류 기법을 도입함으로써 내재된 위험을 평가하는 새로운 관점도 제시한다. 이러한 시연을 통해, NLP가 단순한 보조 도구가 아니라 현대적이고 데이터 기반의 보험 분석을 이루는 근간 요소임을 보인다.