arXiv:2606.05335v2 cs.LG

대규모 선형 오토인코더에서 학습 영역의 프리즘 계층 구조

A prism hierarchy of learning regimes in large linear autoencoders

Eugene Golikov, Yaroslav Gusev, Dmitry Yarotsky

제출 2026-06-03

저자 비고

arXiv Comments

95 pages; polished and slightly extended version of a paper under review for ICLR'2027

한국어 초록

머신러닝 모델에 대한 이론적 연구에서는 경사하강법(gradient descent)의 학습(training) 역학이 이론적으로 다루기 쉬워지는 다양한 극한 영역(limiting regime)을 흔히 고려합니다. 그러나 특정 유형의 모델에 대해 정성적으로 서로 다른 극한 학습 영역들을 체계적으로 파악할 수 있는 전체적인 체계(picture)를 갖추는 것이 바람직합니다. 본 논문에서는 입력 및 잠재 차원, 초기화(initialization) 크기, 그리고 학습 데이터셋 크기로 특성화되는 대규모 가중치 공유(weight-tied) 선형 오토인코더를 대상으로 이러한 체계를 제안합니다. 이 모델은 가중치에 대해 비선형적이며 그래디언트 플로우(gradient flow)의 일반적인 이론적 해를 갖지 않습니다. 본 연구에서는 형식적 손실 확장 계층 구조(formal loss-expansion hierarchy) 수준에서 이 모델의 극한 영역들이 삼각기둥(triangular prism)의 면과 자연스럽게 대응됨을 보입니다. 구체적으로 삼각기둥의 2차원 면(2-face)과 연관된 다섯 가지 기본 극한 영역이 존재합니다: (1) 대규모 데이터(large-data), (2) 소규모 데이터(small-data), (3) 평균장(mean-field), (4) 좁은 잠재 공간(narrow-latent), 그리고 (5) 자유(free) 영역입니다. 영역 (1, 2, 3, 4)에 대해 그래디언트 플로우 하에서의 극한 학습 손실 및 모집단 역학을 유도하고 엄밀하게 특성화하며, 이러한 극한으로의 수렴(convergence)을 엄밀히 증명하고 실험 결과와의 우수한 일치성을 확인합니다. 그 결과로 얻은 극한들은 스펙트럼 임계 감속(spectral critical slowing), 초기화로 인한 주성분 분석(PCA) 최적점으로부터의 고착(trapping), 그리고 모집단 손실은 지수적으로 수렴하는 반면 학습 손실은 대수적(algebraically)으로만 완화되는 영역들을 밝혀냅니다.

원문 초록

Theoretical studies of machine learning models commonly consider different limiting regimes in which the learning dynamics of gradient descent becomes theoretically tractable. It is, however, desirable to have a systematically obtained picture of qualitatively different extreme learning regimes for a particular type of models. In this paper we propose such a picture for large weight-tied linear autoencoders characterized by input and latent dimensions, initialization magnitude, and training set size. This model is nonlinear in the weights and its gradient flow does not have a general theoretical solution. We show that at the level of the formal loss-expansion hierarchy, its extreme regimes are naturally associated with faces of a triangular prism. In particular, there are five basic extreme regimes associated with the 2-faces of the prism: (1) large-data, (2) small-data, (3) mean-field, (4) narrow-latent, and (5) free. For regimes (1,2,3,4), we derive and rigorously characterize the limiting train and population dynamics under gradient flow, rigorously prove convergence to these limits, and get good agreement with experimental results. The resulting limits reveal spectral critical slowing, initialization-driven trapping away from the PCA optimum, and regimes in which population loss converges exponentially while training loss relaxes only algebraically.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.05335v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.38840v3cs.LG공통 태그 Dimensionality Reduction, Representation Learning

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

arXiv:2609.27074v1cs.CY공통 태그 Dimensionality Reduction, Representation Learning

초월·비밀교 영역의 정량화: 기계학습 방법을 이용한 힌두교와 불교 신격의 비교 연구

Quantifying the Occult: A Comparative Study of Hindu and Buddhist Deities Using Machine Learning Methods

본 연구는 이중 행렬(dual-matrix) 계산 아키텍처를 도입하여 196개의 힌두교 및 어긴러(Vajrayana) 불교 비밀교(密教) 신격의 형태학적·신학적 이질성을 수학적으로 정량화한다. 물리적 형태학은 새로운 "Cardinality Weighting" 알고리즘으로 강화된 이산 Gower 거리 행렬을 통해 평가되며, 신학적 기능은 대규모 언어 모델(LLM) 의미 확장에서 생성된 밀집 벡터 임베딩(dense vector embedding)을 통해 매핑되며, 순환 논증을 완화하기 위한 합성 대리(synthetic proxy)로 명시적으로 활용된다. 다중 모달 위상(topological) 투영은 "상징(iconographic) 위장(camouflage)"의 알고리즘적 검증을 제공하며, 서로 다른 시각적 형태가 구조적으로 공유되는 전통 간 기능을 어떻게 가리는지 보여준다. 또한 본 연구는 "Atin Effect"를 계산적으로 모델링한다—이는 순차적 인지 바이어스에 대한 심리학적 관찰이자 동시에 기계학습 벤치마크로 기능하며—고카디널리티(high-cardinality) 비밀교 닻(anchor)(예: 비나(veena) 또는 잘린 머리)이 체계적 신학적 차이를 압도하여 정통(orthodox) 및 탄트라(Tantric) 존재들을 수학적으로 클러스터링하는 방식을 보여준다. 전통 간 공간 분석은 힌두교 Chinnamasta와 불교 Chinnamunda 같은 최상위 비밀교 현현(manifestation)이 시각적($D_G = 0.288$) 및 의미적($D_C = 0.068$) 경계 모두에서 거의 동일한 수학적 좌표를 공유함을 확립하며, 이는 1:1 비밀교 전승(transfer)을 시사한다. 이 아키텍처를 오픈소스로 공개함으로써, 디지털 인문학(Digital Humanities) 학자와 비교 신학(comparative theology) 연구자가 질적 문화 코퍼스 전반의 잠재적 구조적 연속성을 엄밀하게 매핑할 수 있는 확장 가능한 비지도 기계학습 도구를 제공한다.

arXiv:2609.27441v1cs.LG공통 태그 Dimensionality Reduction, Representation Learning

과제 조건 잠재 정렬을 통한 뇌-기계 인터페이스의 세션 간 안정적 신경 디코딩

Stable Neural Decoding Across Sessions via Task-Conditioned Latent Alignment for Brain-Machine Interfaces

침습적 뇌-기계 인터페이스(BMI)에서 안정적인 장기 신경 디코딩을 달성하는 것은 세션마다 기록된 신경 집단의 변동 때문에 여전히 어렵다. 현재의 잠재 정렬(latent alignment) 접근법은 세션 간 적응 과정에서 과제 의존적 구조를 간과할 수 있다. 우리는 공유 잠재 공간을 학습하여 신경 디코딩을 안정화하는 프레임워크인 과제 조건 잠재 정렬(TCLA, Task-Conditioned Latent Alignment)을 제안한다. TCLA는 신경 재구성(neural reconstruction)과 연속적 행동 감독(continuous behavioral supervision)을 이용해 저차원 source 표현을 학습한다. 대상 세션 적응 시 공유 표현은 고정되며, 각 과제 조건에 대해 source와 target 분포를 따로 정렬함으로써 대상 신경 활동을 source 잠재 공간에 매핑한다. 우리는 여러 과제를 아우르는 7개의 비인간 영장류 데이터셋에서 TCLA를 평가했다. 장기 세션 간 평가에서 TCLA는 평균 $R^2$ $0.476\pm0.014$를 달성했으며, 음의 $R^2$ 실패율은 6.8%에 불과했다. 피험자 내 1,356개 세션 쌍에서 TCLA는 평균 $R^2$ $0.371\pm0.009$와 6.8%의 실패율을 기록했다. 피험자 간 2,134개 세션 쌍에서 TCLA는 평균 $R^2$ $0.218\pm0.004$와 12.9%의 실패율을 달성해 비교 방법들보다 현저히 우수했다. 이 결과는 행동적으로 관련 있고 과제 의존적인 잠재 구조를 보존함으로써 TCLA가 기록 세션과 피험자에 걸친 신경 디코딩의 견고성을 향상시킴을 보여준다. 소스 코드는 \href{https://github.com/FAMD-CASIA/TCLA}{https://github.com/FAMD-CASIA/TCLA}에서 공개되어 있다.

arXiv:2609.27764v1cs.LG공통 태그 Dimensionality Reduction, Representation Learning

기호적 실패 탐지 학습: 머신러닝과 블랙-숄즈 모형의 한계

Learning to Detect Symbolic Failure: Machine Learning and the Limits of Black-Scholes

우리는 옵션 가격 결정을 표현(representation) 문제로 다룬다. 즉, 260만 건의 실제 옵션 계약을 사용하여 머신러닝이 블랙-숄즈(Black-Scholes)로부터의 체계적인 편차를 탐지할 수 있는가? 우리는 세 가지 방식을 비교한다. 학습된 추상 임베딩(커널 PCA), 보존된 도메인 구조(트리 기반 앙상블), 그리고 신경망 검증이다. 트리 기반 방법은 커널 차원 축소보다 21.5%p 높은 성능(93.8% 대 72.3%)을 보였으며, 도메인 전문가가 설계한 특징(그릭스, 머니니스)은 엔지니어링된 특징보다 더 우수한 성능을 보였다. 신경망 기반 편차 레이블과 BS 기반 편차 레이블은 99.9974%의 비율로 일치하며, 이는 편차가 모델의 인위적 결과물이 아니라 시장 구조를 반영함을 시사한다. 우리는 전문가가 설계한 기호적 특징이 존재하는 도메인에서는 추상화를 학습하는 것보다 구조를 보존하는 것이 더 낫다고 결론짓는다. 우리는 활용 가능한 오가격(mispricing)이 존재한다고 주장하지 않는다.

arXiv:2609.28473v1cs.CV공통 태그 Dimensionality Reduction, Representation Learning

고차원 잠재 표현의 확산 가능성에 관하여

On the Diffusibility of High-Dimensional Latents

표현 오토인코더(RAE)는 확산 모델이 사전학습된 시각 인코더의 특징 공간에서 동작하도록 한다. 그러나 많은 기성 인코더는 충실한 재구성을 위해 최적화되어 있지 않아 세밀한 시각적 세부를 버린다. 예상대로, 이미지 재구성을 위해 이러한 인코더를 파인튜닝하면 해당 세부가 복원된다. 그러나 직관에 반하게, 이 절차는 결과 표현의 유효 차원을 줄이며, 변경된 기하학은 생성에 하류 영향을 미친다. 구체적으로, 우리는 이 고차원 공간에서 flow matching의 표준 velocity 예측을 사용하면 모델이 저차원 신호 매니폴드 밖의 직교 노이즈 방향에 맞춰야 하여 최적화가 비효율적임을 보인다. 이에 따라 대신 clean data parameterization($\boldsymbol{x}_{0}$-prediction)을 사용하도록 동기가 생기며, 이는 기저 신호 매니폴드上的 학습에 초점을 맞춘다. 강한 재구성 인코더 여러 개에 걸친 실험에서, $\boldsymbol{x}_{0}$-prediction이 텍스트-이미지 생성 성능을 일관되게 향상시킴을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.