학습 시스템은 경험 전반에 걸친 일반화와 과업 관련 세부 사항의 구별 사이의 균형을 맞춰야 한다. 따라서 효과적인 학습은 두 가지를 모두 지원하는 표현을 필요로 한다. 온라인 잠재 원인(latent-cause) 모델은 점진적 추론을 지원하지만 평평한(flat) 분할을 가정하는 반면, 계층적 베이즈 모델은 다수준 구조를 포착하지만 일반적으로 오프라인 추론을 필요로 한다. 우리는 \textbf{Hierarchical Online Learning of Multiscale Experience Structure (HOLMES) model}을 소개한다. 이는 온라인 추론을 통한 계층적 잠재 구조 학습을 위한 계산 프레임워크이다. HOLMES는 중첩 중국식 식당 과정(nested Chinese Restaurant Process) 사전분포의 변형과 순차 몬테카를로(sequential Monte Carlo) 추론을 결합하여, 잠재 구조에 대한 명시적 감독 없이 계층적 잠재 표현에 대해 처리 가능한 시행별(trial-by-trial) 추론을 수행한다. 시뮬레이션에서 HOLMES는 더 상위 수준의 잠재 범주로의 원샷(one-shot) 역방향 전이(backward transfer)를 지원하는 더 간결한 표현을 학습하면서 평평한 모델의 예측 성능과 동등한 수준을 달성했다. 순방향 전이(forward transfer) 과업에서 HOLMES는 다양한 학습 인스턴스에서 학습된 추상적인 형태(shape) 수준 표현을 활용하여, 이전에 한 번도 보지 못한 특징 조합을 가진 자극에 대해 우연 수준 이상의 결과 예측을 추가로 달성했다. 이러한 결과는 순차 데이터에서 계층적 구조를 발견하기 위한 처리 가능한 계산 프레임워크를 제공한다.
인지 심리학에서 영감을 받은 계층적 학습 프레임워크 SCALA는 거친 범주 구조에서 세밀한 인식으로 단계적으로 학습하며, 추가적인 분류 헤드 없이 로짓 집계를 통해 계층적 감독을 구현한다. 데이터가 극히 부족한 환경에서 배경 방해 요소를 억제하고 과제 관련 특징에 집중하는 인간과 유사한 인지적 선택성을 보이며, 정확도 향상과 미관찰 클래스에 대한 강건한 일반화를 달성한다.
다중스케일 단일 인덱스 모델(MSIM)을 계층적 특징 학습의 이론적 틀로 분석하여, Edgeworth 전개를 통한 위너 카오스(Wiener chaos)의 세밀한 저랭크 구조를 규명하고 얕은 네트워크 대비 깊이의 이점을 정량화한다. 상관 목적함수에 대한 온라인 SGD가 $n = \widetilde{O}(d^{K-1})$ 샘플로 $1 - o_d(1)$ 복원을 달성함을 증명하며, 이는 선형 모델인 Tensor PCA와 동일한 샘플 복잡도임을 보인다.
Random Hierarchy Models(RHM)에서 그래디언트 기반 층별 학습으로 다층 합성곱 네트워크가 계층적 구조를 효율적으로 학습할 수 있음을 완화된 조건 하에서 증명한다. 중간 층이 레이블로부터 깨끗한 신호를 받고 관련 특징이 약하게 식별 가능(weakly identifiable)하면, 각 층을 개별 학습하는 shallow-to-deep chaining만으로 목표 함수를 계층적으로 학습하기에 충분하다는 일반 원리에 기반한다.