구성적 학습 시스템은 새로운 지식을 습득하는 능력인 가소성(plasticity)과 이전에 학습된 구성 요소를 보존하는 안정성(stability) 사이의 균형을 맞춰야 하며, 이는 특히 작업이 구조를 공유하고 간섭의 위험이 있을 때 중요합니다. 우리는 가중치(weight) 스케일 조작을 통해 고차원 및 저차원 체제를 유도하면서, 작업 분할 순환 신경망과 단일 네트워크 기준선(baseline)을 비교하여 순차적 A-B-A 패러다임에서 모듈형 아키텍처, 작업 유사성, 표현 차원성이 구성적 지속적 학습을 어떻게 공동으로 형성하는지 연구합니다. 고차원 "게으른(lazy)" 체제에서는 두 아키텍처 모두 유사한 성능과 내부 기하학을 달성하며, 이는 표현이 약하게 제약될 때 명시적 모듈 구조가 거의 영향을 미치지 않음을 시사합니다. 저차원 "풍부한(rich)" 체제에서는 모듈성이 결정적이 됩니다: 모듈형 네트워크는 유사한 작업에 대해서는 중첩되고, 중간 정도로 다른 작업에 대해서는 부분적으로 정렬되며, 다른 작업에 대해서는 분리되는 등급화된 작업 특정 부분 공간을 개발하여, 단일 네트워크보다 더 구성적이고 해석 가능한 조직을 생성합니다. 이러한 발견은 표현 차원성과 공변하는 초기화(initialization) 스케일에 의해 유도된 표현 체제를, 지속적 학습에서 구성적이고 모듈화된 구조가 기능적으로 유익한 시기를 결정하는 핵심 요인으로 식별하며, 안전성(safety)과 견고성(robustness)을 고정된 분리 대 공유의 문제가 아닌 표현 부분 공간의 적응적 할당 문제로 보는 것을 지지합니다.
모듈형 신경망 파이프라인은 오류 누적(error compounding) 문제를 겪습니다: 모든 모듈 경계의 노이즈가 전파되어 후속 모듈에서 잠재적으로 증폭될 수 있습니다. 본 연구는 모듈 간 정보 흐름에 대한 강력한 물리적 제약 조건으로 에너지 보존을 도입합니다. 활성화 에너지(특징 벡터의 제곱 L2 놈)는 모든 모듈 경계에서 정확히 보존되도록 강제됩니다. 소프트 에너지 페널티와 달리, 보존은 위반할 수 없는 법칙입니다: 신경망은 뉴런 간에 에너지를 재분배할 수 있지만 생성하거나 파괴할 수는 없습니다. CIFAR-10에 대한 4가지 실험은 다음을 보여줍니다: (1) 노이즈 시그마=0.2에서 보존은 노이즈 없는 정확도(clean accuracy)의 77.4%를 유지하는 반면, 기준 모델은 35.1%, 에너지 페널티 모델은 30.9%를 기록했습니다(p<0.001, 5 seeds); (2) 파이프라인은 깊이 불변성(depth-invariant)을 가지게 되어, 모든 경계에 노이즈가 있는 경우 깊이 2부터 5까지 93.3%를 유지합니다; (3) 이점은 체계적 바이어스(+45.1%), 가우시안(+40.4%), 적대적 노이즈(+4.8%)로 일반화되며, 드롭아웃(dropout)에 대해서는 원칙적으로 영향이 없습니다(-0.3%); (4) ResNet-18에서 보존의 이점은 내재적 정규화(intrinsic normalization)와 반비례하여 스케일링됩니다: 시그마=0.2에서 BatchNorm이 있을 때 +0.3%p, 없을 때 +26.2%p이며, 시그마=0.5에서 +58.0%p에 도달합니다. 실험 5는 실제 모듈형 로봇 파이프라인(MuJoCo 물리 엔진, Franka Panda)에서 연산자를 검증합니다. 별도의 머신에서 수행된 3번의 독립적인 실행(셀당 90번의 시행)에 걸쳐, 보존은 단안 깊이 스타일(monocular-depth-style) 노이즈에 대해 평균 +18.9%p의 이점을 제공합니다. 형식적인 바운드(formal bound)는 보존된 노이즈 에너지가 입력 노이즈 에너지보다 엄격하게 작음을 증명합니다.