에너지 보존 신경망 파이프라인: 물리적 보존 제약 조건을 통한 모듈형 신경망의 오류 전파 감쇠
Energy-Conserved Neural Pipelines: Attenuating Error Propagation in Modular Neural Networks via Physical Conservation Constraints
모듈형 신경망 파이프라인은 오류 누적(error compounding) 문제를 겪습니다: 모든 모듈 경계의 노이즈가 전파되어 후속 모듈에서 잠재적으로 증폭될 수 있습니다. 본 연구는 모듈 간 정보 흐름에 대한 강력한 물리적 제약 조건으로 에너지 보존을 도입합니다. 활성화 에너지(특징 벡터의 제곱 L2 놈)는 모든 모듈 경계에서 정확히 보존되도록 강제됩니다. 소프트 에너지 페널티와 달리, 보존은 위반할 수 없는 법칙입니다: 신경망은 뉴런 간에 에너지를 재분배할 수 있지만 생성하거나 파괴할 수는 없습니다. CIFAR-10에 대한 4가지 실험은 다음을 보여줍니다: (1) 노이즈 시그마=0.2에서 보존은 노이즈 없는 정확도(clean accuracy)의 77.4%를 유지하는 반면, 기준 모델은 35.1%, 에너지 페널티 모델은 30.9%를 기록했습니다(p<0.001, 5 seeds); (2) 파이프라인은 깊이 불변성(depth-invariant)을 가지게 되어, 모든 경계에 노이즈가 있는 경우 깊이 2부터 5까지 93.3%를 유지합니다; (3) 이점은 체계적 바이어스(+45.1%), 가우시안(+40.4%), 적대적 노이즈(+4.8%)로 일반화되며, 드롭아웃(dropout)에 대해서는 원칙적으로 영향이 없습니다(-0.3%); (4) ResNet-18에서 보존의 이점은 내재적 정규화(intrinsic normalization)와 반비례하여 스케일링됩니다: 시그마=0.2에서 BatchNorm이 있을 때 +0.3%p, 없을 때 +26.2%p이며, 시그마=0.5에서 +58.0%p에 도달합니다. 실험 5는 실제 모듈형 로봇 파이프라인(MuJoCo 물리 엔진, Franka Panda)에서 연산자를 검증합니다. 별도의 머신에서 수행된 3번의 독립적인 실행(셀당 90번의 시행)에 걸쳐, 보존은 단안 깊이 스타일(monocular-depth-style) 노이즈에 대해 평균 +18.9%p의 이점을 제공합니다. 형식적인 바운드(formal bound)는 보존된 노이즈 에너지가 입력 노이즈 에너지보다 엄격하게 작음을 증명합니다.