에너지 보존 신경망 파이프라인: 물리적 보존 제약 조건을 통한 모듈형 신경망의 오류 전파 감쇠
Energy-Conserved Neural Pipelines: Attenuating Error Propagation in Modular Neural Networks via Physical Conservation Constraints
한국어 초록
모듈형 신경망 파이프라인은 오류 누적(error compounding) 문제를 겪습니다: 모든 모듈 경계의 노이즈가 전파되어 후속 모듈에서 잠재적으로 증폭될 수 있습니다. 본 연구는 모듈 간 정보 흐름에 대한 강력한 물리적 제약 조건으로 에너지 보존을 도입합니다. 활성화 에너지(특징 벡터의 제곱 L2 놈)는 모든 모듈 경계에서 정확히 보존되도록 강제됩니다. 소프트 에너지 페널티와 달리, 보존은 위반할 수 없는 법칙입니다: 신경망은 뉴런 간에 에너지를 재분배할 수 있지만 생성하거나 파괴할 수는 없습니다. CIFAR-10에 대한 4가지 실험은 다음을 보여줍니다: (1) 노이즈 시그마=0.2에서 보존은 노이즈 없는 정확도(clean accuracy)의 77.4%를 유지하는 반면, 기준 모델은 35.1%, 에너지 페널티 모델은 30.9%를 기록했습니다(p<0.001, 5 seeds); (2) 파이프라인은 깊이 불변성(depth-invariant)을 가지게 되어, 모든 경계에 노이즈가 있는 경우 깊이 2부터 5까지 93.3%를 유지합니다; (3) 이점은 체계적 바이어스(+45.1%), 가우시안(+40.4%), 적대적 노이즈(+4.8%)로 일반화되며, 드롭아웃(dropout)에 대해서는 원칙적으로 영향이 없습니다(-0.3%); (4) ResNet-18에서 보존의 이점은 내재적 정규화(intrinsic normalization)와 반비례하여 스케일링됩니다: 시그마=0.2에서 BatchNorm이 있을 때 +0.3%p, 없을 때 +26.2%p이며, 시그마=0.5에서 +58.0%p에 도달합니다. 실험 5는 실제 모듈형 로봇 파이프라인(MuJoCo 물리 엔진, Franka Panda)에서 연산자를 검증합니다. 별도의 머신에서 수행된 3번의 독립적인 실행(셀당 90번의 시행)에 걸쳐, 보존은 단안 깊이 스타일(monocular-depth-style) 노이즈에 대해 평균 +18.9%p의 이점을 제공합니다. 형식적인 바운드(formal bound)는 보존된 노이즈 에너지가 입력 노이즈 에너지보다 엄격하게 작음을 증명합니다.
원문 초록
Modular neural network pipelines suffer from error compounding: noise at any module boundary propagates and potentially amplifies through subsequent modules. We introduce energy conservation as a hard physical constraint on inter-module information flow. Activation energy (the squared L2 norm of feature vectors) is enforced to be exactly preserved at every module boundary. Unlike soft energy penalties, conservation is an inviolable law: the network may redistribute energy across neurons but cannot create or destroy it. Four experiments on CIFAR-10 demonstrate: (1) conservation retains 77.4% of clean accuracy at noise sigma=0.2, versus 35.1% for baselines and 30.9% for energy-penalized models (p<0.001, 5 seeds); (2) pipelines become depth-invariant, retaining 93.3% at depths 2 through 5 with noise at every boundary; (3) the advantage generalizes to systematic bias (+45.1%), Gaussian (+40.4%), and adversarial noise (+4.8%), with a principled non-effect on dropout (-0.3%); (4) on ResNet-18, the conservation advantage scales inversely with intrinsic normalization: +0.3 pp with BatchNorm, +26.2 pp without at sigma=0.2, reaching +58.0 pp at sigma=0.5. Experiment 5 validates the operator on a real modular robotic pipeline (MuJoCo physics, Franka Panda). Across three independent runs on separate machines (90 trials per cell), conservation provides +18.9 pp average advantage on monocular-depth-style noise. A formal bound proves conserved noise energy is strictly less than input noise energy.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.11341v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MRCert: 유형별 마스킹을 통한 적대적 패치 적용 샘플의 배포 후 패치 강건성 인증 기법
MRCert: Towards Post-deployment Patch Robustness Certification for Adversarially Patched Samples via Type-specific Masking
배포 후 단계에서 심층 학습(deep learning) 모델에 입력되는 데이터는 적대적 패치가 적용되었을 수도 있고 그렇지 않을 수도 있습니다. 패치 경계 내에서 이러한 입력에 대한 패치 강건성 인증은 라벨의 무해성(benignity)을 검증할 수 있으며 높은 예측 정확도를 유지해야 합니다. 그러나 기존의 스무딩(smoothing) 기반 및 마스킹(masking) 기반 복구 방어 기법들은 이 두 가지를 동시에 달성하지 못합니다. 즉, 전자는 예측 정확도를 크게 저하시키고, 후자는 적대적 패치가 적용된 입력에 대해 반환된 라벨의 무해성을 검증할 수 없습니다. 본 연구에서는 두 목표를 모두 달성할 수 있는 타당성을 보여주는 최초의 마스킹 기반 인증 복구 방어 기법인 MRCert를 제안합니다. 인증을 위해 두 유형의 입력(무해한 샘플 및 적대적 패치가 적용된 샘플) 전체에 공통 조건을 적용하는 기존의 모든 연구와 달리, MRCert는 배포 후 단계에서 두 유형에 대한 심층 학습 모델의 유형별 필수 속성을 추론하고, 라벨 복구 및 인증 함수 쌍의 새로운 유형 지향 설계를 통해 라벨 무해성을 검증하도록 이들을 정형적으로 연결합니다. 실험 결과에 따르면 MRCert는 스무딩으로 인한 클린 정확도 저하를 유발하지 않으면서도 패치 크기 16픽셀의 ImageNet에서 35.1%의 적대적 인증 정확도를 달성한 반면, 최고 성능(SOTA)의 PatchCURE는 완전히 실패함을 확인했습니다.
CalCErt: 의료 이미지 분류에서 신뢰도 보정의 구간별 인증
CalCErt: Bin-wise Certification of Confidence Calibration in Medical Image Classification
심층 신경망은 적대적 섭동(adversarial perturbation)에 여전히 취약하며, 이는 예측뿐만 아니라 신뢰도 점수(confidence score)까지 왜곡하여 불확실성 보정(uncertainty calibration)을 저해할 수 있습니다. 기존의 인증 방법들은 예측된 범주를 보존하는 데 초점을 맞추고 있는 반면, 적대적 공격 하에서 보정이 어떻게 작동하는지에 대한 보장을 제공하는 것은 여전히 간과되어 왔습니다. 본 연구에서는 사전학습된 모든 미분 가능한 분류기를 대상으로 구간별(bin-wise) 신뢰도 보정을 인증하는 간단하고 효율적인 사후(post-hoc) 전략인 CalCErt를 소개합니다. 우리의 접근 방식은 경험적 보정 추정치, 통계적 집중 한계(concentration bound), 그리고 신뢰도 함수의 국소 립시츠(Lipschitz) 추정치를 결합하여 반지름 R의 $ell_2$-볼 내에서 최악의 경우에 대한 오보정(miscalibration)의 데이터 의존적 상한을 도출합니다. 11개의 의료 이미지 분류 작업과 다양한 적대적 섭동에 걸쳐 CalCErt를 평가한 결과, 경쟁력 있는 긴밀도(tightness)를 유지하면서도 기준선 전략보다 실질적으로 더 높은 인증 적용 범위(certified coverage)를 보임을 입증합니다. 우리의 코드는 https://github.com/leofillioux/calcert 에서 확인할 수 있습니다.
적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명
Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks
심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
보상 인플레이션: 강화학습을 위한 건강한 자극
Reward Inflation: A Healthy Stimulus for Reinforcement Learning
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제
Backdoor Containment via Expert Quarantine and Shutdown in LLMs
토론
이 논문과 연결된 포럼 글이 아직 없습니다.