PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.18674v2cs.LG

심층 렐루(ReLU) 네트워크의 강건성에 대한 이론적 하한

Theoretical Lower Bounds on the Robustness of Deep ReLU Networks

본 논문에서는 무작위 입력 섭동(random input perturbation)에 대한 매개변수화된 신경망의 강건성에 대한 이론적 연구를 제시합니다. 구체적으로, 주어진 입력의 무작위 $L_2$-섭동이 올바른 분류(classification) 결과를 도출할 확률을 정량화하여 국소 강건성(local robustness)을 분석합니다. 심층 렐루(ReLU) 네트워크에 대해, 고차원 기하학의 도구, 특히 측도 집중 현상(concentration of measure)과 입력-출력 함수에 의해 유도되는 기하학적 구조의 새로운 특성화를 결합하여 국소 강건성의 하한을 도출합니다. 네트워크의 깊이나 아키텍처와 관계없이, 렐루 네트워크에 의해 유도된 입력 공간의 분할에서 각 볼록 다포체(convex polyhedral) 영역은 기껏해야 네트워크 유닛 수만큼의 면을 가짐을 증명합니다. 이러한 기하학적 특성은 본 연구의 강건성 분석에서 핵심적인 요소로 작용합니다. 마지막으로 국소 강건성이 입력 차원에 따라 어떻게 스케일링되는지 분석하고 이웃 영역에 적대적 예제(adversarial example)가 포함될 가능성이 가장 높은 입력 집합들을 특성화합니다. 취약한 지점을 포함하는 결정 경계 이웃의 너비는 차원이 증가함에 따라 급격히 줄어들고 네트워크 유닛 수에 대해서는 로그 형태로만 증가함을 보입니다. 또한 결정 경계의 대략적인 공간 채움 형태(space-filling shapes) 관점에서 취약한 지점 집합의 부피에 대해 논의합니다.