arXiv:2609.34628v2 cs.SE

CLAD: 신경망 검증을 위한 제약 추상 도메인

CLAD: Constrained Abstract Domain for Neural Network Verification

Hai Duong, Thanh Le, ThanhVu Nguyen

제출 2026-09-28

한국어 초록

신경망 검증(NNV)은 정의된 영역 내의 모든 입력에 대해 네트워크가 지정된 속성을 만족하는지 정형 검증합니다. 최신 NNV 도구는 추상 도메인(abstract domain)을 활용하여 주어진 입력 영역으로부터 네트워크 동작의 안전한 과근사(sound over-approximation)를 계산하므로, 이러한 추상화의 정밀도(tightness)가 효율성을 근본적으로 결정합니다. 점점 더 정밀해지는 일련의 도메인들이 개발되어 왔으나, 이들은 모두 유효한 입력 영역을 Lp-노름 볼(Lp-norm ball)과 같은 동일하게 제한적인 방식으로 기술합니다. 실제 환경의 입력 영역은 단순한 Lp 볼인 경우가 드물며, 오히려 추가적인 제약 조건이 결합된 Lp 볼 형태를 띱니다. 기존 추상화를 사용해 이러한 영역에서 신경망을 검증하면 느슨한 과근사가 생성되어, 속성 검증에 실패하거나 가짜 반례(spurious counterexample)가 발생하는 결과로 이어집니다. 본 논문에서는 볼록 제약(convex constraint)의 조합으로 정의된 입력 영역에서 신경망의 안전한 과근사를 계산하는 새로운 추상 도메인인 Constrained Lagrangian Abstract Domain(CLAD)을 소개합니다. CLAD는 이러한 제약 조건을 전파하고 실제 실현 가능한 영역에 대해 경계를 강화합니다. 그러나 이러한 제약 조건들의 교집합에서 뉴런의 경계를 구하는 것은 닫힌 형식의 해(closed-form solution)가 없기 때문에, CLAD는 라그랑주 승수(Lagrange multiplier)를 사용해 각 제약 조건을 목적 함수로 완화(relax)하고, 입력에 대한 투영 그래디언트 단계와 승수 업데이트를 번갈아 수행하는 사영 원쌍대(projected primal-dual) 방법으로 결과적인 맥스-민(max-min) 문제를 해결합니다. CLAD는 자동 미분 등을 통해 서브그래디언트(subgradient)를 갖는 모든 볼록 제약을 지원합니다. 저자들은 반공간(halfspace) 또는 L2-볼 제약이 있는 모션 블러 구조화 섭동(motion-blur structured perturbation)을 갖는 4개의 합성곱 신경망 전반에 걸친 1,944개 인스턴스에서 CLAD를 평가합니다. 표준 비제약 Linf 속성에서 CLAD는 유사한 실행 시간으로 GCPCROWN만큼 많은 인스턴스를 검증합니다. 제약된 속성에서 CLAD는 L2-볼 속성에서 GCPCROWN보다 60% 더 많은 인스턴스를 검증하며, 전체적으로는 22% 더 많이 검증합니다.

원문 초록

Neural network verification (NNV) formally verifies that a network satisfies a specified property for all inputs within a defined region. Modern NNV tools employ abstract domains to compute a sound over-approximation of the network's behavior from the given input region, thus the tightness of these abstractions essentially determines efficiency. A long line of increasingly precise domains has been developed, but they all describe the valid input region in the same restrictive way, e.g., an Lp-norm ball. A practical input region is rarely a simple Lp ball, but rather a combination Lp ball with additional constraints. Verifying a network over such a region with existing abstraction produces a loose over-approximation, which results in either failing to verify a property or spurious counterexamples. We introduce Constrained Lagrangian Abstract Domain (CLAD), a new abstract domain that computes a sound over-approximation of neural networks over input regions defined by a combination of convex constraints. CLAD propagates these constraints and tightens bounds over the true feasible region. However, bounding a neuron over the intersection of these constraints has no closed-form solution, so CLAD relaxes each constraint into the objective with a Lagrange multiplier and solves the resulting max-min problem with a projected primal-dual method, alternating a projected gradient step on the input with a multiplier update. CLAD supports any convex constraint with a subgradient, e.g., from automatic differentiation. We evaluate CLAD on 1,944 instances across four convolutional networks with motion-blur structured perturbations with halfspace or L2-ball constraints. On standard unconstrained Linf property, CLAD verifies as many instances as GCPCROWN at a similar runtime. On constrained properties, CLAD verifies 60% more instances than GCPCROWN on L2-ball properties, and 22% more in total.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.34628v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.34457v2cs.LG공통 태그 Adversarial Robustness, neural network verification

ZonoGPT: 대규모 GPT 모델 검증을 위한 추상 도메인을 향하여

ZonoGPT: Towards An Abstract Domain for Verifying Large GPT Models

트랜스포머(Transformer) 기반 모델은 추론, 코딩 및 멀티모달 에이전트 작업에 널리 사용됩니다. 강건성(robustness), 안전성(safety), 공정성(fairness)과 같이 요구되는 동작에 대한 정형적 보장(formal assurance)을 제공하기 위해, 신경망(neural network) 검증 기법은 배포 전에 필수적인 속성을 증명하고 감사 가능한 보증을 제공합니다. 그러나 이전 연구는 소규모이거나 제한된 트랜스포머에 머물러 있으며, 심층 모델 전반에 걸쳐 정밀도(precision)를 유지하는 것은 여전히 어려운 과제입니다. 본 연구에서는 네트워크 깊이와 무관한 공간 복잡도를 유지하면서 대규모 트랜스포머를 검증하기 위한 추상 도메인인 ZonoGpt를 소개합니다. ZonoGpt는 구조화된 조노토프(zonotope)와 생성자 축소(generator reduction) 메커니즘을 사용하여 상관관계를 효율적으로 보존합니다. 정밀도를 유지하기 위해, 특징(feature) 관계를 보존하는 어텐션(Attention) 및 LayerNorm 전용 융합 변환과 함께, 생성자 관계를 보존하는 GELU용 아핀 변환(affine transform)을 도입합니다. 이러한 메커니즘을 통해 ZonoGpt는 표준 아키텍처를 검증하는 최초의 접근법이 되었으며, 최대 GPT-2 Medium(24개 블록, 3억 개 이상의 파라미터)에 달하는 공식 HuggingFace 모델로 확장하여 텍스트 및 비전 작업 전반에서 1,339개의 인스턴스를 성공적으로 검증했습니다.

arXiv:2607.08773v1cs.AI공통 태그 Adversarial Robustness, neural network verification

격자 순회를 통한 다층 퍼셉트론의 구간 인증

Interval Certifications for Multilayered Perceptrons via Lattice Traversal

본 연구에서는 AI 안전성의 근본적인 문제인 적대적 견고성(adversarial robustness)에 대한 엄밀한 이론적 프레임워크를 제시한다. 특히, 적대적 견고성 문제가 격자 순회(lattice traversal) 문제로 환원될 수 있음을 보인다. 이 격자의 각 원소는 입력 점 $\mathbf{x}$를 포함하는 구간, 즉 축 정렬 초직사각형(axis-aligned hyper-rectangle)에 해당한다. 다층 퍼셉트론(MLP) 분류기를 고려할 때, $\mathbf{x} \in I$이고 $\mathbf{x}$가 구간 $I$ 내에서 MLP의 예측을 변경하지 않고 자유롭게 교란될 수 있다면, 구간 $I$는 건전한 인증(sound certification)을 구성한다. 반면, $\mathbf{x} \in I$이고 $\mathbf{x}$가 $I$ 밖으로 이동할 때 MLP의 예측이 반드시 변한다면, 구간 $I$는 완전한 인증(complete certification)을 구성한다. 건전한 인증 문제는 잘 연구된 적대적 견고성에 해당하는 반면, 완전한 인증은 문헌에서 검토된 바 없다. 우리는 격자 순회 연산자를 개발하여 정제 및 검증(refine & verify) 반복 방식에 적용한다. 형식적 MLP 검증기(verifier)를 사용하여 건전 최대성(sound maximality)과 완전 최소성(complete minimality)이 보장된다. 또한, 목적 최적화 문제를 검토하는 과정에서 흥미로운 비대칭성을 발견한다. 완전한 인증의 경우 최솟값 해가 다항식 횟수의 오라클 호출로 얻어지지만, 건전한 인증에서는 이것이 성립하지 않으며, 강한 난해성(intractability) 결과를 증명한다. 더불어 대칭 구간(즉, $\ell_\infty$-구)에서의 최적화 문제를 검토하여 로그 복잡도 알고리즘을 제시한다. 마지막으로, 새로운 ParallelepipedoNN 시스템을 사용한 실증적 평가를 제시한다.

arXiv:2607.03232v1math.CO공통 태그 Adversarial Robustness, neural network verification

신경망의 빠른 SDP 인증: 대규모 다중 클래스 데이터셋을 향하여

Fast SDP certification of neural networks : towards large multi-class datasets

우리는 적대적 견고성(adversarial robustness)에서의 인증 문제에 대한 새로운 이차 모델을 제시하며, 이 모델은 가능한 모든 목표 클래스를 동시에 고려한다. 이 모델을 기반으로, 불완전 검증을 위한 새로운 반정정 프로그래밍(SDP, semidefinite programming) 완화를 제안한다. 우리 접근법의 핵심 장점은 단일 최적화(optimization)로 견고성을 인증함으로써 클래스별 개별 풀이가 필요 없다는 것이다. 이를 통해 상당한 계산 속도 향상이 이루어지며, 클래스 수가 많은 대규모 데이터셋으로의 확장이 가능해진다. 효율성을 더욱 개선하기 위해, 활성 뉴런의 효과적인 가지치기(pruning) 전략을 추가로 제안하여 문제 차원을 줄이고 수렴(convergence)을 가속화한다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.