PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.34628v2cs.SE

CLAD: 신경망 검증을 위한 제약 추상 도메인

CLAD: Constrained Abstract Domain for Neural Network Verification

신경망 검증(NNV)은 정의된 영역 내의 모든 입력에 대해 네트워크가 지정된 속성을 만족하는지 정형 검증합니다. 최신 NNV 도구는 추상 도메인(abstract domain)을 활용하여 주어진 입력 영역으로부터 네트워크 동작의 안전한 과근사(sound over-approximation)를 계산하므로, 이러한 추상화의 정밀도(tightness)가 효율성을 근본적으로 결정합니다. 점점 더 정밀해지는 일련의 도메인들이 개발되어 왔으나, 이들은 모두 유효한 입력 영역을 Lp-노름 볼(Lp-norm ball)과 같은 동일하게 제한적인 방식으로 기술합니다. 실제 환경의 입력 영역은 단순한 Lp 볼인 경우가 드물며, 오히려 추가적인 제약 조건이 결합된 Lp 볼 형태를 띱니다. 기존 추상화를 사용해 이러한 영역에서 신경망을 검증하면 느슨한 과근사가 생성되어, 속성 검증에 실패하거나 가짜 반례(spurious counterexample)가 발생하는 결과로 이어집니다. 본 논문에서는 볼록 제약(convex constraint)의 조합으로 정의된 입력 영역에서 신경망의 안전한 과근사를 계산하는 새로운 추상 도메인인 Constrained Lagrangian Abstract Domain(CLAD)을 소개합니다. CLAD는 이러한 제약 조건을 전파하고 실제 실현 가능한 영역에 대해 경계를 강화합니다. 그러나 이러한 제약 조건들의 교집합에서 뉴런의 경계를 구하는 것은 닫힌 형식의 해(closed-form solution)가 없기 때문에, CLAD는 라그랑주 승수(Lagrange multiplier)를 사용해 각 제약 조건을 목적 함수로 완화(relax)하고, 입력에 대한 투영 그래디언트 단계와 승수 업데이트를 번갈아 수행하는 사영 원쌍대(projected primal-dual) 방법으로 결과적인 맥스-민(max-min) 문제를 해결합니다. CLAD는 자동 미분 등을 통해 서브그래디언트(subgradient)를 갖는 모든 볼록 제약을 지원합니다. 저자들은 반공간(halfspace) 또는 L2-볼 제약이 있는 모션 블러 구조화 섭동(motion-blur structured perturbation)을 갖는 4개의 합성곱 신경망 전반에 걸친 1,944개 인스턴스에서 CLAD를 평가합니다. 표준 비제약 Linf 속성에서 CLAD는 유사한 실행 시간으로 GCPCROWN만큼 많은 인스턴스를 검증합니다. 제약된 속성에서 CLAD는 L2-볼 속성에서 GCPCROWN보다 60% 더 많은 인스턴스를 검증하며, 전체적으로는 22% 더 많이 검증합니다.

arXiv:2609.34457v2cs.LG

ZonoGPT: 대규모 GPT 모델 검증을 위한 추상 도메인을 향하여

ZonoGPT: Towards An Abstract Domain for Verifying Large GPT Models

트랜스포머(Transformer) 기반 모델은 추론, 코딩 및 멀티모달 에이전트 작업에 널리 사용됩니다. 강건성(robustness), 안전성(safety), 공정성(fairness)과 같이 요구되는 동작에 대한 정형적 보장(formal assurance)을 제공하기 위해, 신경망(neural network) 검증 기법은 배포 전에 필수적인 속성을 증명하고 감사 가능한 보증을 제공합니다. 그러나 이전 연구는 소규모이거나 제한된 트랜스포머에 머물러 있으며, 심층 모델 전반에 걸쳐 정밀도(precision)를 유지하는 것은 여전히 어려운 과제입니다. 본 연구에서는 네트워크 깊이와 무관한 공간 복잡도를 유지하면서 대규모 트랜스포머를 검증하기 위한 추상 도메인인 ZonoGpt를 소개합니다. ZonoGpt는 구조화된 조노토프(zonotope)와 생성자 축소(generator reduction) 메커니즘을 사용하여 상관관계를 효율적으로 보존합니다. 정밀도를 유지하기 위해, 특징(feature) 관계를 보존하는 어텐션(Attention) 및 LayerNorm 전용 융합 변환과 함께, 생성자 관계를 보존하는 GELU용 아핀 변환(affine transform)을 도입합니다. 이러한 메커니즘을 통해 ZonoGpt는 표준 아키텍처를 검증하는 최초의 접근법이 되었으며, 최대 GPT-2 Medium(24개 블록, 3억 개 이상의 파라미터)에 달하는 공식 HuggingFace 모델로 확장하여 텍스트 및 비전 작업 전반에서 1,339개의 인스턴스를 성공적으로 검증했습니다.

arXiv:2606.03946v2cs.DB

MLSkip: 경량 메타데이터를 통한 ML 필터용 데이터 스킵핑

MLSkip: Data Skipping for ML Filters via Lightweight Metadata

데이터베이스 벤더들이 최근 필터 predicate에서 사용할 수 있는 AI 함수를 출시했다. 이러한 함수는 종종 비용이 큰 블랙박스 ML 모델에 의존하므로 새로운 데이터 관리 과제를 드러낸다. 구체적으로, 정수 및 문자열 데이터에 대한 기존 데이터 스킵핑 기법은 새로운 필터 유형에는 적용되지 못한다. 실제로 blob storage에서 파일을 읽을 때와 같이, 조건을 만족하지 않는 row group을 가지치기할 알려진 메커니즘이 없다. 본 연구에서는 ML 필터를 위한 데이터 스킵핑 기법 연구를 시작한다. Parquet의 기본 min-max 메타데이터만으로도 가지치기를 가능하게 하기에 충분하다고 주장한다. 이를 위해 (i) 최근 제안된 ML 모델용 쿼리 언어와 (ii) 신경망 검증이라는 두 연구 계열과의 연관을 맺는다. 렐루 아키텍처에 대한 예비 결과는 TPC-H 및 TPC-DS의 테이블에서 선택도가 0.1% 미만인 필터에 대해 평균 가지치기 효과가 27.4%에 달함을 보여준다. 마지막으로 공간 조인 연구에서 영감을 받아 향상된 메타데이터 구조, 즉 검증 도구가 더 잘 활용할 수 있는 크기 제한 2D 볼록 껍질(convex hull)을 제안하며, row group 및 column pair당 최대 45바이트만 차지하면서 가지치기 효과를 38.31%로 높인다. DuckDB에서 PyTorch 대비 end-to-end 속도 향상 1.07$\times$를 관측한다.

arXiv:2607.14375v1cs.CC

무작위 매개변수 노이즈는 정확한 렐루 검증을 쉽게 만들지 않는다

Random Parameter Noise Does Not Make Exact ReLU Verification Easy

우리는 적대적 스무딩 모델에서 렐루 네트워크의 정확한 검증을 연구한다. 모든 네트워크 가중치와 바이어스는 가우시안 노이즈로 독립적으로 섭동되고, $[-2,2]$로 클리핑되며, 입력 비트 복잡도에 의해 결정되는 정확한 이진 소수(dyadic) 격자로 반올림된다. 우리는 표준 가정 $\mathrm{NP}\not\subseteq\mathrm{BPP}$ 하에서, 모든 기본 인스턴스에 대해 기대 실행 시간이 네트워크 크기, 비트 복잡도, 및 역 노이즈 수준에 대해 다항식인 건전하고 완전한 검증기가 존재하지 않음을 보인다. 이 결론은 이미 고정 노이즈 수준 $σ_\star=2^{-11}$에서, 단위 박스 위의 단일 은닉층 네트워크에 대해, 은닉층 fan-in이 최대 3이고 기본 계수가 $[-1,1]$에 있을 때 성립한다. 증명은 정확한 간격 임베딩과 정량적 견고성 논증을 결합한다. $m$개 절을 갖는 모든 E3SAT 공식 $Φ$에 대해, 절당 4개의 렐루를 사용하는 구성은 $\max_{x\in[0,1]^n} g_Φ(x)=(m-\operatorname{unsat}(Φ))/3$을 만족하며, 좌표별 임계값 반올림은 목적함수를 결코 감소시키지 않는다. 가중 매개변수 민감도 부등식과 가우시안 집중은 검증 간격이 $m$에 선형적으로 남아, 모든 계수의 집합적 섭동 이후에도 확률 최소 $1-e^{-m/8}$로 유지됨을 보인다. 증명에는 클리핑, 정확한 이진 소수 반올림, 출력층 섭동, 반올림된 가우시안 분포의 다항 비트 샘플링, 그리고 기대 스무딩 실행 시간에서 BPP 알고리즘으로의 변환이 포함된다. 계산 검증은 정확한 항등식을 시험하고, 광범위한 간격과 상수 간격의 서로 다른 스케일링을 보여준다. 이들은 복잡도 정리에 대한 증거라기보다 진단용이다. 이 결과는 명시된 절대 노이즈 모델에서 최악의 경우 기본 네트워크에 관한 것이지만, 매개변수 비퇴화(nondegeneracy)만으로는 정확한 검증에 대한 보편적인 스무딩-다항식 보장이 주어지지 않음을 보여준다.

arXiv:2607.08773v1cs.AI

격자 순회를 통한 다층 퍼셉트론의 구간 인증

Interval Certifications for Multilayered Perceptrons via Lattice Traversal

본 연구에서는 AI 안전성의 근본적인 문제인 적대적 견고성(adversarial robustness)에 대한 엄밀한 이론적 프레임워크를 제시한다. 특히, 적대적 견고성 문제가 격자 순회(lattice traversal) 문제로 환원될 수 있음을 보인다. 이 격자의 각 원소는 입력 점 $\mathbf{x}$를 포함하는 구간, 즉 축 정렬 초직사각형(axis-aligned hyper-rectangle)에 해당한다. 다층 퍼셉트론(MLP) 분류기를 고려할 때, $\mathbf{x} \in I$이고 $\mathbf{x}$가 구간 $I$ 내에서 MLP의 예측을 변경하지 않고 자유롭게 교란될 수 있다면, 구간 $I$는 건전한 인증(sound certification)을 구성한다. 반면, $\mathbf{x} \in I$이고 $\mathbf{x}$가 $I$ 밖으로 이동할 때 MLP의 예측이 반드시 변한다면, 구간 $I$는 완전한 인증(complete certification)을 구성한다. 건전한 인증 문제는 잘 연구된 적대적 견고성에 해당하는 반면, 완전한 인증은 문헌에서 검토된 바 없다. 우리는 격자 순회 연산자를 개발하여 정제 및 검증(refine & verify) 반복 방식에 적용한다. 형식적 MLP 검증기(verifier)를 사용하여 건전 최대성(sound maximality)과 완전 최소성(complete minimality)이 보장된다. 또한, 목적 최적화 문제를 검토하는 과정에서 흥미로운 비대칭성을 발견한다. 완전한 인증의 경우 최솟값 해가 다항식 횟수의 오라클 호출로 얻어지지만, 건전한 인증에서는 이것이 성립하지 않으며, 강한 난해성(intractability) 결과를 증명한다. 더불어 대칭 구간(즉, $\ell_\infty$-구)에서의 최적화 문제를 검토하여 로그 복잡도 알고리즘을 제시한다. 마지막으로, 새로운 ParallelepipedoNN 시스템을 사용한 실증적 평가를 제시한다.

arXiv:2607.03232v1math.CO

신경망의 빠른 SDP 인증: 대규모 다중 클래스 데이터셋을 향하여

Fast SDP certification of neural networks : towards large multi-class datasets

우리는 적대적 견고성(adversarial robustness)에서의 인증 문제에 대한 새로운 이차 모델을 제시하며, 이 모델은 가능한 모든 목표 클래스를 동시에 고려한다. 이 모델을 기반으로, 불완전 검증을 위한 새로운 반정정 프로그래밍(SDP, semidefinite programming) 완화를 제안한다. 우리 접근법의 핵심 장점은 단일 최적화(optimization)로 견고성을 인증함으로써 클래스별 개별 풀이가 필요 없다는 것이다. 이를 통해 상당한 계산 속도 향상이 이루어지며, 클래스 수가 많은 대규모 데이터셋으로의 확장이 가능해진다. 효율성을 더욱 개선하기 위해, 활성 뉴런의 효과적인 가지치기(pruning) 전략을 추가로 제안하여 문제 차원을 줄이고 수렴(convergence)을 가속화한다.

arXiv:2607.01203v1eess.SY

GPU-Parallel Linearization Error Bounds for Real-Time Robust Optimal Control of Nonlinear and Neural Network Dynamics

불확실한 비선형 시스템의 실시간 강인 최적 제어(RNOCP)를 위해, 선형 시변(LTV) 근사의 선형화 오차 경계(LEBs)를 GPU 병렬로 빠르고 미분 가능하게 계산하는 GPUSLS-LEO 방법을 제안한다. 해석적 동역학에는 경로 기반 헤시안 경계를, 신경망 동역학에는 검증기 기반 아핀 완화를 적용하여 최대 168차원 시스템에서 67 Hz의 실시간 제어율을 달성하며 공식적인 안전성 보장을 유지한다.

arXiv:2606.30105v1cs.AI

Propagation of~Interval Belief Structures and~Imprecise Copulas for~Neural Network Verification

Quantitative verification of neural networks requires reasoning about probabilities under substantial uncertainty in both input distributions and their dependence structure. In realistic settings, this information is often only partially specified, and assuming precise probabilistic models can lead to unreliable results. We propose a sound framework for quantitative verification under imprecise probabilistic information, combining interval belief structures to represent marginal uncertainty with imprecise copulas to model uncertain dependence. We develop a propagation method for imprecisely coupled interval belief structures through feed-forward neural networks. Using mixed imprecise copula volumes, we derive sound push-forward constructions through affine transformations and activation functions. The resulting output can provide guaranteed lower and upper bounds on probabilistic safety properties, valid for all probability models compatible with the specified imprecise inputs.

arXiv:2606.20292v1cs.LG

일반적인 활성화 함수를 위한 시프트 기반 최적화 가능 선형 완화

Shifting-based Optimizable Linear Relaxations for General Activation Functions

신경망(NN)의 사용은 안전 및 보안이 중요한 영역을 포함하여 빠르게 증가하고 있습니다. NN 동작에 대한 형식적 보장을 제공하기 위해, 많은 검증 방법은 활성화 함수의 최적화 가능한 선형 완화에 의존합니다. 그러나 기존 기술은 각 활성화 함수에 대해 수작업으로 설계된 완화에 의존합니다. 따라서 최첨단 활성화 함수로의 확장에는 상당한 수작업 노력이 필요합니다. 이와 대조적으로, 우리의 접근법인 SLiR(Shifting-based Linear Relaxations)은 립시츠 상수 또는 임계점 집합만 필요로 하므로 광범위하게 적용 가능합니다. SLiR는 완화를 기울기로 매개변수화하고, 입력 영역 전체에서 건전한 상한 및 하한을 보장하는 시프트 절차를 통해 해당 오프셋을 계산하여, 정확성을 유지하면서 효율적인 최적화를 가능하게 합니다. 우리의 실험 결과, SLiR는 광범위한 실용적인 활성화 함수에 걸쳐 타이트한 완화를 생성하며, 최첨단 방법과 비교하여 최대 7.8배 더 많은 속성 검증을 가능하게 하는 것으로 나타났습니다.

arXiv:2606.18454v1cs.LG

Veriphi: 데이터셋 의존적 학습 방법을 이용한 공격 유도 신경망 검증

Veriphi: Attack-Guided Neural Network Verification with Dataset-Dependent Training Methods

Veriphi는 빠른 적대적 공격과 α,β-CROWN 기반 형식적 경계 인증을 결합한 GPU 가속 신경망 검증 시스템으로, 공격 유도 반증으로 검증 시간을 약 5배 단축합니다. MNIST와 CIFAR-10 실험에서 IBP 인증 학습은 단순 데이터셋에서 우수하지만 CIFAR-10에서는 PGD 적대적 학습이 우위를 보여, 검증 전략 선택이 데이터셋 복잡도에 크게 의존함을 보였고 105.8M 파라미터 항공우주 물류 모델까지 확장했습니다.