PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20292v1cs.LG

일반적인 활성화 함수를 위한 시프트 기반 최적화 가능 선형 완화

Shifting-based Optimizable Linear Relaxations for General Activation Functions

신경망(NN)의 사용은 안전 및 보안이 중요한 영역을 포함하여 빠르게 증가하고 있습니다. NN 동작에 대한 형식적 보장을 제공하기 위해, 많은 검증 방법은 활성화 함수의 최적화 가능한 선형 완화에 의존합니다. 그러나 기존 기술은 각 활성화 함수에 대해 수작업으로 설계된 완화에 의존합니다. 따라서 최첨단 활성화 함수로의 확장에는 상당한 수작업 노력이 필요합니다. 이와 대조적으로, 우리의 접근법인 SLiR(Shifting-based Linear Relaxations)은 립시츠 상수 또는 임계점 집합만 필요로 하므로 광범위하게 적용 가능합니다. SLiR는 완화를 기울기로 매개변수화하고, 입력 영역 전체에서 건전한 상한 및 하한을 보장하는 시프트 절차를 통해 해당 오프셋을 계산하여, 정확성을 유지하면서 효율적인 최적화를 가능하게 합니다. 우리의 실험 결과, SLiR는 광범위한 실용적인 활성화 함수에 걸쳐 타이트한 완화를 생성하며, 최첨단 방법과 비교하여 최대 7.8배 더 많은 속성 검증을 가능하게 하는 것으로 나타났습니다.