ZonoGPT: 대규모 GPT 모델 검증을 위한 추상 도메인을 향하여
ZonoGPT: Towards An Abstract Domain for Verifying Large GPT Models
트랜스포머(Transformer) 기반 모델은 추론, 코딩 및 멀티모달 에이전트 작업에 널리 사용됩니다. 강건성(robustness), 안전성(safety), 공정성(fairness)과 같이 요구되는 동작에 대한 정형적 보장(formal assurance)을 제공하기 위해, 신경망(neural network) 검증 기법은 배포 전에 필수적인 속성을 증명하고 감사 가능한 보증을 제공합니다. 그러나 이전 연구는 소규모이거나 제한된 트랜스포머에 머물러 있으며, 심층 모델 전반에 걸쳐 정밀도(precision)를 유지하는 것은 여전히 어려운 과제입니다. 본 연구에서는 네트워크 깊이와 무관한 공간 복잡도를 유지하면서 대규모 트랜스포머를 검증하기 위한 추상 도메인인 ZonoGpt를 소개합니다. ZonoGpt는 구조화된 조노토프(zonotope)와 생성자 축소(generator reduction) 메커니즘을 사용하여 상관관계를 효율적으로 보존합니다. 정밀도를 유지하기 위해, 특징(feature) 관계를 보존하는 어텐션(Attention) 및 LayerNorm 전용 융합 변환과 함께, 생성자 관계를 보존하는 GELU용 아핀 변환(affine transform)을 도입합니다. 이러한 메커니즘을 통해 ZonoGpt는 표준 아키텍처를 검증하는 최초의 접근법이 되었으며, 최대 GPT-2 Medium(24개 블록, 3억 개 이상의 파라미터)에 달하는 공식 HuggingFace 모델로 확장하여 텍스트 및 비전 작업 전반에서 1,339개의 인스턴스를 성공적으로 검증했습니다.