심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.
극도의 희소성(sparsity)에서의 비구조적 가지치기(unstructured pruning)는 흔히 표현 붕괴(representational collapse)를 겪으며, 이는 정확도의 급격한 저하를 초래한다. 이를 해결하기 위해, 우리는 사전학습(pretrained), 파인튜닝(fine-tuned), 그리고 과거 스냅샷 모델들과 정렬시켜 희소 네트워크의 임베딩 공간을 정규화하는 백본 대조 가지치기(Backbone Contrastive Pruning, BaCP)를 연구한다. CAP 프레임워크(Xu et al., 2022)의 대조적 분해(contrastive decomposition)를 기반으로, 우리는 여러 가지치기 기준(pruning criteria)에 걸쳐 이 접근법에 대한 엄밀한 동일 예산(matched-budget) 특성 분석을 제공한다. 90가지 설정에서 평가한 결과, BaCP는 표준 가지치기가 실패하는 극도의 희소성 영역에서 정확도를 상당히 개선하며, 표현이 온전하게 유지되는 영역에서는 기준선(baseline)에 근접한 성능을 보인다.
신경주위 침윤(PNI)은 담관암(CCA)에서 불량한 예후와 관련이 있다. 그러나 종양 주변부의 미세하고 공간적으로 이질적인 영상 특성으로 인해 3D MRI로부터 이를 검출하는 것은 여전히 어렵다. 이러한 공간적으로 희소한 단서를 포착하려면 3D MRI의 용적 분석이 필요하지만, 기존 심층 학습 접근법은 용적 의료 영상에서 과도한 계산 비용을 발생시켜 임상 배포를 제한한다. 우리는 이진 스파이크 통신에서 오는 활성화 희소성과 발화율 기반 윈도우 가지치기에서 오는 공간적 희소성을 함께 활용하는 스파이킹 신경망 아키텍처인 Dual Sparsity Spikformer(SpikeDS)를 제안한다. SpikeDS는 두 가지 상보적 메커니즘을 결합하는 Dual Sparsity Spiking Attention(DSSA)을 도입한다. 첫 번째는 발화율로 식별된 현저한 윈도우에만 선택적으로 어텐션을 적용하는 Window-based Expert Mixture Spiking Attention(W-EMSA)이다. 두 번째는 가지치기된 윈도우가 여전히 key-value 소스로 기여하는 비대칭 방식을 통해 전역 컨텍스트 교환을 가능하게 하는 Cross-Window Spiking Self-Attention(CW-SSA)이다. 139명의 CCA 환자 임상 코호트에서 5-fold 교차 검증을 통해 평가한 결과, SpikeDS는 단 14.4 mJ만 소비하면서 AUC 0.753을 달성하여 AUC와 에너지 효율 모두에서 최고 기준선을 능가했다. 이 결과는 이중 희소성이 진단 성능을 저해하지 않으면서 3D spiking transformer의 효율성을 개선하기 위한 효과적인 하드웨어 인식(hardware-aware) 전략을 제공함을 시사한다.
신경망 가지치기(network pruning)는 대규모 신경망의 추론 지연 및 전력 소비를 줄이기 위해 사용된다. 그러나 대부분의 방법은 가지치기 과정에 대한 이해보다 실증적 결과에 집중한다. 우리는 가지치기를 플럭스(flux, 가중치 제거에 대한 그래디언트 응답)와 압력(pressure, 가중치를 가지치기 방향으로 유도하는 전역 정규화)에 의해 결정되는 지속적으로 진화하는 시스템으로 모델링하는 새로운 L0 방법인 Hyperflux를 제안한다. 이 모델을 활용함으로써 Hyperflux의 가지치기 동작은 미시적(가중치 재성장/가지치기) 및 거시적(희소성 수렴 등) 수준 모두에서 이해 가능해진다. 또한 목표 희소성을 안정적으로 달성하는 새로운 압력 스케줄러를 제안한다. Hyperflux는 CIFAR-10, CIFAR-100, ImageNet 데이터셋에서 ResNet-50, VGG-19, DeiT-T/S를 사용해 경쟁력 있는 결과를 달성한다.
전문가 혼합(MoE)이 조건부 연산을 통해 용량을 확장하는 반면, 트랜스포머는 지식 검색을 위한 기본 프리미티브가 없어 연산을 통해 비효율적으로 검색을 시뮬레이션해야 합니다. 이를 해결하기 위해, 우리는 보완적인 희소성 축으로서 조건부 메모리를 도입합니다. 이는 O(1) 검색을 위해 고전적인 N-gram 임베딩을 현대화한 모듈인 Engram을 통해 구현됩니다. 희소성 할당 문제를 공식화함으로써, 신경망 연산(MoE)과 정적 메모리(Engram) 간의 트레이드오프를 최적화하는 U자형 스케일링 법칙을 발견합니다. 이 법칙에 따라 Engram을 270억 매개변수까지 확장하여, 동일 매개변수 및 동일 FLOPs의 MoE 기준선 대비 우수한 성능을 달성합니다. 특히, 메모리 모듈이 지식 검색에 기여할 것으로 예상되었으나(예: MMLU +3.4; CMMLU +4.0), 일반 추론(예: BBH +5.0; ARC-Challenge +3.7) 및 코드/수학 영역(HumanEval +3.0; MATH +2.4)에서 더욱 큰 성능 향상이 관찰되었습니다. 메커니즘 분석을 통해 Engram이 백본의 초기 레이어를 정적 재구성 부담에서 해방시켜 복잡한 추론을 위해 네트워크를 효과적으로 심화시키는 것이 밝혀졌습니다. 또한, 로컬 의존성을 검색에 위임함으로써 글로벌 컨텍스트를 위한 어텐션 용량을 확보하여 장문 컨텍스트 검색 성능을 크게 향상시킵니다(예: Multi-Query NIAH: 84.2 → 97.0). 마지막으로, Engram은 인프라 인식 효율성을 확립합니다: 결정론적 주소 지정 방식을 통해 호스트 메모리에서의 런타임 프리페칭이 가능하며 무시할 수 있는 수준의 오버헤드만 발생합니다. 우리는 조건부 메모리를 차세대 희소 모델을 위한 필수적인 모델링 프리미티브로 전망합니다.
SharQ는 LLM 추론에서 활성화 희소성과 FP4 양자화를 온라인 희소-밀집 분해로 연결하는 학습 없는(training-free) 방법으로, 입력 적응형 N:M 마스크로 추출한 희소 백본을 FP4로 처리하고 밀집 잔차 경로가 마스크 손실과 희소 경로 양자화 오류를 함께 보상한다. 보정·재학습·모델별 튜닝 없이 Llama·Qwen 등에서 NVFP4 대 FP16 정확도 격차의 43–63%를 회복하며, RTX 5090에서 FP16 대비 2.2–2.4배 지연 감소와 FP8 대비 1.2–1.4배 처리량 향상을 달성한다.
수치 노이즈로 생기는 무의미한 비영 계수 꼬리를 반영하지 못하는 고전적 희소 복원의 한계를 해소하기 위해, 정규화된 크기 분포의 섀넌 엔트로피로 유효 비영 계수 수(ENZ)를 정의하고 지지 집합 크기와 분포 효율로 분해하는 이론, 제한 등거리 조건 하 안정성, 분리 가능한 엔트로피 대리 정규화를 제안한다. 희소 신호 복원과 그래디언트 도메인 영상 잡음 제거 실험에서 표준 희소성 패널티 대비 강건하고 계산 효율적이며 경쟁력 있는 성능을 보인다.
지속적 학습(CL) 시스템은 종종 이전에 습득한 지식을 망각하지만, 실제 데이터셋은 여러 요인이 복합적으로 얽혀 있어 망각을 유도하는 기제를 실제로 분리하기 어렵습니다. 우리는 이러한 기제를 관찰 가능하고 테스트 가능하게 만드는 제어된 toy-world 프레임워크를 제시합니다. 합성 생성기-분리기 파이프라인을 사용하여 ground-truth 잠재 특징(latent features)을 정의하고, 조정 가능한 희소성(sparsity)과 중첩(overlap)을 갖는 태스크를 구축하며, 표현 강도와 중첩(superposition, 특징 간의 방향성 중첩)에 대한 측정 가능한 양을 도입합니다. 그런 다음 유지, 중첩, 노출 이력 사이의 희소 동적 관계(SINDy 통해)를 피팅하여 표현 강도의 시간적 변화인 유지 역학(dynamics)을 연구합니다. 유효 계수(effective rank)에 기반한 보완적인 태스크 수준 분석은 표현 용량이 태스크 전반에 걸쳐 어떻게 할당되는지 특성화합니다. 우리의 제어된 실험은 세 가지 시사점을 도출합니다. (1) 중첩은 시간이 지남에 따라 증가하는 경향이 있으며 태스크 경계에서 일시적 하락을 보이는데, 이는 점진적인 드리프트(drift)보다는 경계 특이적 간섭을 시사합니다. (2) 더 높은 특징 희소성은 더 많은 중첩을 유발하지만 필연적으로 망각을 초래하지는 않습니다. 표현이 강력하게 유지될 때 중첩에도 불구하고 망각을 줄일 수 있습니다. (3) 태스크 수준 유효 계수는 희소성에 따라 증가하며, 이는 희소성(sparse) 레짐에서 더 넓은 용량 사용을 나타냅니다. 종합적으로, 이러한 결과는 중첩이 표현 강도 및 용량 할당과 상호작용한다는 것을 보여줌으로써, 더 많은 중첩이 더 많은 망각으로 이어진다는 일반적인 직관을 정교화합니다. 우리의 toy 분석은 CL을 위한 반증 가능한 가설과 진단 도구를 제공합니다.
신경망 가지치기는 예측 성능을 유지하는 것을 목표로 하면서 덜 중요한 파라미터를 제거함으로써 모델 크기를 줄인다. 로또 티켓 가설(LTH)은 적절한 초기화로부터 학습할 때 희소 부분신경망이 조밀 신경망과 동등한 성능을 낼 수 있음을 보여 주지만, 그 반복적 가지치기 절차는 여러 번의 완전한 학습 주기를 필요로 한다. 본 연구는 점진적 크기 기반 가지치기를 단일 주기 대안으로 평가한다. 이 방법은 선형 스케줄을 사용하여 학습 중 희소성을 점진적으로 증가시키고, 활성 가중치 크기에 기반하여 가지치기 마스크를 갱신한다. ResNet, VGG 스타일, LeNet 아키텍처에 걸쳐 CIFAR-10과 MNIST에서 체계적인 실험을 수행하고, 제안 방법을 LTH, SNIP, GraSP를 포함한 대표적인 반복적 및 초기화 기반 가지치기 기준선과 비교한다. CIFAR-10에서 이 방법은 72.9% 희소성에서 ResNet-18에 대해 95.12% 정확도를 달성하며, LTH에서 보고된 90.5%와 비교된다. 극단적인 희소성에서, 이 방법은 97% 희소성에서 VGG 유사 아키텍처에 대해 93.13% 정확도를 달성하며 SNIP의 약 92.0%와 비교되고, 97.97% 희소성에서 VGG-19에 대해 93.44% 정확도를 달성하며 98% 희소성에서 GraSP의 92.19%와 비교된다. ResNet-18에 대한 희소성-정확도 분석은 70–85% 희소성 구간에서 정확도가 조밀 기준선과 0.1 퍼센트포인트 이내로 유지됨을 추가로 보여준다. 이 결과들은 점진적 크기 기반 가지치기가 평가된 설정에서 신경망 희소화를 위한 효과적인 단일 주기 접근법을 제공함을 나타낸다.
희소성은 계산 비용을 비례적으로 늘리지 않으면서 모델 파라미터를 스케일링할 수 있게 한다. 전문가 혼합(MoE) 모델이 점점 더 희소해지고 있지만, 개별 전문가는 일반적으로 크고 밀집(dense)한 상태로 남아 있다. 여기서 우리는 각 전문가를 단일 뉴런으로 구성되도록 축소하고 사용 가능한 많은 뉴런 중 극히 작은 비율만 선택함으로써 희소성을 더욱 높이면 계산 효율성과 해석 가능성이 개선될 수 있음을 보여준다. 직관에 반해, 두 가지를 모두 달성하는 핵심은 전문가에 일반적으로 적용되는 비선형성을 제거하는 것이며, 이는 희소하게 게이팅된 선형 뉴런(sparsely gated linear neurons, sgatlin) 네트워크를 만든다. 동일 연산량(isoflop) 비교에서, 모든 트랜스포머 피드포워드 레이어를 sgatlin으로 교체하면 다양한 계산 예산에 걸쳐 언어 모델의 perplexity가 개선됨을 발견한다. 동시에, 결과적으로 나타나는 피드포워드 회로의 희소성과 선형성은 모델 해석 가능성을 위한 새로운 기회를 제시한다. 소규모 사례 연구에서, sgatlin의 피드포워드 회로는 추가적인 대체 모델을 학습할 필요 없이 해석할 수 있음을 보여준다. 이들이 의미적으로 구조화된 클러스터를 형성하며 사실적 회상(factual recall)에 인과적으로 관여함을 발견한다. 우리의 발견은 계산 효율적이고 해석 가능한 트랜스포머 피드포워드 레이어를 향한 가능한 경로를 제시한다.