Information contraction in noisy binary neural networks and its implications
원문 초록
Neural networks have gained importance as the machine learning models that achieve state-of-the-art performance on large-scale image classification, object detection and natural language processing tasks. In this paper, we consider noisy binary neural networks, where each neuron has a non-zero probability of producing an incorrect output. These noisy models may arise from biological, physical and electronic contexts and constitute an important class of models that are relevant to the physical world. Intuitively, the number of neurons in such systems has to grow to compensate for the noise while maintaining the same level of expressive power and computation reliability. Our key finding is a lower bound for the required number of neurons in noisy neural networks, which is first of its kind. To prove this lower bound, we take an information theoretic approach and obtain a novel strong data processing inequality (SDPI), which not only generalizes the Evans-Schulman results for binary symmetric channels to general channels, but also improves the tightness drastically when applied to estimate end-to-end information contraction in networks. Our SDPI can be applied to various information processing systems, including neural networks and cellular automata. Applying the SDPI in noisy binary neural networks, we obtain our key lower bound and investigate its implications on network depth-width trade-offs, our results suggest a depth-width trade-off for noisy neural networks that is very different from the established understanding regarding noiseless neural networks. Furthermore, we apply the SDPI to study fault-tolerant cellular automata and obtain bounds on the error correction overheads and the relaxation time. This paper offers new understanding of noisy information processing systems through the lens of information theory.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
A Robust Feature Downsampling Module for Remote Sensing Visual Tasks
Automatic Detection and Image Recognition of Precision Agriculture for Citrus Diseases
R-MnasNet: Reduced MnasNet for Computer Vision
Real-time Implementation of RMNv2 Classifier in NXP Bluebox 2.0 and NXP i.MX RT1060
mart mobile application to recognize tomato leaf diseases using Convolutional Neural Networks
LENS-GRF: 여드름 중증도 등급 분류 및 다중 평가자 임상 오라클 분석을 위한 게이트 잔차 융합 기반 순열 불변 병변 근거 네트워크
LENS-GRF: Permutation-Invariant Lesion Evidence Network with Gated Residual Fusion for Acne Severity Grading and Multi-Rater Clinical Oracle Analysis
국소 병변 증거는 자동 여드름 중증도 등급 판정을 개선할 수 있으나, 검출기 오류와 임상 등급 기준의 차이가 일반화를 제한할 수 있다. 우리는 전역 Vision Transformer와 YOLO11s 제안에서 얻은 병변 영역 임베딩을 결합하는, 순열 불변 집계와 게이트 잔차 융합을 갖춘 병변 증거 네트워크인 LENS-GRF를 평가하였다. 완전 자동 4-클래스 등급 판정은 ACNE04의 보류 이미지 292장에서 평가하였고, 외부 적응 없이 600개 안면 뷰로 표현되는 PLSBRACNE01 참여자 200명에서도 평가하였다. 주석 보조 추론은 148명의 일치된 부분집합에서 피부과 전문의 3인의 정합된 병변 상자를 사용하였다. 성능 지표로는 정확도, 매크로 평균 정밀도, 민감도, 일대다 특이도를 사용하였다. 쌍체 비교에는 Holm 보정을 적용한 정확 McNemar 검정을 사용하였다. ACNE04에서 자동 LENS-GRF는 정확도 80.82%, 매크로 정밀도 78.80%, 민감도 78.92%, 특이도 92.78%를 달성하였다. 병변 상자를 제공한 경우 내부 정확도는 세 시드 평균 95.89%였다. 전체 외부 코호트에서 자동 LENS-GRF의 정확도는 35.00%로, 독립적으로 학습한 전역 기준선의 42.50%보다 낮았다. LENS-GRF의 외부 매크로 정밀도, 민감도, 특이도는 각각 50.52%, 34.31%, 78.19%였다. 일치된 부분집합에서 의사 A의 병변 주석을 사용한 정확도는 47.97%로, 자동 추론의 35.14%와 비교되었다(비보정 $p = 0.0094$; Holm 보정 $p = 0.0846$). 병변 주석을 제공했을 때의 우수한 내부 성능은 외부 코호트에서의 신뢰할 만한 자동 등급 판정으로 이어지지 않았다. 임상 사용 전에는 더 신뢰할 수 있는 병변 검출, 등급 기준 차이를 고려한 모델링, 독립적 검증이 필요하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.