PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01069v1cs.CV

논리 게이트 네트워크의 스케일링을 위한 커널 중복 극복

Overcoming Kernel Redundancy for Scaling Logic Gate Networks

논리 게이트만을 사용하여 동작하는 미분 가능한 논리 게이트 네트워크는 최근 기존 신경망의 효율적인 대안으로 주목받고 있습니다. 그러나 이러한 효율성에도 불구하고, 논리 게이트 네트워크의 스케일링(scaling) 동작은 여전히 충분히 연구되지 않았습니다. 이와 대조적으로 모델(model) 용량의 확장은 딥 신경망에서 핵심적인 설계 원칙이며 일반적으로 성능 향상으로 이어집니다. 이러한 차이는 중요한 질문을 제기합니다: 논리 게이트 네트워크에서도 유사한 스케일링 이점을 달성할 수 있는가? 본 연구에서는 너비(width)를 주요 스케일링 축으로 설정하고 논리 게이트 네트워크에서의 동작을 체계적으로 분석합니다. 분석 결과 단순한 너비 확장은 논리 커널(kernel) 간의 중복성을 유발하는 경우가 많아, 추가 커널의 효과적인 활용을 제한하고 성능 포화로 이어진다는 점을 관찰했습니다. 이러한 한계를 해결하기 위해 커널 그룹 간의 전문화를 유도하여 커널 활용을 재구성하는 동적 논리 커널 프레임워크를 제안합니다. 이를 통해 네트워크는 입력 의존적 커널 라우팅을 거쳐 증가된 너비를 더 잘 활용할 수 있으며, 추론(inference) 시 라우팅과 연산 모두 전적으로 게이트 수준의 불리언(Boolean) 연산으로 구현되도록 보장합니다. 나아가 커널 중복성이 첫 번째 게이트 레벨에서 가장 두드러진다는 점을 발견하고, 해당 레벨에 적응을 집중하는 초기 단계 동적 논리 커널 전략을 도입했습니다. 실험 결과는 제안하는 접근 방식이 커널 활용도를 개선하고 커널 다양성을 증대시켜, 향상된 매개변수(parameter) 효율성과 함께 더 높은 정확도를 달성함을 보여줍니다.