arXiv:2607.21633v3 cs.LG

논리 게이트 네트워크의 깊이 확장성에 대하여

On the Depth Scalability of Logic Gate Networks

Taegun An, Dohun kim, Haebeom Lee, Changhee Joo

제출 2026-07-19

한국어 초록

논리 게이트 네트워크(LGN)는 불리언(Boolean) 연산의 조합을 통해 연산을 수행하지만, 기존 LGN은 깊이가 증가해도 신뢰할 만한 이점을 얻지 못합니다. 본 연구에서는 두 가지 원인으로 최적화 붕괴(optimization collapse)와, 스킵 편향 초기화(skip-biased initialization) 및 스트레이트-스루 추정(straight-through estimation)으로 학습(training)을 안정화한 후에도 지속되는 위상 유발성 출력별 기여도(output-specific credit) 저하를 규명합니다. 이에 따라 각 게이트가 독립된 은닉 척추(private hidden spine)와 직접적인 입력 앵커(direct input anchor)를 결합하는 입력 앵커 논리 게이트 네트워크(IALGN)를 제안합니다. 이 위상은 출력 경로 병합을 방지하는 동시에 모든 층(layer)에서 입력 접근성을 유지합니다. 기여도 진단 결과, 무작위 연결은 출력별 기울기(gradient)를 희석하거나 상충시키는 반면 IALGN은 유용하고 일관된 기여도를 유지함을 보여줍니다. 무작위-$k_x$ 완화는 척추를 완화하지 않으면서 앵커 선택을 개선합니다. MNIST, CIFAR-10 및 CIFAR-100에 걸쳐 IALGN은 최대 150개 층까지 일관된 고정 너비 깊이-정확도 확장을 보이는 반면, 다른 대안 위상들은 성능이 포화되거나 저하됩니다. 선형 프로브, 위상 절제 연구 및 연산 인식 분석은 학습된 IALGN이 비공개 상태를 보존하고 희소한 앵커 조건부 업데이트를 적용함을 보여줍니다. 이러한 결과는 확장 가능한 LGN 깊이를 확보하기 위해 안정적인 최적화와 기여도를 보존하는 정보 접근이 모두 필요함을 시사합니다.

원문 초록

Logic Gate Networks (LGNs) compute through compositions of Boolean operations, yet existing LGNs do not reliably benefit from increased depth. We identify two causes: optimization collapse and topology-induced degradation of output-specific credit that persists even after skip-biased initialization and straight-through estimation stabilize training. We introduce Input-Anchored Logic Gate Networks (IALGNs), in which each gate combines a private hidden spine with a direct input anchor. This topology prevents output-path merging while retaining input access at every layer. Credit diagnostics show that random wiring dilutes or conflicts output-specific gradients, whereas IALGN maintains usable and coherent credit. Random-$k_x$ relaxation improves anchor selection without relaxing the spine. Across MNIST, CIFAR-10, and CIFAR-100, IALGN exhibits consistent fixed-width depth--accuracy scaling up to 150 layers, while alternative topologies saturate or degrade. Linear probes, topology ablations, and operation-aware analysis show that trained IALGNs preserve private states and apply sparse anchor-conditioned updates. These results indicate that scalable LGN depth requires both stable optimization and credit-preserving information access.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.21633v3제출 시각 미확인
  2. arXiv:2607.21633v2제출 시각 미확인
  3. arXiv:2607.21633v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.