PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19538v1cs.AI

ITNet: 합성곱, 어텐션, 순환을 포괄하는 학습 가능한 적분 변환

ITNet: A Learnable Integral Transform That Subsumes Convolution, Attention, and Recurrence

합성곱 신경망, 순환 신경망, 트랜스포머는 각각 서로 다른 귀납적 편향인 국소성, 순차적 기억, 내용 의존적 쌍별 상호작용을 인코딩하며, 도입 이래 수학적으로 구별되어 왔습니다. 우리는 이러한 파편화가 신호가 처리되어야 하는 방식에 대한 근본적인 다양성을 반영하는 것이 아니라, 단일한 기저 수학적 객체인 학습 가능한 적분 변환에 대한 불완전한 관점을 반영함을 보여줍니다. 우리는 위치와 특징에 동시에 의존하는 학습 가능한 커널을 중심으로 구축된 통합 아키텍처인 적분 변환 신경망(ITNet)을 소개합니다. 이 커널은 쌍별 상호작용을 모델링하여 모델이 데이터로부터 동작을 적응시킬 수 있도록 하는 작은 신경망, 구체적으로 MLP로 구현됩니다. 우리는 합성곱, 셀프 어텐션(멀티 헤드 포함), 자기회귀적 순환(LSTM, GRU, S4, Mamba 포함)이 적절한 파라미터화 하에 특수한 경우로 도출됨을 보이며, ITNet이 연속 연산자의 범용 근사자임을 보여줍니다. 이를 실용적으로 만들기 위해 우리는 타일드 커널 융합, 중요도 가중 몬테카를로 적분, 학습 가능한 저계수 분해를 개발하여 효율적이고 확장 가능한 계산을 가능하게 합니다. 공유 연산자와 가벼운 모달리티별 인코더를 갖춘 단일 ITNet 아키텍처는 ImageNet-1K, GLUE, ModelNet40, VQA v2 및 NLVR2에서 전문화된 베이스라인과 일치하거나 이를 초과합니다. 결과는 단일 학습된 상호작용 메커니즘이 데이터로부터 세 가지 아키텍처 계열의 동작을 모두 복원할 수 있음을 입증합니다.