PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.19584v5cs.LG

복소 신경망 하강을 위한 케일러 지형과 보장, 그리고 칼라비-야우 다양체의 탐색 및 파괴

K\"ahler landscapes for complex neural network descents and guarantees including a search and destroy of the Calabi-Yau manifold

우리는 복소 파라미터를 갖는 네트워크의 지형을 연구한다. 우리의 접근은 파라미터에 대한 정보 이론적 다양체 관점과 고전적 최적화 보장에 의해 동기가 부여되며, 돌보 점근론 등 복소 기하학적 다양체의 성질도 아우른다. 하강 경로는 로그 우도 퍼텐셜에 대한 비르팅거 헤시안을 통한 교차 엔트로피 하에서 케일러 정보 계량을 허용한다. 우리는 역계량으로 스케일된 미분된 손실에 따라 하강하므로 하강 경로는 정칙 접다발에 머문다. 우리는 불량한 곡률 조건(또는 그 결여)을 통해 이론적 보장을 훼손하는 정보 다양체를 강조한다. 우리는 칼라비 추측의 위상적 요건을 끌어오기보다 기하학적으로 정의되도록, 전역 퍼텐셜이 있는 비콤팩트 설정에서 특히 칼라비-야우 계량에 초점을 둔다. 비콤팩트 설정에서는 배경에 대한 계량 행렬식을 다중조화 함수 또는 실함수로 쓸 수 있다. 야우의 리우빌 정리를 사용하여, 우리는 비자명한 배경 상호작용 하에서의 작은 고유값 폭발 효과, 자기사상 상수의 기하학적 불변성, 그리고 거의 저순위인 가정을 얻는다. 경험적 설정에서는 리치 평탄 계량이 형성되지 않지만, 큰 고유값은 국소 조건일 수 있으며 리치 퍼텐셜의 하한 덕분에 일반화된 케일러 경우에서도 열린 집합에서 경험적으로 성립할 수 있다. 더욱이 음의 곡률, 특히 단면 곡률이 손실 지형을 교란한다는 점이 발견되었으므로, 우리는 이를 확장하여 음의 정부호 리치 곡률과의 연관성을 도출한다. 우리의 논증은 주로 기하학적 양상을 통해 전개되지만, 초기화 시점의 점근론, 그리고 소멸하는 리치 곡률 및 음의 리치 곡률 하에서 신경망 보장의 실패 모드와의 연결 등 딥러닝 이론에 뿌리를 둔다.