PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2408.17221v3cs.LG공식 코드 · Papers with Code

Lightning Self-Attention의 기하학: 식별 가능성과 차원

Geometry of Lightning Self-Attention: Identifiability and Dimension

정규화가 없는 셀프 어텐션 네트워크의 함수 공간 기하학을 대수 기하학적 도구를 통해 분석하여, 임의의 계층에 대한 식별 가능성과 함수 공간의 차원을 계산한다. 또한 단일 계층 모델에 대한 특이점 및 경계점을 특성화하고 정규화된 셀프 어텐션 네트워크로의 확장을 수치적으로 검증한다.