PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28248v1cs.LG

hyperbolix: JAX 기반 쌍곡 심층 학습 라이브러리

hyperbolix: Hyperbolic Deep Learning in JAX

본 논문에서는 Flax NNX 기반으로 구축된 JAX용 오픈소스 쌍곡 심층 학습(hyperbolic deep learning) 라이브러리인 hyperbolix를 소개합니다. 우리가 아는 한, 이는 JAX에서 구현된 최초의 포괄적이고 범용적인 쌍곡 심층 학습 라이브러리입니다. 본 라이브러리는 공통 인터페이스를 갖춘 6개의 다양체(유클리드 공간, 푸앵카레 볼, 쌍곡면, $\kappa$-입체투영 모델, 혼합 곡률 곱 공간, 고유 속도 공간)를 포함합니다. 또한 선형 층, 합성곱, 어텐션, 정규화, 위치 인코딩, 회귀 및 벡터 양자화를 아우르는 층 군(layer family)을 구현합니다. 이러한 구성 요소들은 Ganea의 초기 쌍곡 신경망부터 Hypformer 및 Lorentzian ResNet과 같은 최신 완전 쌍곡 아키텍처에 이르는 방법론들을 포괄합니다. 아울러 hyperbolix는 optax 변환으로 구현된 리만 최적화기, 래핑된 분포, 쌍곡 차원 축소 기법을 포함합니다. 이 API는 관용적 JAX 스타일을 따릅니다. 다양체는 상태를 갖지 않고(stateless) 호출 시 곡률이 전달되며, 다양체 연산은 단일 점에 작용하고 jax.vmap을 통해 배치 연산이 가능합니다. 검증된 모든 연산의 정밀도는 원 논문의 폐쇄형(closed-form) NumPy/SciPy 구현 또는 유한 차분을 기준으로 float32 및 float64 모두에 대해 테스트되었습니다. 쌍곡면에서 거리 계산과 같은 표준 2점 연산 공식은 거의 동일한 두 큰 항을 빼기 때문에 원점에서 멀어질수록 정밀도를 잃습니다. hyperbolix는 기존 구현들이 NaN을 반환하는 거리에서도 float32에서 정확도를 유지하는 소거 오차 없는(cancellation-free) 공식으로 이러한 뺄셈을 대체합니다. hyperbolix는 MIT 라이선스 하에 https://github.com/timoklein/hyperbolix 에서 이용할 수 있습니다.

arXiv:2607.20466v1cs.AI

JAXBench: 자율 TPU 커널 최적화 벤치마킹

JAXBench: Benchmarking Autonomous TPU Kernel Optimization

엄격한 벤치마크는 공유 목표를 설정함으로써 자율 GPU 커널 성능 최적화의 발전을 이끌어왔지만, TPU에 대한 이에 상응하는 벤치마크는 존재하지 않는다. Google Cloud TPU에서 AI 생성 커널 최적화를 위한 TPU 네이티브 벤치마크 스위트인 JAXBench를 제시한다. JAXBench는 관련성이 있고 최적화 여지를 제공하는 50개의 JAX 워크로드로 구성된다. 공개 MaxText 라이브러리의 Llama-3.1, DeepSeek-V3, Mixtral, Mamba-2, AlphaFold2 등 아키텍처에서 17개의 프로덕션 ML 연산자를 추출하고, 정확성이 검증된 KernelBench의 33개 연산자를 이식하여 높은 TPU v6e MXU 활용률을 달성하는 새로운 문제 크기로 설정한다. 17개 프로덕션 연산자 중 8개는 공개 Tokamax 라이브러리의 수동 최적화 Pallas 커널과 블록 크기 튜닝을 포함하며, 전문가 상한 기준선을 설정한다. JAXBench에 대한 후보 Pallas 커널 생성을 위해 4가지 피드백 기반 방법을 평가한다. Gemini 3 Flash로 전체 스위트를 평가한 결과, Pallas와 같이 문서화가 부족한 DSL에서는 모델 스케일보다 대상 특화 컨텍스트가 더 중요하다는 것을 확인한다. 큐레이션된 TPU 문서를 조건으로 사용하면 샘플당 정확도가 5.8%에서 37.3%로 향상되며, 50개 벤치마크 중 48개를 1.28배 기하평균 속도 향상으로 해결한다. 정확성이 확보되면 검색 구조가 상당한 이득을 가져오며, Autocomp의 빔 서치 파이프라인은 XLA 대비 1.36배 기하평균 속도 향상에 도달한다. 수동 튜닝된 8개 커널에서 Autocomp는 XLA 대비 1.60배 기하평균을 달성하여 2.08배 Tokamax 상한의 대부분을 회복하지만, 특화된 paged 및 ragged 어텐션 연산자에서는 뒤처진다. 고품질 TPU 커널 최적화는 여전히 어려운 과제이며, 오픈 소스 기여를 지원하기 위해 JAXBench 벤치마크, 평가 하네스, 기준선 결과를 공개한다.