PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06515v1cs.AR

DxPTA: 광학 데이터플로우 기반 전략을 활용한 포토닉 트랜스포머 가속기 HW/SW 공동 설계를 위한 아키텍처 설계 공간 탐색

DxPTA: An Architecture Design Space Exploration with Optical Dataflow-guided Strategy for HW/SW Co-Design of Photonic Transformer Accelerators

트랜스포머 기반 네트워크는 최첨단 성능을 보이는 주요 AI 모델로 부상했으며, 이는 잠재적으로 범용 인공지능(AGI)으로 향하는 길을 열어줄 수 있다. 그러나 대규모 모델 크기는 여전히 효율적인 구현을 저해하므로, 에너지 효율적 가속을 위한 대안적 해결책의 필요성이 부각된다. 최근 최첨단 연구들은 기존 전자식 가속기 대비 상당한 속도 향상과 에너지 효율 개선을 제공하는 포토닉 트랜스포머 가속기(PTA)를 제안했다. 그러나 이러한 PTA 아키텍처는 응용 제약 조건(예: 면적, 전력, 에너지, 지연)을 고려하지 않고 개발되었다. 더욱이 수동 설계 접근법은 대상 응용에 적합한 아키텍처를 결정하는 데 막대한 설계 시간이 필요하여 이 접근법을 확장 가능하지 않게 만든다. 이러한 한계를 해결하기 위해, 우리는 모든 제약 조건을 충족하는 적절한 PTA 아키텍처의 효율적인 하드웨어/소프트웨어 공동 설계를 가능하게 하는 새로운 설계 공간 탐색 방법론인 DxPTA를 제안한다. 이는 (1) 코히어런트 광학 데이터플로우에 기반하여 PTA 아키텍처 매개변수를 식별하고, (2) 매개변수의 영향/중요도를 분석하며, (3) 이러한 분석을 활용하여 제약 조건 인식 아키텍처 탐색 알고리즘을 설계함으로써 달성된다. 실험 결과, DxPTA는 서로 다른 트랜스포머 기반 모델(즉, DeiT-T/S/B 및 BERT-B/L)에 대해 적절한 PTA 아키텍처를 찾을 수 있음을 보여준다. 이는 50mm^2 면적, 5W 전력, 50mJ 에너지, 10ms 지연의 제약 조건 하에서 최대 26mm^2 면적, 4.8W 전력, 39mJ 에너지, 6ms 지연을 달성하며, 전수 탐색 접근법 대비 15.2배 빠른 탐색 시간을 보인다. 이러한 결과는 다양한 AGI 기반 응용을 위한 효율적인 PTA 설계를 가능하게 하는 DxPTA 방법론의 잠재력을 보여준다.