신뢰하되 검증하라: 디지털 진화를 위한 최선 노력 고성능 컴퓨팅의 엄밀한 프로파일링
Trust, but Verify: Rigorously Profiling Best-Effort High-Performance Computing for Digital Evolution
한국어 초록
고성능 컴퓨팅(HPC) 기술의 발전은 가용 연산 능력을 급격히 지속해서 증가시키고 있습니다. 디지털 진화(digital evolution)의 맥락에서 이러한 폭발적인 성장은 다중 스케일 생물학적 현상에 대한 가설 기반 탐구와 난해한 문제 영역을 겨냥한 응용 주도형 진화적 최적화(evolutionary optimization) 모두를 발전시킬 기회를 제공합니다. 특히 880,000개 프로세서를 탑재한 Cerebras Wafer-Scale Engine(WSE)과 같은 차세대 AI/ML 하드웨어 가속기 플랫폼의 등장으로 특별한 기회가 생겨나고 있습니다. 그러나 이러한 하드웨어는 온디바이스 데이터 저장 및 이동을 제약하며, 수많은 장치 구성 요소 전반에서 발생하는 장애 취약성으로 인해 이 문제는 더욱 가중됩니다. 전통적인 결정론적(deterministic) 컴퓨팅 패러다임에서 벗어난 최선 노력(best-effort) 기반의 완화 방식은 이러한 제약을 수용하는 데 도움이 될 수 있지만, 재현성을 복잡하게 만들고 인위적인 편향(artifactual bias)을 도입할 위험이 있습니다. 본 연구에서는 이러한 우려 사항을 탐구하여 최선 노력 코드의 런타임 동작을 측정하는 프레임워크를 개발하고, 디지털 진화 프로젝트에서의 최선 노력 컴퓨팅 사례 연구를 검토합니다. 첫 번째 사례 연구는 다세포성(multicellularity) 진화 모델에 최선 노력 CPU 클러스터 다중 처리를 적용한 것으로, 64개 프로세스에서 92%의 스케일링 효율($2.1\times$ 가속)을 제공하고 하드웨어 이상 상황에서도 견고한 서비스 품질 중앙값을 보였습니다. 두 번째 사례 연구는 WSE 기반 시뮬레이션을 검토하여, 하드웨어 결함을 허용하는 희소하고 비동기적인 디바이스-투-호스트(device-to-host) 샘플링을 통해 시공간적 개체군 이력을 추적하는 최선 노력 전략을 입증합니다. 결론적으로, 잠재적인 최선 노력 완화의 다양한 형태와 범위 전반에서 디지털 진화가 탈결정론적(post-deterministic) HPC 패러다임을 개발하는 데 기여할 수 있는 독보적인 위치에 있다고 주장합니다.
원문 초록
Developments in high-performance computing (HPC) technology continue to drastically increase quantities of available processing power. In the context of digital evolution, this explosive growth offers opportunities to advance both hypothesis-driven explorations of multi-scale biological phenomena and application-driven evolutionary optimization targeting hard problem domains. A particular opportunity arises from emerging next-generation AI/ML hardware accelerator platforms, such as the 880,000-processor Cerebras Wafer-Scale Engine (WSE). Such hardware, however, constrains on-device data storage and movement --- a challenge compounded by vulnerability to failures arising over numerous device components. Best-effort relaxations that depart from a traditional deterministic computing paradigm can help accommodate such constraints, but complicate reproducibility and risk introducing artifactual biases. We explore these concerns, developing a framework to measure runtime behavior of best-effort code and examining case studies of best-effort computing in digital evolution projects. The first case study applies best-effort CPU-cluster multiprocessing to a multicellularity evolution model, which provides 92% scaling efficiency at 64 processes ($2.1\times$ speedup) and exhibits robust median quality of service, even under hardware anomalies. The second case study examines WSE-based simulations, demonstrating best-effort strategies to track spatiotemporal population history --- through sparse, asynchronous device-to-host sampling that tolerates hardware faults. In sum, across potential forms and scopes of best-effort relaxation, we argue that digital evolution is uniquely positioned to contribute in developing post-deterministic HPC paradigms.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.23955v2제출 시각 미확인
- arXiv:2608.23955v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.