PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02241v1cs.AR

조 단위 규모 전문가 혼합 모델을 위한 하드웨어 네이티브 통합 희소-양자화

Hardware-Native Joint Sparse-Quantization for Trillion-Scale Mixture-of-Experts

전문가 혼합(MoE) 아키텍처를 통해 프론티어 언어 모델을 수조 개 파라미터 규모로 확장할 수 있게 되었지만, 방대한 메모리 사용량과 메모리 대역폭의 한계로 인해 실제 배포에는 제약이 따릅니다. 최신 가속기는 저정밀도 반구조화 희소성을 통해 가중치 저장 공간을 줄이고 처리량을 높여주는 희소 텐서 코어(SpTC)를 제공하지만, 상당한 모델 품질 저하와 그룹화된 희소 GEMM 프리미티브의 부재로 인해 MoE에 이를 활용하는 것은 여전히 어렵습니다. 본 논문에서는 전문가 가중치를 하드웨어 네이티브 저정밀도 희소 표현으로 압축하고 SpTC에서의 실행을 가속하는 엔드투엔드 하드웨어-소프트웨어 통합 설계 프레임워크를 제안합니다. 알고리즘 측면에서, 본 프레임워크는 연속적 재매개변수화를 통해 이산적인 반구조화 서포트 선택을 완화함으로써 라우터 가중치 재구성 목표 하에서 양자화된 가중치와의 미분 가능한 통합 최적화 및 확장 가능한 전문가 병렬 압축을 가능하게 합니다. 시스템 측면에서는 SpTC 상의 저정밀도 희소 MoE 추론에 맞춘 커스텀 그룹화 희소 GEMM 커널을 개발합니다. 300억 개에서 1조 개 파라미터에 이르는 MoE 모델 전반에 걸쳐, 제안하는 프레임워크는 기존 최고 수준(SOTA)의 통합 희소-양자화 정확도를 최대 4.35%p 향상시키면서 원래 모델 성능의 96.09%를 보존합니다. NVIDIA B200 GPU에서 개발한 커널은 벤더 기준선 대비 최대 1.65배 뛰어난 성능을 보이며 서빙 처리량을 1.18배 증가시키고 엔드투엔드 지연 시간을 최대 4.03배 단축합니다. 이러한 결과는 하드웨어-소프트웨어 통합 설계가 확장 가능하고 효율적인 MoE 배포를 향한 실용적인 경로임을 입증합니다.

arXiv:2610.02376v1cs.PL

Coco: 하드웨어-소프트웨어 통합 설계 수명주기를 위한 에이전트 기반 코파일럿

Coco: An Agentic Copilot for the Hardware--Software Co-Design Lifecycle

머신러닝 모델과 이를 실행하는 가속기를 통합 설계(co-design)하는 것은 특이한 추론 작업입니다. 아키텍트는 아직 존재하지 않는 시스템에 대해 중대한 결정을 확신을 가지고 내려야 하며, 모델 발전 속도와 하드웨어 출시 주기 모두로 인해 분석 부담이 분기마다 증가합니다. 각 결정의 근거가 되는 새로운 설계 지점에 대한 수백 기가바이트의 최신 시뮬레이션 스윕(simulation sweep) 데이터는 구조적으로 어떤 대규모 언어 모델(LLM)의 사전학습 말뭉치에도 존재하지 않으며, 검색할 수 있는 외부 문헌도 없습니다. 단순한 '데이터와의 대화(chat-with-your-data)' 접근 방식은 정확성이 가장 중요한 지점에서 바로 환각을 일으킵니다. 본 논문에서는 실험 설정, 시뮬레이터 스윕 실행, 인사이트 도출로 이어지는 통합 설계 수명주기를 가속하기 위해 TPU 아키텍트들과 함께 배포된 에이전트(agent) 플랫폼인 Coco(Copilot for Codesign)를 제시합니다. Coco는 네 개의 계층으로 구축되었습니다. (i) 모든 시뮬레이션 스윕을 정규화된 관계형 스키마에 자동으로 등록하여 에이전트가 이기종 파일을 스크래핑하는 대신 SQL 쿼리를 통해 모든 수치를 그라운딩하도록 하는 데이터스토어, (ii) 인간의 개입 없이 에이전트가 조합할 수 있는 타입이 지정된 API 도구 라이브러리, (iii) 반복적인 분석 워크플로우를 부호화하는 에이전트—특히 파레토 경계(Pareto frontier)에서 벗어난 스윕되었으나 지배된 지점을 포함해 일치된 실행 구성에서 시스템을 비교하는 동일 실행(iso-execution) 분석, (iv) 탐색 상태가 에이전트 컨텍스트 역할을 겸하는 플랫폼 UX입니다. 저자들은 시뮬레이션 소요 시간 및 인사이트 도출 시간 단축으로 이어지는 초기 배포 경험을 보고하며, 통합 설계가 차별화된 에이전트 도메인임을 주장합니다. 즉, 데이터는 암기되기보다는 검색되어야 하고, 워크플로우는 반복적이지만 맥락 의존적이며, 전문가의 채택은 IDE 스타일의 제어와 대화형 탐험 간의 균형을 맞추는 UX에 달려 있습니다.

arXiv:2512.04705v3cs.CC

멀티코어 엣지 가속기를 위한 조기 종료 신경망의 하드웨어-알고리즘 공동 최적화

Hardware-Algorithm Co-Optimization of Early-Exit Neural Networks for Multi-Core Edge Accelerators

엣지 가속기에 조기 종료 신경망(Early-Exiting Neural Networks, EENN)을 배포하려면 네트워크 아키텍처뿐만 아니라 하드웨어 배포 최적화도 함께 이루어져야 합니다. 조기 종료(exit) 구성, 양자화(quantization), 하드웨어 워크로드 매핑은 단순하지 않은 방식으로 상호작용하며 메모리 트래픽, 가속기 활용도, 궁극적으로는 에너지-지연 시간 트레이드오프에 영향을 미칩니다. 본 연구에서는 단일화된 NAS(Neural Architecture Search) 프로세스 내에서 조기 종료 구성, 양자화 인식 학습(quantization-aware training), 멀티코어 하드웨어 매핑을 공동으로 최적화하는 EENN용 하드웨어 인식 코디자인 프레임워크를 제시합니다. 분석적 설계 공간 탐험(exploration)을 활용하는 이 프레임워크는 탐색 과정에서 정확한 지연 시간 및 에너지 추정치를 제공하는 동시에 각 후보 아키텍처에 대한 효율적인 워크로드 매핑을 식별합니다. 나아가 EENN 배포를 예측 정확도, 에너지-지연 시간 곱(energy-latency product), 조기 종료 오버헤드, 동적 추론(inference) 효율성의 균형을 맞추는 제약 조건 다목적 최적화 문제로 공식화합니다. CIFAR-10에 대한 실험 결과에 따르면 제안된 프레임워크는 8비트 양자화 환경에서 정적 베이스라인 대비 에너지-지연 시간 곱을 50% 이상 절감하는 것으로 나타났습니다. 이러한 결과는 이종 엣지 가속기에서 동적 추론의 완전한 효율성 잠재력을 실현하기 위해 아키텍처와 배포를 공동 최적화하는 것이 필수적임을 입증합니다.

arXiv:2607.09084v1cs.LG

대형 모델의 그린 개발에 관한 서베이: 자원 효율적 아키텍처부터 하드웨어-소프트웨어 공동 설계까지

A Survey on the Green Development of Large Models: From Resource-Efficient Architectures to Hardware-Software Co-Design

대규모 AI 모델의 급속한 확장은 다양한 분야에서 상당한 성능 돌파구를 이끌었으나, 동시에 계산 비용, 에너지 소비, 환경 지속 가능성에 관한 심각한 우려를 야기했다. 본 서베이는 자원 효율적 아키텍처와 풀스택 하드웨어-소프트웨어 공동 설계를 중심으로 대형 모델의 그린 개발에 대한 포괄적인 개요를 제공한다. 어텐션 연산자 최적화, 선형 복잡도 아키텍처, 모델 희소화 및 병합을 포함한 효율적 모델 구축의 최근 발전과 함께, 데이터 효율적 학습, 매개변수 효율적 미세조정, 계산 압축 등 학습 및 배포 전략을 체계적으로 검토한다. 알고리즘적 개선을 넘어, 주류 AI 칩, 메모리 최적화, 크로스 플랫폼 배포, 지속 가능한 인프라를 포함한 에너지 효율적 AI 하드웨어를 탐구한다. 나아가 DeepSeek, 원격 탐지 해석, 국가 규모 인프라, 글로벌 이니셔티브와 같이 지속 가능성이 중요한 분야에 대형 모델이 어떻게 적용되고 있는지 살펴본다. 마지막으로, 지속적 학습 패러다임, 메모리 중심 하드웨어, 표준화된 평가 프로토콜의 필요성을 강조하며 주요 과제와 미래 방향을 논의한다. 본 서베이는 대형 모델의 지속 가능하고 확장 가능하며 사회적으로 책임 있는 개발을 향한 총체적 로드맵을 제시하는 것을 목표로 한다.

arXiv:2606.25532v1cs.AI

Agentic evolution of physically constrained foundation models

Artificial intelligence increasingly drives automated scientific discovery, yet contemporary generalist agents lack physical grounding, frequently hallucinating hardware-incompatible designs. Here, we present a physically grounded, multi-agent discovery engine that autonomously architects hardware-compliant computing systems. Anchored by an Evolutionary Knowledge Graph structuring past scientific innovations, the framework extracts an "algorithmic Chain-of-Thought" to transform blind stochastic search into directed structural evolution. Applied to the extreme testbed of foundation model deployment, the engine evolved two hardware-aware compression methodologies surpassing human-engineered heuristics: Q-Enhance mitigates long-context accuracy loss in dense models, and MoE-Salient-AQ outperforms state-of-the-art manual sparse Mixture-of-Experts designs by 3.7% at sub-3-bit regimes. Utilizing a bandwidth-efficient Sensitivity Profile, we successfully deployed a massive 235-billion-parameter model onto a constrained dual-A100 server, reducing memory requirements by 75% with a marginal 0.64% accuracy degradation. By transforming unconstrained combinatorial search into knowledge-driven autonomy, this establishes a scalable hardware-software co-design paradigm for machine-driven discovery within strict physical boundaries.