Coco: 하드웨어-소프트웨어 통합 설계 수명주기를 위한 에이전트 기반 코파일럿
Coco: An Agentic Copilot for the Hardware--Software Co-Design Lifecycle
한국어 초록
머신러닝 모델과 이를 실행하는 가속기를 통합 설계(co-design)하는 것은 특이한 추론 작업입니다. 아키텍트는 아직 존재하지 않는 시스템에 대해 중대한 결정을 확신을 가지고 내려야 하며, 모델 발전 속도와 하드웨어 출시 주기 모두로 인해 분석 부담이 분기마다 증가합니다. 각 결정의 근거가 되는 새로운 설계 지점에 대한 수백 기가바이트의 최신 시뮬레이션 스윕(simulation sweep) 데이터는 구조적으로 어떤 대규모 언어 모델(LLM)의 사전학습 말뭉치에도 존재하지 않으며, 검색할 수 있는 외부 문헌도 없습니다. 단순한 '데이터와의 대화(chat-with-your-data)' 접근 방식은 정확성이 가장 중요한 지점에서 바로 환각을 일으킵니다. 본 논문에서는 실험 설정, 시뮬레이터 스윕 실행, 인사이트 도출로 이어지는 통합 설계 수명주기를 가속하기 위해 TPU 아키텍트들과 함께 배포된 에이전트(agent) 플랫폼인 Coco(Copilot for Codesign)를 제시합니다. Coco는 네 개의 계층으로 구축되었습니다. (i) 모든 시뮬레이션 스윕을 정규화된 관계형 스키마에 자동으로 등록하여 에이전트가 이기종 파일을 스크래핑하는 대신 SQL 쿼리를 통해 모든 수치를 그라운딩하도록 하는 데이터스토어, (ii) 인간의 개입 없이 에이전트가 조합할 수 있는 타입이 지정된 API 도구 라이브러리, (iii) 반복적인 분석 워크플로우를 부호화하는 에이전트—특히 파레토 경계(Pareto frontier)에서 벗어난 스윕되었으나 지배된 지점을 포함해 일치된 실행 구성에서 시스템을 비교하는 동일 실행(iso-execution) 분석, (iv) 탐색 상태가 에이전트 컨텍스트 역할을 겸하는 플랫폼 UX입니다. 저자들은 시뮬레이션 소요 시간 및 인사이트 도출 시간 단축으로 이어지는 초기 배포 경험을 보고하며, 통합 설계가 차별화된 에이전트 도메인임을 주장합니다. 즉, 데이터는 암기되기보다는 검색되어야 하고, 워크플로우는 반복적이지만 맥락 의존적이며, 전문가의 채택은 IDE 스타일의 제어와 대화형 탐험 간의 균형을 맞추는 UX에 달려 있습니다.
원문 초록
Co-designing ML models and the accelerators that run them is an unusual reasoning task: architects must draw confident, high-stakes conclusions about systems that do not yet exist, and the pace of both model evolution and hardware cadence means the analysis burden grows every quarter. The evidence behind each decision--hundreds of gigabytes of fresh simulation sweeps over novel design points--is by construction absent from any LLM's pretraining corpus, and there is no external literature to retrieve; naive "chat-with-your-data" approaches hallucinate exactly where correctness matters most. We present Coco (Copilot for Codesign), an agentic platform deployed with TPU architects that accelerates the co-design lifecycle of setting up experiments, sweeping simulators, and deriving insights. Coco is built as four layers: (i) a datastore that automatically registers every simulation sweep into a normalized relational schema, so agents ground every number in a SQL query rather than scraping heterogeneous files; (ii) a library of tools with typed APIs that agents compose without human orchestration; (iii) agents that encode recurring analysis workflows--most notably iso-execution analysis, which compares systems at matched execution configurations, including swept-but-dominated points off the Pareto frontier; and (iv) a platform UX whose navigation state doubles as agent context. We report early deployment experience toward a reduction in time-to-simulation and time-to-insight, and argue that co-design is a distinct agentic domain: its data must be retrieved rather than memorized, its workflows are recurring but context-dependent, and expert adoption hinges on UX that balances IDE-style control with interactive exploration.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VIEWCRAFT: 멀티모달 에이전트가 보는 대상과 이를 읽는 방식의 공동 진화
VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It
재사용 가능한 스킬은 모델(model) 가중치를 업데이트하지 않고도 멀티모달 에이전트(multimodal agent)를 향상시키지만, 그 효과는 제시되는 근거(evidence)와 이를 읽는 데 사용되는 절차 모두에 의존합니다. 본 논문에서는 실행 가능한 근거 인터페이스와 해당 인터페이스의 읽기 절차를 함께 공동 진화시키는 ViewCraft를 소개합니다. 인터페이스는 관측치를 선택, 변환, 구성하며, 리더(reader)는 그 결과로 생성된 뷰(view)를 해석합니다. 실패 추적(failure trace)은 수정을 안내하고, 리플레이 및 쌍체 평가(paired evaluation)는 유용한 변경 사항을 유지하며, 인터페이스 프로젝션은 적격한 기각 공동 제안으로부터 시각적 편집 내용을 복구합니다. 8개 벤치마크(benchmark) 전반에서 ViewCraft는 직접 실행 방식 대비 태스크 점수를 평균 $6.1$점 향상시켰으며, 모든 벤치마크에서 성능 향상을 달성했습니다. 이러한 이점은 일치된 입력 토큰(token) 예산 하에서도 유지됩니다. 5개의 모든 다중 소스 태스크에서 학습된 인터페이스는 초기 스킬보다 8%~15% 더 적은 입력 토큰을 사용합니다. 또한 학습된 스킬은 실행기(executor) 간에 전이되며 평가된 모든 전이 환경에서 직접 실행 방식을 능가하여, 결합된 재사용 가능 스킬로서의 근거 구축 및 읽기 접근법을 뒷받침합니다.
DataCanvas-EDU: 비즈니스 애널리틱스 교육을 위한 교수자 주도형 합성 데이터 생성 에이전트 프레임워크
DataCanvas-EDU: An Agentic Framework for Instructor-Guided Synthetic Data Generation in Business Analytics Education
비즈니스 애널리틱스 교육에는 다양한 학습 목표, 학생들의 배경 지식, 분석 과제를 지원하기 위한 다채로운 데이터셋이 필요합니다. 실제 데이터는 확보하기 어려울 수 있으며, 특정 강좌에 맞게 사례를 조정하는 데 유연성이 제한적입니다. 적합한 데이터를 확보하더라도 교수자는 패턴을 조사하고 결과를 검증하며 과제와 모범 답안을 준비해야 하므로 상당한 시간과 노력이 소모됩니다. 대규모 언어 모델(LLM)의 사용은 학습(training) 데이터 오염이라는 추가적인 문제를 야기합니다. 널리 사용되는 공개 데이터셋에는 모델이 학습 중에 접했을 수 있는 광범위한 튜토리얼과 풀이 분석이 이미 존재하는 경우가 많습니다. 이에 따라 학생들은 AI와 협업하여 낯선 데이터를 탐구하는 연습을 거치지 않고 기존 분석에서 도출된 설명을 그대로 받아들이게 될 수 있습니다. 본 논문에서는 비즈니스 애널리틱스 교육에서 교수자 주도 하에 합성 데이터를 생성할 수 있는 에이전트(agent) 프레임워크인 DataCanvas-EDU를 제시합니다. 교수자가 대화를 통해 교수 목표와 의도한 패턴을 명시하면, AI 에이전트가 생성 코드를 작성하고 생성된 데이터를 확인하며 과제, 모범 분석, 평가 루브릭을 준비합니다. 계획(Plan), 생성(Create), 검증/테스트 분석(Verify / Test Analysis), 평가(Evaluate)의 4단계로 프로세스를 구성하여 교수자의 검토와 수정을 지원합니다. 이 프레임워크는 사례 준비를 단순화하는 동시에 학생들이 AI와 함께 새롭게 설계된 패턴을 탐구할 기회를 제공하도록 고안되었습니다. 저자들은 15,000건의 주문과 9개의 설계된 패턴을 포함하는 음식 배달 사례인 WindowDash를 통해 본 접근법을 실증합니다. DataCanvas-EDU는 호환 가능한 에이전트 환경에서 재사용 가능한 AI Agent Skill로 패키징되어 있으며, 패키지와 설치 방법은 https://github.com/BANG23333/datacanvas-edu 에서 확인할 수 있습니다.
조 단위 규모 전문가 혼합 모델을 위한 하드웨어 네이티브 통합 희소-양자화
Hardware-Native Joint Sparse-Quantization for Trillion-Scale Mixture-of-Experts
전문가 혼합(MoE) 아키텍처를 통해 프론티어 언어 모델을 수조 개 파라미터 규모로 확장할 수 있게 되었지만, 방대한 메모리 사용량과 메모리 대역폭의 한계로 인해 실제 배포에는 제약이 따릅니다. 최신 가속기는 저정밀도 반구조화 희소성을 통해 가중치 저장 공간을 줄이고 처리량을 높여주는 희소 텐서 코어(SpTC)를 제공하지만, 상당한 모델 품질 저하와 그룹화된 희소 GEMM 프리미티브의 부재로 인해 MoE에 이를 활용하는 것은 여전히 어렵습니다. 본 논문에서는 전문가 가중치를 하드웨어 네이티브 저정밀도 희소 표현으로 압축하고 SpTC에서의 실행을 가속하는 엔드투엔드 하드웨어-소프트웨어 통합 설계 프레임워크를 제안합니다. 알고리즘 측면에서, 본 프레임워크는 연속적 재매개변수화를 통해 이산적인 반구조화 서포트 선택을 완화함으로써 라우터 가중치 재구성 목표 하에서 양자화된 가중치와의 미분 가능한 통합 최적화 및 확장 가능한 전문가 병렬 압축을 가능하게 합니다. 시스템 측면에서는 SpTC 상의 저정밀도 희소 MoE 추론에 맞춘 커스텀 그룹화 희소 GEMM 커널을 개발합니다. 300억 개에서 1조 개 파라미터에 이르는 MoE 모델 전반에 걸쳐, 제안하는 프레임워크는 기존 최고 수준(SOTA)의 통합 희소-양자화 정확도를 최대 4.35%p 향상시키면서 원래 모델 성능의 96.09%를 보존합니다. NVIDIA B200 GPU에서 개발한 커널은 벤더 기준선 대비 최대 1.65배 뛰어난 성능을 보이며 서빙 처리량을 1.18배 증가시키고 엔드투엔드 지연 시간을 최대 4.03배 단축합니다. 이러한 결과는 하드웨어-소프트웨어 통합 설계가 확장 가능하고 효율적인 MoE 배포를 향한 실용적인 경로임을 입증합니다.
멀티코어 엣지 가속기를 위한 조기 종료 신경망의 하드웨어-알고리즘 공동 최적화
Hardware-Algorithm Co-Optimization of Early-Exit Neural Networks for Multi-Core Edge Accelerators
엣지 가속기에 조기 종료 신경망(Early-Exiting Neural Networks, EENN)을 배포하려면 네트워크 아키텍처뿐만 아니라 하드웨어 배포 최적화도 함께 이루어져야 합니다. 조기 종료(exit) 구성, 양자화(quantization), 하드웨어 워크로드 매핑은 단순하지 않은 방식으로 상호작용하며 메모리 트래픽, 가속기 활용도, 궁극적으로는 에너지-지연 시간 트레이드오프에 영향을 미칩니다. 본 연구에서는 단일화된 NAS(Neural Architecture Search) 프로세스 내에서 조기 종료 구성, 양자화 인식 학습(quantization-aware training), 멀티코어 하드웨어 매핑을 공동으로 최적화하는 EENN용 하드웨어 인식 코디자인 프레임워크를 제시합니다. 분석적 설계 공간 탐험(exploration)을 활용하는 이 프레임워크는 탐색 과정에서 정확한 지연 시간 및 에너지 추정치를 제공하는 동시에 각 후보 아키텍처에 대한 효율적인 워크로드 매핑을 식별합니다. 나아가 EENN 배포를 예측 정확도, 에너지-지연 시간 곱(energy-latency product), 조기 종료 오버헤드, 동적 추론(inference) 효율성의 균형을 맞추는 제약 조건 다목적 최적화 문제로 공식화합니다. CIFAR-10에 대한 실험 결과에 따르면 제안된 프레임워크는 8비트 양자화 환경에서 정적 베이스라인 대비 에너지-지연 시간 곱을 50% 이상 절감하는 것으로 나타났습니다. 이러한 결과는 이종 엣지 가속기에서 동적 추론의 완전한 효율성 잠재력을 실현하기 위해 아키텍처와 배포를 공동 최적화하는 것이 필수적임을 입증합니다.
AgentRouter: 비용 최적 다단계 에이전트 워크플로우를 위한 이종 모델 라우팅
AgentRouter: Heterogeneous Model Routing for Cost-Optimal Multi-Step Agentic Workflows
기업용 에이전트 시스템이 궤적의 모든 단계를 프론티어 모델로 라우팅하면, 더 작은 모델도 동등하게 처리할 수 있는 하위 과제에 추론 예산의 60–80%를 낭비한다. 기존 라우팅 솔루션은 단일 턴(single-turn) 쿼리 할당을 최적화하지만, 에이전트 워크플로우에만 있는 한 속성을 간과한다. 단일 궤적 안에서 하위 과제 복잡도가 크게 달라진다는 점이다. 계획 단계는 프론티어급 추론을 요구할 수 있는 반면, 이어지는 포맷팅 단계는 7B 모델만으로 충분할 수 있다. 우리는 단계 수준(step-level) 모델 라우팅을 에이전트 궤적에 대한 순차 할당 문제로 형식화하고 AgentRouter를 제안한다. AgentRouter는 경량 분류기(1,200만 파라미터, A100 GPU에서 단계당 5ms 미만 오버헤드)로, 라우팅 시점에 추출 가능한 다섯 가지 특징을 사용해 각 궤적 단계를 네 가지 모델 계층 중 하나에 매핑한다. 계획, 코딩, 연구, 데이터 분석 과제에 걸친 50,000개의 주석이 달린 에이전트 궤적 단계로 학습된 AgentRouter는 프론티어 전용 baseline 대비 72% 비용 절감을 달성하며, 프론티어 전용 품질의 97.3%를 유지한다(End-to-end 과제 완료율에서 3% 미만 저하). 단계별 라우팅 정확도는 최소 복잡도 단계에서 91%, efficient 계층 단계에서 85%에 이르며, 더 어려운 중간·프론티어 계층에서는 76–82%이다. 동일 벤치마크에서 RouteLLM과 FrugalGPT(단계별 적용)는 각각 31%와 44%의 비용 절감에 그친다. 이는 단일 턴 학습 신호가 궤적 수준의 품질 의존성을 포착하지 못하기 때문이다.
대형 모델의 그린 개발에 관한 서베이: 자원 효율적 아키텍처부터 하드웨어-소프트웨어 공동 설계까지
A Survey on the Green Development of Large Models: From Resource-Efficient Architectures to Hardware-Software Co-Design
대규모 AI 모델의 급속한 확장은 다양한 분야에서 상당한 성능 돌파구를 이끌었으나, 동시에 계산 비용, 에너지 소비, 환경 지속 가능성에 관한 심각한 우려를 야기했다. 본 서베이는 자원 효율적 아키텍처와 풀스택 하드웨어-소프트웨어 공동 설계를 중심으로 대형 모델의 그린 개발에 대한 포괄적인 개요를 제공한다. 어텐션 연산자 최적화, 선형 복잡도 아키텍처, 모델 희소화 및 병합을 포함한 효율적 모델 구축의 최근 발전과 함께, 데이터 효율적 학습, 매개변수 효율적 미세조정, 계산 압축 등 학습 및 배포 전략을 체계적으로 검토한다. 알고리즘적 개선을 넘어, 주류 AI 칩, 메모리 최적화, 크로스 플랫폼 배포, 지속 가능한 인프라를 포함한 에너지 효율적 AI 하드웨어를 탐구한다. 나아가 DeepSeek, 원격 탐지 해석, 국가 규모 인프라, 글로벌 이니셔티브와 같이 지속 가능성이 중요한 분야에 대형 모델이 어떻게 적용되고 있는지 살펴본다. 마지막으로, 지속적 학습 패러다임, 메모리 중심 하드웨어, 표준화된 평가 프로토콜의 필요성을 강조하며 주요 과제와 미래 방향을 논의한다. 본 서베이는 대형 모델의 지속 가능하고 확장 가능하며 사회적으로 책임 있는 개발을 향한 총체적 로드맵을 제시하는 것을 목표로 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.