arXiv:2610.02461v1 cs.LG

3D-IC 열 모델링을 위한 구성 가능한 AI 가속 반복 솔버

A Composable AI-Accelerated Iterative Solver for 3D-IC Thermal Modeling

Yixing Li, Jiahang Zhou, Zhiyu Zeng, Xin Ai

제출 2026-10-01

한국어 초록

이종 2.5D/3D 집적 회로(3D-IC) 패키지의 정확한 열 해석은 필수적이지만 계산 비용이 지나치게 높습니다. 단일 풀 패키지 유한 요소법(FEM) 시뮬레이션은 수 시간이 걸릴 수 있으며, AI 기반 대리 모델(surrogate)은 전체 스택을 단일(monolithic) 예측 대상으로 취급하므로 다이(die) 수나 토폴로지가 변경될 때마다 재학습해야 합니다. 이러한 한계를 해결하기 위해 본 연구에서는 열 해석을 위한 도메인 분해 AI 가속 반복 솔버인 DAIST(Domain-Decomposed AI-Accelerated Iterative Solver for Thermal Analysis)를 제안합니다. DAIST는 글로벌 패키지 시뮬레이션을 블록 수준의 서브도메인 문제로 분해하고, 서브도메인 솔버를 신경 연산자(neural operator)로 대체하며, 계면 온도와 열유속(heat flux)의 반복적 교환을 통해 이들을 결합하는 구성 가능한(composable) 열 솔버입니다. 이러한 로컬-투-글로벌(local-to-global) 아키텍처는 단일 모델의 토폴로지 종속성을 제거하여, 블록 수준의 신경 연산자를 재학습 없이 이전에 보지 못한 패키지 조립 구조에 직접 재사용할 수 있도록 합니다. 또한 반복 커플링 전략은 제어 가능한 정확도-실행 시간 간의 트레이드오프를 제공하여, 반복 예산을 조정함으로써 정확도와 실행 시간을 상호 조율할 수 있습니다. 멀티 칩렛 시스템과 첨단 패키징 시스템에서 평가한 결과, DAIST는 기존 FEM 솔버 대비 최대 $178\times$의 속도 향상을 달성하면서 각각 0.068%와 0.323%의 평균 온도 오차를 기록했으며, 구조적으로 상이한 패키지 조립 전반에 걸쳐 블록 수준 모델의 교차 토폴로지 재사용성을 입증했습니다.

원문 초록

Accurate thermal analysis of heterogeneous 2.5D/3D-IC packages is essential yet computationally prohibitive. A single full-package FEM simulation can take hours, while AI-based surrogates treat the entire stack as a monolithic prediction target and must be retrained whenever the die count or topology changes. To address this limitation, this work proposes Domain-Decomposed AI-Accelerated Iterative Solver for Thermal Analysis (DAIST), a composable thermal solver that decomposes the global package simulation into block-level subdomain problems, replaces subdomain solvers with neural operators, and couples them through iterative exchanges of interfacial temperature and heat flux. This local-to-global architecture eliminates the topology lock-in of monolithic models: block-level neural operators can be directly reused in unseen package assemblies without retraining. The iterative coupling strategy further provides a controllable accuracy-runtime tradeoff, where the iteration budget can be adjusted to trade accuracy for runtime. Evaluated on a multi-chiplet system and an advanced packaging system, DAIST achieves up to $178\times$ speedup over traditional FEM solvers with mean temperature errors of 0.068% and 0.323%, respectively, while demonstrating cross-topology reuse of block-level models across structurally distinct package assemblies.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02461v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27739v1cs.LG공통 태그 Computational Efficiency, neural operator

MENO: 메모리 효율적 신경 연산자

MENO: Memory-Efficient Neural Operator

우리는 Manifold Function Encoder(MFE)를 기반으로 한 고성능 편미분방정식(PDE) 신경 솔버로서 Memory-Efficient Neural Operator(MENO)를 제안한다. MENO는 세 가지 주요 장점을 갖는다. (1) MENO는 다른 널리 쓰이는 아키텍처 대비 메모리 사용량이 현저히 작고 학습 속도가 훨씬 빠르며, 메모리 사용량이 데이터 해상도와 무관하므로 대규모 모델로의 스케일링 가능성을 지닌다. (2) MENO는 임의의 기하학적 영역과 임의의 이산화를 포함하여 임의 형태의 PDE 입력을 받을 수 있다. 특히 입력 함수와 출력 해가 서로 다른 매니폴드上에 정의되는 cross-geometry 시나리오, 즉 기하학 간 설정을 처리할 수 있다. (3) MENO는 강한 일반화 능력을 보이며, 문헌에 보고된 결과와 비교했을 때 우리가 테스트한 대부분의 벤치마크에서 최고 정확도를 달성한다. 코드는 https://github.com/jpzxshi/MENO 의 GitHub에서 제공되며, 본 논문의 모든 수치 예제는 보고된 결과를 재현하기 위해 단일 명령으로 실행할 수 있다.

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2609.24894v2cs.CV공통 태그 Computational Efficiency

SLICEChat: 전슬라이드 병리 언어 모델을 위한 점진적 인코더 내 토큰 가지치기

SLICEChat: Progressive In-Encoder Token Pruning for Whole-Slide Pathology Language Models

전슬라이드 병리 이미지(WSI)는 기가픽셀 규모의 시각 정보를 담고 있어, 슬라이드 수준 멀티모달 대규모 언어 모델(MLLM)의 확장성에 큰 난제를 만든다. 기존 접근은 수천 개의 패치 토큰을 처리하고, 보통 슬라이드 인코딩 이후에만 압축을 적용하여 멀티모달 어텐션이 계산적으로 비싸게 남는다. 우리는 하이브리드 Mamba–트랜스포머 슬라이드 인코더 안에 점진적 토큰 가지치기를 통합한 슬라이드 수준 MLLM인 SLICEChat을 제안한다. Mamba 레이어는 효율적인 장거리 전파를 가능하게 하고, 트랜스포머 레이어는 시퀀스가 점진적으로 짧아지는 동안 전역 상호작용을 유지한다. 단계 사이에서는 언어 지도 하의 영역 인식 가지치기가 제어된 유지율(keep-rate) 스케줄 하에서 공간적으로 일관된 저유용 영역을 제거하여, 멀티모달 융합 전에 압축된 슬라이드 표현을 만든다. SlideBench VQA에서 SLICEChat은 TCGA에서 79.84%, BCNB 코호트에서 59.09% 정확도를 달성해 기존 슬라이드 수준 병리 MLLM을 능가했으며, WSI-Bench 전체 지표에서도 최고 성능을 기록했다. 또한 평가된 모델 중 경쟁력 있는 메모리 사용량과 추론 지연 시간을 보였다. 이 결과는 기가픽셀 WSI에 대한 정확하고 계산적으로 효율적인 멀티모달 추론을 보여 준다.

arXiv:2609.23790v1cs.AI공통 태그 Computational Efficiency

에이전시 총비용: 멀티 에이전트 LLM 워크플로에서 메모리 주입 비용의 정확한 귀속

Total Cost of Agency: Exact Attribution of Memory Injection Cost in Multi-Agent LLM Workflows

멀티 에이전트 대규모 언어 모델(LLM) 워크플로의 모든 노드는 메모리에서 컨텍스트를 검색하여 프롬프트에 주입하며, 주입된 토큰은 시스템 프롬프트와 사용자 쿼리와 동일한 토큰당 단가로 입력 토큰으로 청구된다. 프로덕션 관측(observability) 도구는 총 토큰 비용을 보고하지만 노드가 생성하는 토큰과 전달받은 토큰을 구분하지 않으므로, 청구서의 이 항목은 비용을 지불하는 팀에게는 보이지 않는다. 우리는 멀티 에이전트 워크플로 비용을 기본 프롬프트, 추론, 메모리 주입, 미스 페널티, 컨텍스트 누적 구성요소로 분해한 Total Cost of Agency(TCA)와, 단어 수 프록시로 추정하지 않고 주입 토큰을 직접 측정하는 2-pass 비청구 토큰 카운트 기반의 정확한 귀속 방법을 제안한다. 실제 모델 API에 대해 실행한 200개 태스크 기업 벤치마크에서 메모리 주입은 컴파일 타임 옵티마이저가 개입할 수 있는 가변 비용의 13.6%, 전체 청구 비용의 약 12%를 차지하며, 워크플로 깊이 1에서의 구조적 0에서 깊이 6에서 27.6%까지 그 비중이 증가한다. 측정 구간(깊이 2~6)에서 주입 토큰은 깊이에 대해 선형적으로 증가한다(R^2 = 0.9974); 2차 피팅의 leading coefficient가 음수이므로, 해당 깊이에서 데이터는 볼록(convex) 성장을 보이지 않는다. 고정된 모델 tier에서 이 구성요소가 제어 가능함을 보인다: 검색 윈도우 용량을 32개 항목에서 2개로 줄이면 주입 토큰이 28.7% 감소하고 정확도 변화는 시드(seed) 수준 변동 범위 내이다. 그래프 재작성(graph-rewriting) 변환이 단독으로는 대체로 비용 중립적임을, 다섯 분해 항 중 두 항이 이 하네스(harness)에서 구조적으로 0임을, 총 워크플로 비용이 모델 tier 할당에 의해 지배되며 이를 고정하고 선행 연구로 취급함을 전면 보고한다. 프롬프트 캐싱(prompt caching)은 평가하지 않았으며 모든 수치는 캐시 미사용(uncached) 경우에 대한 것이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.