PyTorchKR Papers

최신 논문

총 5,575편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.13393v1cs.PF

암스테르Dam의 카페: 현행 구현이 오라클이 될 때

The Café in Amsterdam: When the Incumbent Becomes the Oracle

한 분야는 수요가 어떤 현행 구현과도 무관하게 명시된 바로 그 지점에서만 계산을 자유롭게 재공식화할 수 있으며, 현행 구현 자체의 출력이 조용히 명세가 되어 버렸을 때는 그렇게 할 수 없게 된다. 이 노트는 그 관찰을 현대 가속기를 위한 계산적 재공식화에 대한 렌즈로 제시한다. 문제를 하드웨어 친화적 형태로 제기하면 속도와 에너지 측면에서 큰 이득을 얻을 수 있지만, 그 대체안을 애초에 판단할 수 있는 경우에만 그렇다. 테스트-오라클(test-oracle) 문제(Weyuker; Barr et al.), 요구사항 공학의 구현 바이어스(implementation bias)(Zave and Jackson) 개념, 그리고 roofline 성능 모델을 바탕으로, 이 글은 "기준선 포착(baseline capture)"이라는 병리를 명명한다—현행 구현이 수요를 충족할 수 있다는 증거에서 벗어나, 충족의 정의 자체가 되는 순간—그리고 쉽게 혼동되는 두 질문을 분리한다: 재공식화를 판단할 수 있는지(이는 현행 구현과 무관한 수요의 존재 여부에 달려 있다)와 그 발견을 자동화할 수 있는지(이는 추가로 그 수요를 평가하는 비용에 달려 있다). 짧은 사례들—최단 경로 라우팅, 학습 가능한 오디오 프론트엔드, Ed25519 서명 검증을 위한 ZIP-215, 기후 모델용 CESM-ECT, 단일 GEMM 오디오 프론트엔드—는 그 패턴과 "검증기 구매(buying a verifier)"라는 접근을 보여준다: 수요를 명시적이고 실행 가능하며 현행 구현과 독립적으로 만드는 것. 어떤 구성 요소도 개별적으로는 새롭다고 주장하지 않는다; 기여는 종합과, 어떤 재공식화 결과에든 쉽게 던질 수 있게 만든 단 하나의 질문—그 인수 테스트가 현행 구현의 출력을 언급하는가?—이다.

arXiv:2607.13239v1cs.AI

교통 관리를 위한 비용 최적 파운데이션 모델 배포 포트폴리오

Cost-Optimal Foundation Model Deployment Portfolio for Transportation Management

파운데이션 모델(foundation model)에는 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)이 포함되며, 이상 탐지, 사고 보고, 여행자 정보 제공과 같은 교통 관리 센터(TMC) 업무에 점점 더 많이 사용되고 있다. 여러 이러한 모델을 TMC 기능 전반에 배포하는 것은 포트폴리오 질문을 제기한다: 각 기능에 어떤 모델이, 어떤 배포 모드로, 그리고 어떤 공유 하드웨어 예산 하에서 제공되어야 하는가? 우리는 이를 파운데이션 모델 배포 포트폴리오(FMDP) 문제로 공식화한다. 이는 공유 GPU 용량에 대해 기능별 품질, 지연 시간, 안전성 제약을 만족하면서 총 소유 비용(TCO)을 최소화하는 혼합 정수 프로그램이다. 0-1 배낭 문제로의 환원을 통해 이 문제가 NP-난해함을 증명하고, 다항 시간 탐욕적 휴리스틱을 제안한다. 다섯 가지 TMC 기능과 19개의 후보 (모델, 모드) 쌍을 포함한 예시 사례 연구에서, FMDP는 4개 기능을 오픈소스 API로, 오픈소스 모델이 품질 하한을 충족하지 못하는 1개 기능을 폐쇄형 API로 라우팅하는 혼합 포트폴리오를 식별하여 월 $34(가장 저렴한 실행 가능한 전체 폐쇄형 API 기준선 대비 97% 절감)의 비용을 산출한다. 손익분기 분석에 따르면, 온프레미스 GPU 투자는 시간당 약 309회의 비전 쿼리 이상이거나 API 가격이 두 배로 오를 때만 합리적이 된다.

arXiv:2607.13219v1cs.AI

CayleyR: 순환 교집합을 통한 TopSpin 퍼즐 풀이

CayleyR: Solving the TopSpin puzzle via cycle intersection

cayleyR는 Cayley 그래프에서 순환 교집합을 탐지하여 순열 퍼즐을 풀기 위한 R 패키지입니다. 핵심 알고리즘은 반복적 양방향 탐색을 수행합니다. 초기 순열 상태와 목표 순열 상태 모두에서 무작위 연산 시퀀스가 대칭군 Sn의 Cayley 그래프에서 순환을 생성하며, 이들 순환의 교집합이 연결 경로를 제공합니다. 직접적인 교집합이 발견되지 않으면 거리 기반 브리지 선택이 간격을 좁히고, 이 과정이 반복됩니다. 이 패키지는 TopSpin(n,k) 퍼즐을 대상으로 하며, 그 상태 공간은 순환 시프트와 접두 반전으로 생성된 Sn의 Cayley 그래프입니다. 수학적 프레임워크, 알고리즘, 그리고 C++ 해시 인덱스 상태 저장소와 선택적 Vulkan GPU 가속을 결합한 구현을 설명합니다. 이 소프트웨어는 CRAN에서 공개적으로 이용할 수 있습니다.

arXiv:2607.11985v1quant-ph

VQCSim: 컴파일 일회 상태벡터 시뮬레이션이 언제 범용 양자 프레임워크를 능가하는가

VQCSim: When Does Compile-Once Statevector Simulation Beat Generic Quantum Frameworks?

하이브리드 양자-고전 머신러닝 워크플로는 학습과 모델 탐험 과정에서 많은 작은 매개변수화 회로를 반복적으로 평가한다. 이 체제에서는 프레임워크 디스패치 및 오케스트레이션 오버헤드가 종종 런타임을 지배한다. 기존 시뮬레이터는 실행을 가속하지만, 정적 변분 회로에 대해 컴파일 일회 특화가 언제 적절한 선택인지는 여전히 열린 문제로 남아 있다. 우리는 네이티브 자동 미분을 갖춘 컴파일 일회 PyTorch 네이티브 상태벡터 실행 경로인 VQCSim으로 이 질문에 답한다. 체계적인 MQT Bench 연구에서 VQCSim은 테스트된 모든 정적 회로를 컴파일하고 87.7%의 종단간 시맨틱 검증을 제공한다. 5개 GPU 평가 세트 전반에서 VQCSim은 네이티브 추론에 대해 풀링된 중앙값 속도향상 4.49배, 네이티브 학습에 대해 26.78배를 달성하며, 동등한 유한 차분 학습에서도 3.31배 우위를 유지한다. 소거 실험(ablation)은 네이티브 자동 미분이 가속의 주된 원인(27.6배)임을 밝히고, 컴파일 일회 캐싱과 배치 벡터화가 추가 이득에 기여한다. 이 속도향상은 더 낮은 런타임 대신 더 높은 GPU 메모리를 요구한다(VQCSim은 상한에서 메모리 제한에 도달한다). 우리는 하드웨어 인식 체제 맵을 도출하고, 91.1%~97.7% top-1 일치(교차 GPU 전송 포함)를 달성하는 오픈소스 백엔드 선택기 vqcsim-oracle을 공개하여 QML 설계 루프에서 자동 시뮬레이터 선택을 가능하게 한다.

arXiv:2607.11356v1cs.CV

산업용 머신 비전의 심층 학습 모델을 위한 엣지 추론 전략 벤치마킹

Benchmarking Edge Inference Strategies for Deep Learning Models in Industrial Machine Vision

엣지 배포(edge deployment)는 낮은 지연 시간, 데이터 보안, 또는 제한된 연결성이 핵심 요구사항인 산업용 머신 비전 시스템에서 흔히 선호되는 솔루션이다. 엣지 디바이스에서의 추론을 최적화하기 위한 여러 프레임워크가 존재하지만, 산업 배포 조건에서의 추론 시간 성능을 체계적으로 비교한 연구는 상대적으로 드물다. 본 연구에서는 산업 환경의 머신 비전 추론에 널리 사용되는 네 가지 접근 방식, 즉 순수 PyTorch, ONNX Runtime, OpenVINO, TensorRT에 대한 비교 연구를 제시한다. 평가는 추론 시간에 초점을 맞추며, 여러 CPU 및 GPU 기반 하드웨어 플랫폼을 대상으로 하고, 기존 합성곱 신경망과 트랜스포머 기반 비전 모델을 모두 포함한다. 평가된 하드웨어 플랫폼과 모델에 대한 결과, OpenVINO는 CPU에서 가장 낮은 추론 시간을 달성한 반면, TensorRT는 GPU에서 가장 낮은 추론 시간을 달성하였다. 단, TensorRT는 본 연구에서 고려된 트랜스포머 기반 모델에 대해 순수 PyTorch를 능가하지 못하였다.

arXiv:2607.10071v1cs.CV

FlashBEV: IO 인식 기반의 빠르고 메모리 효율적인 정확한 BEV 변환

FlashBEV: Fast and Memory-Efficient Exact BEV Transformation with IO-Awareness

버드아이뷰(BEV) 인식은 자율주행에서 카메라 기반 3D 이해의 핵심 구성 요소로, 뷰 변환(VT)은 다중 카메라 이미지 특징을 통합된 BEV 표현으로 매핑한다. 샘플링 기반 뷰 변환(Sampling-VT)은 고해상도 및 장거리 인식을 위한 조밀하고 연속적인 BEV 집계를 지원하기 때문에 매력적이다. 그러나 그 배포 병목은 시스템 수준에 있다: Sampling-VT의 표준 텐서화 구현 -- 이를 텐서화된 샘플링-VT(Tensorized Sampling-VT)라 칭한다 -- 은 높이 의존적인 대규모 중간 텐서를 명시적으로 구체화하여, 수직 해상도와 카메라 수에 따라 메모리 및 지연 비용이 크게 증가한다. 우리는 연산자 실행 관점에서 텐서화된 샘플링-VT를 재검토하고, 이것이 수집-축소(gather-reduction) 패턴을 따른다는 것을 보인다: 각 BEV 쿼리는 카메라와 높이 구간에 걸쳐 독립적으로 기여를 누적하므로, 높이 및 카메라 의존적 중간 결과물의 구체화를 없애는 즉석 재계산을 통한 스레드 로컬 누적이 가능하다. 이 통찰을 바탕으로, 텐서화된 샘플링-VT와 수학적으로 동등하면서도(동일한 연산자 출력) 전역 메모리 트래픽과 커널 실행 오버헤드를 크게 줄이는, 완전히 융합된 IO 인식 실행 전략인 FlashBEV를 제안한다. 실험 결과, FlashBEV는 GPU 최대 메모리를 한 자릿수 이상 감소시키고 추론 지연 시간을 크게 단축하며, 메모리 사용량은 높이 구간 수와 무관하여 연산자의 최대 메모리를 O(BCXY)(출력만)로 줄인다. 이는 메모리 제약 장치에서 고정된 배포 예산 내에 더 높은 BEV 범위/해상도 및 수직 이산화를 가능하게 한다. 본 연구의 기여는 실행 재설계 -- 동일한 수학, 다른 실행 -- 로, 배포 준비된 샘플링-VT의 핵심 확장성 장벽을 제거한다. 코드는 https://github.com/yokosyun/FlashBEV 에서 확인할 수 있다.

arXiv:2607.11211v1cs.LG

FastTPS: AI 가속기를 위한 LLM 토큰 단계 최적화 방법

FastTPS: An Optimized Method for LLM Token Phase for AI accelerators

대규모 언어 모델(LLM)의 인기가 높아지면서 효율적인 추론에 대한 지속적인 수요가 증가하고 있다. 그러나 디코더 전용 LLM 추론의 토큰 단계에서 토큰이 순차적으로 처리되기 때문에, 내재적인 낮은 병렬성으로 인해 처리량이 감소하고 인공지능(AI) 가속기의 연산 유닛 활용도가 저하된다. 특히 상당한 메모리 오버헤드를 수반하는 긴 시퀀스 입력을 처리할 때 이러한 문제가 두드러진다. 최근 다수의 방법이 잠재적 해결책으로 제안되었으나, 수치적 편차가 발생한다는 문제가 있다. 본 논문은 일반 AI 가속기에서 LLM 추론의 토큰 단계를 가속화하기 위한 고성능이면서 정밀도 손실이 적은 방법인 FastTPS를 제안한다. FastTPS는 세 가지 핵심 구성 요소를 포함한다: (1) 메모리 접근 오버헤드를 줄이고 어텐션의 완전 융합을 가능하게 하는 AI 가속기 기반 리로딩 없는 KV Cache 연결, (2) 타일링 최적화된 FLAT 기반의 고효율·고정밀도 'RoPE' 어텐션, (3) 세밀한 파이프라인 스케줄링을 적용한 고도 융합 MLP. 실험 결과, FastTPS는 토큰 단계의 메모리 병목 현상을 크게 완화하며, AMD Ryzen AI 300 시리즈 NPU에서 BF16 정밀도로 Phi3-mini-4k-instruct 추론 시 미융합 대비 6배의 속도 향상을 달성하면서 피크 메모리 대역폭 활용률 93%를 유지함을 확인하였다.

arXiv:2607.10044v1cs.LG

FlashTrie: 생성적 검색을 위한 GPU 가속 제약 빔 서치

FlashTrie: A GPU-Accelerated Constrained Beam Search for Generative Retrieval

제약 디코딩(constrained decoding)은 생성적 검색(generative retrieval)에서 필수적이며, 쿼리로부터 직접 생성된 문서 식별자가 사전 정의된 유효 ID 라이브러리와 정확히 일치해야 한다. 대규모 환경에서는 트라이(trie)와 빔 서치(beam search)를 결합하여 디코딩을 제약하는 경우가 많지만, 대부분의 구현은 CPU에서 실행된다. 제한된 병렬성으로 인해 빔 너비가 증가할수록 트라이 순회 및 후보 검증(validation)이 서빙 병목이 된다. 우리는 GPU에서 제약 빔 서치를 최적화하여 이 한계를 해결하는 FlashTrie를 제안한다. FlashTrie는 비트 압축으로 메모리 사용량을 줄이는 동시에 전체 인덱스를 GPU 고대역폭 메모리에 유지하여 메모리 지연을 감소시키는 정수 인식 간결 트라이(integer-aware succinct trie) 레이아웃을 도입하고, 단계별 호스트 오케스트레이션 없이 빔 확장, 검증(validation), 가지치기(pruning)를 온디바이스에서 완전히 수행하는 협력적 CUDA 커널(kernel)을 활용한다. 또한 CPU 방식의 불규칙 조회 및 힙 유지 관리를 GPU 친화적 병렬 프리미티브로 대체하여 워프 활용률을 높이고 분기를 줄인다. 이러한 설계들은 검색 품질을 유지하면서 디코딩 지연 시간을 크게 줄이고 처리량을 향상시킨다. 최대 빔 너비 1000, 8억 개 키워드 라이브러리 환경에서 FlashTrie는 트라이 탐색 지연 시간을 3ms 미만으로 줄여, 고도로 최적화된 멀티스레드 CPU 기준선(baseline) 대비 최대 24배의 속도 향상을 달성한다. 이러한 개선을 통해 FlashTrie는 스폰서 검색(sponsored search)과 같은 지연 시간이 중요한 응용에서 빔 크기를 최대 5배까지 확장할 수 있다. 인기 상용 검색 엔진에서 진행한 대규모 온라인 A/B 실험에서 통계적으로 유의미한 +0.71%의 매출 향상을 달성하며, 이전에는 오프라인에서만 가능했던 규모의 실시간 제약 디코딩을 실현하였다. FlashTrie 코드는 리뷰 과정 완료 후 공개될 예정이다.

arXiv:2607.09802v1cs.LG

Quota Marketplace: ML 학습 자원의 효율적 할당을 위한 동적 가격 책정

Quota Marketplace: Dynamic Pricing for Efficient Allocation of ML Training Resources

최근 몇 년간 머신러닝(ML) 학습 자원에 대한 수요가 급증하면서 높은 수요와 가용 공급 사이에 상당한 격차가 발생했습니다. 이처럼 희소하고 비용이 많이 드는 자원의 효율적 할당은 조직이 투자 대비 수익을 극대화하는 데 매우 중요합니다. Karma [OSDI'23]와 같은 기존 자원 할당 메커니즘은 동적(시변) 사용자 수요 환경에서 파레토 효율성(Pareto efficiency)과 최대-최소 공정성(max-min fairness)을 보장하도록 설계되어 있으나, 이질적인 가치를 지닌 수요가 존재할 경우 이러한 핵심 특성을 유지하지 못합니다. 조직 내 다양한 워크로드의 가치 이질성이 보편적이고 불가피한 현실을 감안할 때, 효과적인 자원 할당 정책은 이러한 변동성을 수용해야 합니다. 본 논문에서는 이질적인 가치를 지닌 수요 시나리오를 명시적으로 처리하여 ML 학습 칩(GPU 등)을 효율적으로 할당하는 시장 기반 메커니즘인 Quota Marketplace의 설계, 구현, 배포 및 이론적 분석을 기술합니다. Google 내부에서의 구현 과정을 상세히 설명하고 그 영향을 보여주는 지표를 제시합니다. 또한 Quota Marketplace가 효과적으로 처리하는 다양한 비즈니스 핵심 요구사항을 논의하고, 이를 통해 달성된 성과와 새롭게 열린 기회를 기록합니다. 이 시장 기반 접근법이 사용자로 하여금 워크로드의 가치를 표현하도록 하고 수요와 공급 변동에 기반한 동적 자원 가격 책정을 가능하게 함으로써 파레토 효율성과 최대-최소 공정성이라는 핵심 속성을 달성함을 이론적으로 증명합니다. 궁극적으로, 이 시장은 조직의 우선순위에 부합하는 자원 할당을 촉진합니다.

arXiv:2607.09688v1cs.LG

Prioritizing Search Space Regions in the Low Autocorrelation Binary Sequences Problem

낮은 자기상관 이진 수열 문제(LABS)는 통신, 신호 처리, 위성 항법 분야에서 중요한 응용을 갖는 어려운 조합 최적화 과제이다. 본 논문은 LABS 탐색 공간의 제한 클래스에 걸쳐 계산 노력을 적응적으로 배분하기 위해 Thompson 샘플링과 병렬 자기회피 보행(self-avoiding walk)을 결합한 하이브리드 탐색 프레임워크를 제안한다. 파티션을 다중 팔 밴딧(multi-armed bandit) 설정의 팔(arm)로 모델링함으로써, 제안된 방법은 덜 샘플링된 영역의 탐험(exploration)을 유지하면서도 경험적으로 더 높은 성능 지수(merit factor)를 산출하는 파티션 쪽으로 탐색 자원을 동적으로 전환한다. 이 접근법은 GPU 병렬 실행, 공유 사후 업데이트, 효율적인 이웃 평가, 그리고 사이클 방지를 위한 블룸 필터(Bloom filter)를 통해 추가로 가속된다. 또한 제약된 분할 비대칭 공간(partitioned skew-symmetric space)을 먼저 탐색한 후 비제약 공간에서 최적 후보를 정제하는 2단계 최적화 전략을 사용한다. 긴 이진 수열에 대한 실험 결과, 제안된 방법은 $450 \le L \le 527$ 범위의 35개 수열 길이와 $L=573$에 대해 이전에 알려진 최선의 결과를 개선하였다. 특히 $L=451$에서 성능 지수 8.0을 초과하는 새로운 최장 수열을 보고한다. 결과는 또한 Thompson 샘플링이 더 나은 관측 성능을 보이는 파티션을 효과적으로 우선시함을 보여주며, LABS 최적화에서 온라인 데이터 기반 자원 배분의 가치를 확인한다. 전반적으로 제안된 프레임워크는 고성능 성능 지수 최대화를 위한 확장 가능하고 효과적인 전략을 제공한다.

arXiv:2607.11586v1cs.AI

HCRMap: 3.5D MoE 칩렛 추론을 위한 압력 인식 핫 전문가 레지던시 매핑

HCRMap: Pressure-Aware Hot-Expert Residency Mapping for 3.5D MoE Chiplet Inference

전문가 혼합(MoE) 대규모 언어 모델(LLM)은 추론 시 소수의 전문가만 활성화하지만, 토큰 라우팅은 지속적인 전문가 핫니스 편향을 야기한다. 즉, 소수의 핫 전문가가 대부분의 토큰을 지속적으로 수신하는 반면 나머지 전문가는 경부하 상태에 놓인다. 3.5D 멀티칩렛 시스템에서 이 편향은 연산 불균형을 초래할 뿐만 아니라 통신, 메모리 대역폭, I/O, 실행 큐에 대한 압력을 증폭시킨다. 따라서 핵심 문제는 단순히 토큰 이동을 줄이는 것이 아니라, 서로 다른 메모리 계층에 걸쳐 핫 전문가 복제본을 동적으로 배치하고 재사용하는 것이다. 본 논문은 3.5D MoE 추론에서 압력 인식 전문가 복제본 관리를 위한 핫 전문가 레지던시 매핑 프레임워크인 HCRMap을 제안한다. HCRMap은 전문가 핫니스, 가중치 로딩 비용, 마이그레이션 오버헤드, 런타임 리소스 압력을 기반으로 어떤 전문가를 승격, 유지, 강등 또는 축출할지를 동적으로 결정한다. 이후 라우팅된 토큰 그룹을 적합한 상주 복제본에 매핑함으로써 통신, 메모리, 큐 병목 현상을 통합적으로 완화한다. 실험 결과, HCRMap은 프리필 및 디코드 단계에서 Hydra 대비 종단 간 지연 시간을 각각 43.6%, 43.0% 단축하고, MoEntwine 대비 각각 34.5%, 33.1%, PIMoE 대비 각각 46.7%, 46.0% 단축하는 것으로 나타났다.

arXiv:2607.10183v1cs.DC

소비자 기기에서의 하이브리드 CPU-GPU 대규모 언어 모델 추론을 위한 자동화 텐서 스케줄링

Automated Tensor Scheduling for Hybrid CPU-GPU LLM Inference on Consumer Devices

노트북이나 데스크톱과 같은 소비자 기기에서 대규모 언어 모델(LLM)을 실행하는 것은 모델 가중치가 GPU 메모리 용량을 초과하는 경우가 많아 CPU 메모리로 유효 모델 용량을 확장하기 위한 오프로딩 추론이 필요하다는 점에서 어려움이 있다. 그러나 기존 오프로딩 시스템은 대개 거친 층 수준 또는 전문가 수준의 스케줄링에 의존하여, 같은 층 내 텐서 간의 상당한 이질성을 간과하고 해당 기기의 변화하는 하드웨어 부하 조건에 적응하지 못한다. 본 논문은 텐서 세분성 수준에서 오프로딩을 수행하는 소비자 기기용 하이브리드 CPU-GPU 추론 시스템인 ATSInfer를 제안한다. ATSInfer는 정적 텐서 배치와 부하 인식 동적 전송을 결합하고, 비동기 CPU-GPU 협조 방식을 도입하여 이기종 백엔드 전반에 걸쳐 하드웨어 스토리지, 데이터 이동, 연산을 효율적으로 스케줄링한다. 우리는 ATSInfer를 구현하고 밀집 모델과 전문가 혼합(MoE) 모델 모두를 사용하여 대표적인 소비자 플랫폼에서 평가하였다. 기존 시스템 대비 ATSInfer는 프리필(prefill) 처리량을 최대 1.94배, 디코드(decode) 처리량을 최대 3.29배 향상시키는 동시에 GPU 활용률을 높이고 PCIe 대역폭을 더욱 효과적으로 사용한다. 이러한 결과는 ATSInfer가 개인 소비자 기기에서의 로컬 LLM 배포 사용자 경험을 크게 개선할 수 있음을 보여준다.

arXiv:2607.08642v2cs.CL

DominoTree: 추론 가속을 위한 Domino 기반 조건부 트리 구조 드래프팅

DominoTree: Conditional Tree-Structured Drafting with Domino for Speculative Decoding

투기적 디코딩(speculative decoding)은 여러 토큰을 드래프팅한 후 병렬로 검증함으로써 대규모 언어 모델(LLM) 추론을 가속한다. DFlash와 같은 블록-확산(block-diffusion) 드래프터는 단일 패스로 드래프트 블록을 생성하지만 위치별 주변 분포(marginal)만 모델링하며, DDTree와 같은 최선-우선(best-first) 트리 방법은 해당 주변 분포로부터 후보 트리를 확장한다. 공개된 Domino 드래프터는 GRU 기반 인과적 보정(causal correction)을 추가하여 각 드래프트 토큰 분포를 경로 의존적으로 만드는데, 이는 DDTree의 인수분해 공식화(factorized formulation)로는 표현할 수 없는 구조다. 우리는 DominoTree를 제안한다. DominoTree는 루트-노드 경로별로 Domino의 조건부 비인수분해 보정(conditional, non-factorized correction)을 점수로 활용하는 학습 불필요(training-free) 최선-우선 드래프트 트리로, 노드별 보정을 상위 M개 후보 집합으로 제한함으로써 실용성을 확보한다. 8개 벤치마크에서 Qwen3-4B 기준, DominoTree는 자기회귀 디코딩 대비 최대 6.6배 속도 향상을 달성하며, 모든 테스트 온도에서 평가된 방법 중 가장 높은 평균 수락 길이(최대 라운드당 10.7 토큰)를 기록한다. DominoTree는 GPU 네이티브 CUDA 그래프 빌더로 트리를 구성하며, 이 빌더는 참조 Python 구현과 비트 단위로 동일하므로 수락률은 변하지 않으면서 라운드별 트리 구성 비용을 낮게 유지한다. 이 빌더를 기본값으로 채택함으로써 DominoTree는 기반 드래프터인 공개 Domino 디코더 대비 모든 테스트 온도에서 처리량을 향상시킨다: Qwen3-4B 전체 기준 9~10%, Alpaca에서는 최대 22% 향상. 또한 DominoTree는 탐욕적 디코딩뿐만 아니라 모든 테스트 온도에서 DDTree와 CaDDTree를 능가한다. Qwen3-8B에서 DominoTree는 모든 온도에서 가장 높은 수락 길이를 유지하며, T=0에서 DDTree 대비 24% 처리량 향상을 달성한다. 온도가 높아질수록 DDTree 및 CaDDTree와의 격차는 동률 내지 소폭 손실로 좁혀지지만, DFlash 및 Domino 대비 전반적인 이점은 유지된다.

arXiv:2512.04013v3cs.CL

AugServe: 증강 대규모 언어 모델 추론 서빙을 위한 적응형 요청 스케줄링

AugServe: Adaptive Request Scheduling for Augmented Large Language Model Inference Serving

외부 도구를 활용한 증강 대규모 언어 모델(LLM)이 웹 애플리케이션에서 점점 더 많이 사용됨에 따라, 증강 LLM 추론 서빙의 효율성 향상과 서비스 수준 목표(SLO) 최적화가 사용자 경험 개선에 있어 중요한 과제가 되고 있다. 이를 달성하기 위해 추론 시스템은 지연 시간 제약 내에서 요청 처리량을 극대화해야 하며, 이를 유효 처리량(effective throughput) 향상이라 한다. 그러나 기존 시스템은 두 가지 주요 문제에 직면해 있다: (i) 선입선출(FCFS) 스케줄링에 대한 의존으로 인한 심각한 선두 차단(head-of-line blocking) 현상으로, 다수의 요청에서 SLO를 초과하는 큐잉 지연이 발생하고, (ii) 변동하는 부하 및 하드웨어 조건에 적응하지 못하는 정적 배치 토큰 한도가 문제가 된다. 이 두 요인은 유효 처리량과 서비스 품질을 저하시킨다. 본 논문에서는 증강 LLM 추론 서비스의 큐잉 지연을 줄이고 유효 처리량을 향상시키기 위해 설계된 효율적인 추론 프레임워크인 AugServe를 제안한다. AugServe의 핵심 아이디어는 2단계 적응형 요청 스케줄링 전략이다. 구체적으로, AugServe는 증강 LLM 요청의 추론 특성을 결합하여 스케줄링 결정의 순서를 최적화하고(1단계), 이 결정을 런타임 정보로 지속적으로 개선하여(2단계) 요청 특성과 시스템 성능 모두에 적응한다. 또한 AugServe는 하드웨어 상태와 실시간 부하를 기반으로 토큰 배치 메커니즘을 동적으로 조정하여 처리량 성능을 추가적으로 향상시킨다. 실험 결과, AugServe는 vLLM 및 InferCept 대비 각각 4.7배, 3.3배 높은 유효 처리량을 달성하였으며, 첫 토큰 생성 시간(TTFT)을 각각 최대 96.3%, 95.0% 단축하였다.

arXiv:2607.09084v1cs.LG

대형 모델의 그린 개발에 관한 서베이: 자원 효율적 아키텍처부터 하드웨어-소프트웨어 공동 설계까지

A Survey on the Green Development of Large Models: From Resource-Efficient Architectures to Hardware-Software Co-Design

대규모 AI 모델의 급속한 확장은 다양한 분야에서 상당한 성능 돌파구를 이끌었으나, 동시에 계산 비용, 에너지 소비, 환경 지속 가능성에 관한 심각한 우려를 야기했다. 본 서베이는 자원 효율적 아키텍처와 풀스택 하드웨어-소프트웨어 공동 설계를 중심으로 대형 모델의 그린 개발에 대한 포괄적인 개요를 제공한다. 어텐션 연산자 최적화, 선형 복잡도 아키텍처, 모델 희소화 및 병합을 포함한 효율적 모델 구축의 최근 발전과 함께, 데이터 효율적 학습, 매개변수 효율적 미세조정, 계산 압축 등 학습 및 배포 전략을 체계적으로 검토한다. 알고리즘적 개선을 넘어, 주류 AI 칩, 메모리 최적화, 크로스 플랫폼 배포, 지속 가능한 인프라를 포함한 에너지 효율적 AI 하드웨어를 탐구한다. 나아가 DeepSeek, 원격 탐지 해석, 국가 규모 인프라, 글로벌 이니셔티브와 같이 지속 가능성이 중요한 분야에 대형 모델이 어떻게 적용되고 있는지 살펴본다. 마지막으로, 지속적 학습 패러다임, 메모리 중심 하드웨어, 표준화된 평가 프로토콜의 필요성을 강조하며 주요 과제와 미래 방향을 논의한다. 본 서베이는 대형 모델의 지속 가능하고 확장 가능하며 사회적으로 책임 있는 개발을 향한 총체적 로드맵을 제시하는 것을 목표로 한다.

arXiv:2607.08786v1cs.LG

적당한 수준의 비정형 희소 가중치 행렬을 활용한 대규모 언어 모델의 GPU 추론 가속화

Accelerating GPU Inference of Large Language Models with Moderately Unstructured Sparse Weight Matrices

대규모 언어 모델(LLM)의 배포가 증가함에 따라 LLM 추론 비용이 핵심 과제로 부상하고 있다. 가중치 행렬에 희소성을 도입하는 가지치기 기법은 추론을 가속화할 수 있다. 그러나 모델 품질을 유지하기 위해 가지치기는 일반적으로 적당한 수준의 비정형 희소성(약 50%)으로 제한된다. 이 희소성 수준에서는 희소 행렬 곱(SpMM)을 위한 기존 GPU 커널 중 어느 것도 밀집 행렬 곱 대비 우수한 성능을 보이지 못한다. 본 논문은 적당한 희소성을 가진 LLM을 위한 효율적인 GPU 추론 방법을 제안한다. 세 층으로 구성된 행렬 저장 형식을 제안하며, 이는 (i) 희소 텐서 코어가 SpMM을 가속화하도록 하는 Sparse-TC 층, (ii) 병렬 차분 거리를 사용하여 행렬을 압축하면서 저비용 온칩 디코딩을 지원하는 Slot-Filling 층, (iii) 올바른 SpMM 연산을 보장하는 경량 Residual 층으로 구성된다. 이 형식을 기반으로, 희소 텐서 코어와 CUDA 코어를 함께 활용하는 SpMM 커널을 설계한다. 이 설계는 효율적인 실행 파이프라인을 가능하게 하고 온칩 연산과 메모리 접근을 중첩시킨다. 평가 결과, 본 연구는 고대역폭 메모리(HBM)를 장착한 최신 GPU에서 밀집 행렬 곱을 능가하는 최초의 사례임을 보여준다. SpInfer(EuroSys'25, 최우수 논문) 대비 최대 1.64배의 커널 수준 속도 향상, FlashLLM(VLDB'24) 대비 최대 1.41배의 엔드-투-엔드 속도 향상을 달성한다. 소스 코드: https://github.com/moui0/cudac.

arXiv:2607.08782v1cs.LG

Director: Accelerating Distributed MoE Serving via Online Proactive Expert Placement

전문가 병렬성(expert parallelism)은 전문가 혼합(MoE) 모델을 서빙하는 지배적인 패러다임으로 자리잡았다. 그 효율성은 GPU의 통신 및 연산 지연 시간에 의존하며, 이는 GPU 내 전문가 배치와 연결된다. 기존의 전문가 배치 최적화 연구들은 과거 요청의 전문가 활성화 패턴을 활용하는 데 초점을 맞추었다. 그러나 이러한 방법들은 다양하고 빠르게 변화하는 요청 패턴에 직면했을 때 한계를 드러내며, 온라인 선제적 접근 방식의 필요성을 제기한다. 이러한 접근 방식을 구현하기 위해서는 여러 과제를 해결해야 한다: 들어오는 요청의 전문가 활성화에 수반되는 불확실성, 전문가 마이그레이션 비용, 그리고 최적화의 NP-난해 복잡도가 그것이다. 이에 우리는 Director를 제시한다. Director는 예측 기반의 온라인 전문가 배치를 통해 종단간 지연 시간을 최소화하는 새로운 분산 MoE 서빙 시스템이다. Director는 들어오는 요청의 전문가 활성화 패턴을 위해 경량 캐스케이드 예측기 또는 저비트 양자화 복제본 중 하나를 활용한다. 이후 온라인 마이그레이션 모듈이 연산 집중 구간에서 마이그레이션을 실행하여 거의 제로에 가까운 다운타임으로 변경 사항을 적용하며, 중단을 최소화한다. 핵심부에는 완화(relaxation) 기반 전문가 배치 옵티마이저가 있으며, 이는 용량 제약 조건하에서 동작하고, 다항 시간 내에 실행되며, $(1+ε)$ 근사 비율을 달성한다. 마지막으로, 프로토타입을 구현하고 광범위한 실험을 통해 Mistral, DeepSeek, Qwen 등 인기 MoE 모델에서 기존 연구 대비 종단간 지연 시간을 $11\sim55\%$ 감소시킴을 입증한다.

arXiv:2602.21196v2cs.LG

Untied Ulysses: 헤드 단위 청킹을 통한 메모리 효율적 컨텍스트 병렬성

Untied Ulysses: Memory-Efficient Context Parallelism via Headwise Chunking

트랜스포머 모델로 긴 시퀀스를 효율적으로 처리하려면 일반적으로 컨텍스트 병렬성(context parallelism)을 통해 가속기 간에 연산을 분할해야 합니다. 이 방법군에서 주류를 이루는 Ring Attention이나 DeepSpeed Ulysses와 같은 접근법은 컨텍스트 차원에서의 스케일링을 가능하게 하지만 메모리 효율성에는 초점을 맞추지 않아, 지원 가능한 시퀀스 길이가 제한됩니다. Fully Pipelined Distributed Transformer나 활성화 오프로딩(activation offloading)과 같은 더 발전된 기법은 학습 처리량을 희생하면서 가능한 컨텍스트 길이를 추가로 확장할 수 있습니다. 본 논문에서는 어텐션 헤드 수준에서 세밀한 청킹을 수행하는 단순하면서도 효과적인 컨텍스트 병렬성 기법인 UPipe를 제안합니다. 이 기법은 셀프-어텐션의 활성화 메모리 사용량을 크게 줄여 활성화 메모리 장벽을 극복하고 훨씬 더 긴 컨텍스트 길이를 가능하게 합니다. 우리의 접근법은 32B 트랜스포머에서 어텐션 층의 중간 텐서 메모리 사용량을 최대 87.5%까지 줄이면서, 학습 속도 면에서는 기존 컨텍스트 병렬성 기법과 동등한 성능을 달성합니다. UPipe는 단일 8×H100 노드에서 Llama3-8B를 학습할 때 5M 토큰의 컨텍스트 길이를 지원할 수 있으며, 이는 기존 방법 대비 25% 이상 개선된 수치입니다.

arXiv:2607.09520v1cs.CV

보는 것은 공짜, 말하는 것은 그렇지 않다: 엣지 비전-언어 모델 추론의 진정한 에너지 병목 규명

Seeing is Free, Speaking is Not: Uncovering the True Energy Bottleneck in Edge VLM Inference

비전-언어 모델(VLM)은 구현된 AI의 지각적 근간이지만, 엣지 하드웨어에서의 에너지 소비는 아직 충분히 이해되지 않고 있다. 기존의 효율화 연구들은 주로 시각 토큰 수 감소에 집중하며, 암묵적으로 시각 처리를 주요 에너지 비용으로 간주해 왔다. 본 연구는 온디바이스 VLM 추론에 대한 최초의 체계적 에너지 프로파일링을 통해 이 암묵적 가정을 뒤집는다. 프로파일링은 세 가지 아키텍처 계열에 걸친 다섯 개 모델, 네 가지 입력 해상도, 두 가지 하드웨어 플랫폼(NVIDIA RTX 3070 및 Jetson Orin NX)을 대상으로 수행되었다. 분석을 통해 세 가지 발견을 도출하였다. 첫째, 평균 추론 전력은 모델 고유의 상수로, 입력 해상도·이미지 복잡도·프롬프트 유형에 무관하게 전 조건에서 5% 미만의 변동을 보인다. 이는 입력에 따른 모든 에너지 변동이 전력 소비량의 차이가 아닌 추론 시간의 차이에서 비롯됨을 의미한다. 둘째, 프리필(prefill)과 디코딩(decode) 간의 연산 집약적·메모리 집약적 비대칭성으로 인해 출력 토큰 하나의 벽시계 시간(wall-clock time) 비용이 입력 토큰 하나보다 11배에서 39배 더 높으며, 이로 인해 출력 토큰 수가 지연 시간과 에너지 모두의 주요 결정 요인이 된다. 셋째, 이미지 내 객체 수로 측정한 이미지 복잡도는 동일한 해상도에서 최대 4.1배의 에너지 차이를 유발한다. 이 변동은 시각 처리 비용의 증가가 아닌 출력 길이의 차이에서 발생한다. 이러한 발견들은 시각 토큰 가지치기의 근본적인 한계를 드러낸다. 고정 토큰 모델에서는 모든 시각 토큰을 제거하더라도 총 에너지의 최대 10%만 절감된다. 10억에서 80억 파라미터에 이르는 모델에 걸쳐, 출력 길이를 제어하면 총 에너지의 최대 97%를 절감할 수 있으며, 디코딩의 에너지 지배력은 모델 규모가 커질수록 강해진다. 요컨대, 엣지 VLM 추론에서 진정한 에너지 병목은 모델이 무엇을 보는가가 아니라 얼마나 많이 말하는가에 있다.

arXiv:2607.08427v1cs.AR

FPGN: 미분 가능한 LUT를 이용한 초고속 프로그래머블 게이트 기반 신경망 가속의 재정의

FPGN: Redefining Ultra-Fast Programmable Gate-based Neural Acceleration with Differentiable LUTs

LUT(룩업 테이블)을 학습 가능한 뉴런으로 활용하는 LUT 네이티브 신경망의 이론적 잠재력을 실제 FPGA 하드웨어에서 실현하기 위해, 하드웨어 정렬 미분 가능 학습, 물리 인식 토폴로지, 스트리밍 아키텍처, 지연 기반 컴파일러를 통합한 종단간 프레임워크 FPGN을 제안한다. FPGN은 기존 FPGA 기반 BNN 가속기 대비 최대 205배의 추론 지연 감소와 기존 미분 가능 LUT 네이티브 네트워크 대비 최대 30배 높은 LUT 효율을 달성하면서 경쟁력 있는 정확도를 유지한다.