PyTorchKR Papers

최신 논문

총 5,575편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2504.14636v3cs.LG공식 코드 · Papers with Code

탐색이 스타일을 학습시킬 때: AlphaZero에서 전술적 사전 분포의 인과적 내면화

When Search Teaches Style: Causal Internalization of Tactical Priors in AlphaZero

AlphaZero는 일반적으로 정책-가치 네트워크와 몬테카를로 트리 탐색(MCTS)이 결합된 단일 에이전트(agent)로 평가됩니다. 그러나 이러한 융합은 하나의 인과적 질문을 감춥니다. 자기 대진(self-play) 탐색에 유용한 사전 분포(prior)가 주어졌을 때, 네트워크는 유도된 동작을 흡수하는가, 아니면 그 동작이 테스트 시점 탐색으로부터 빌려온 상태로 유지되는가? 우리는 학습(training) 중과 평가(evaluation) 중에 루트 수준의 전술적 사전 분포를 독립적으로 켜고 끄며, 사전 분포의 온라인 효과와 가중치에 남겨지는 학습된 잔차를 분리하는 단계 간 사전 분포 개입(CPI, Cross-Phase Prior Intervention)을 통해 이에 답합니다. 최종 목표는 의도적으로 좁게 설정되었습니다. 즉, 탐색 시점의 유도가 전혀 없을 때 네트워크가 강제된 방어적 의무를 얼마나 자주 수행하는지입니다. 9x9 오목과 19x19 바둑에서의 밀봉된 단발성 최종 테스트에서, 사전 분포를 제거하더라도 여전히 큰 잔차가 남아 응답률이 오목에서는 13.8%에서 26.3%로, 바둑에서는 0.6%에서 33.8%로 상승합니다. 또한 소프트 재가중치는 엄격한 행동 제한만큼 효과적으로 학습시키므로, 합법적 행동의 가지치기(pruning)가 그 메커니즘은 아닙니다. 동일한 교차 실험은 주장의 한계도 보여줍니다. 사전 분포를 다시 활성화하면 거의 100%의 응답률로 회복되어 각각 73.7 및 65.8포인트의 의존성 격차가 남습니다. 래치드 포지션(latched-position) 평가는 이 잔차가 학습된 기하학적 구조에 국한됨을 보여줍니다. 즉, 공유된 초기화(initialization)에서는 나타나지 않고 학습 과정에서 점진적으로 발생하며, 분포 내(in-distribution) 방어에서는 +17.3포인트의 가치를 가지지만 구조적으로 새로운 방어에서는 +1.3포인트에 불과합니다. 따라서 탐색은 학습 시점의 행동 커리큘럼으로 해석하는 것이 가장 적절하며, 그 교훈은 실재하지만 부분적이고 기하학적 구조에 종속적입니다. 또한 온라인 역량과 내면화된 역량은 대각 어블레이션(diagonal ablation)으로는 구분할 수 없는 서로 다른 추정 대상입니다.

arXiv:2607.22614v2cs.AI

DynaResize: 분리형 LLM 사후 학습을 위한 런타임 GPU 재할당

DynaResize: Runtime GPU Reallocation for Disaggregated LLM Post-Training

RL 기반 LLM 사후 학습에서는 롤아웃과 학습을 서로 다른 GPU 자원에 분리하는 방식이 점점 늘고 있지만, 정적 GPU 분할은 긴 꼬리 롤아웃 지연 하에서 심각한 파이프라인 버블을 겪는다. 본 논문은 RL 시맨틱스를 바꾸지 않으면서 단계 실행 시간의 균형을 맞추기 위해 롤아웃과 학습 사이에서 GPU를 동적으로 전환하는 런타임 GPU 재할당 시스템인 DynaResize를 제안한다. DynaResize는 리사이징을 세밀한 연산으로 분해하고, 커뮤니케이터 재사용, 제한된 상태 스테이징, 히스테리시스 기반 리사이징을 통해 시작에 결정적이지 않은 작업을 크리티컬 패스에서 제거한다. 실험 결과, DynaResize는 최적의 정적 구성 대비 end-to-end 처리량을 66.5% 향상시키고 총 실행 시간을 33% 단축할 수 있으며, 역할 전환 오버헤드의 27%를 숨길 수 있음을 보여준다.

arXiv:2601.07048v5cs.DB

GPU 가속 ANNS: 속도를 위한 양자화, 변화에 대응하는 설계

GPU-Accelerated ANNS: Quantized for Speed, Built for Change

근사 최근접 이웃 검색(ANNS)은 기계 학습 및 정보 검색 응용에서 핵심적인 문제이다. GPU는 고성능 ANNS를 위한 유망한 경로를 제공한다. 거리 계산을 위한 대규모 병렬성을 제공하고, 쉽게 이용 가능하며, 하류 응용과 공동 배치할 수 있기 때문이다. 이러한 장점에도 불구하고, 현재 GPU 가속 ANNS 시스템은 세 가지 핵심 한계에 직면한다. 첫째, 실제 응용은 빠른 배치 업데이트가 필요한 진화하는 데이터셋에서 동작하지만, 대부분의 GPU 인덱스는 새 데이터가 도착하면 처음부터 재구축해야 한다. 둘째, 고차원 벡터는 메모리 대역폭에 부담을 주지만, 현재 GPU 시스템은 비용이 큰 무작위 메모리 접근을 도입하지 않으면서 데이터 이동을 줄이는 효율적인 양자화 기법이 부족하다. 셋째, 탐욕적 검색에 내재된 데이터 의존적 메모리 접근은 계산과 메모리의 중첩을 어렵게 만들어 성능 저하로 이어진다. 우리는 높은 쿼리 처리량과 업데이트 가능성을 모두 갖춘 GPU 네이티브 ANNS 시스템인 Jasper를 제안한다. Jasper는 Vamana 그래프 인덱스를 기반으로 하며, 세 가지 기여를 통해 기존 병목을 극복한다: (1) 잠금 없는 스트리밍 삽입을 가능하게 하는 CUDA 배치 병렬 구축 알고리즘, (2) 무작위 접근 페널티 없이 메모리 사용량을 최대 8배까지 줄이는 RaBitQ 양자화의 GPU 효율적 구현, (3) 계산 활용률을 높여 더 나은 지연 숨김과 더 높은 처리량을 달성하는 최적화된 탐욕적 검색 커널. 5개 데이터셋에 걸친 평가에서 Jasper는 CAGRA보다 최대 1.84배 높은 쿼리 처리량을 달성하며, roofline 모델로 측정한 최대 80%의 피크 활용률을 달성한다. Jasper의 구축은 효율적으로 확장되며, CAGRA가 갖추지 못한 업데이트 가능성을 제공하면서 인덱스를 CAGRA보다 평균 7배 빠르게 구축한다. 이전 최고 속도 GPU Vamana 구현인 BANG과 비교하면, Jasper는 10~74배 더 빠른 쿼리를 제공한다.

arXiv:2505.15548v2cs.LG

조밀한 국소 의존성이 긴 시퀀스 트랜스포머 학습 중 어텐션 로짓 폭발과 학습 불안정성을 유발한다

Dense Local Dependencies Induce Attention-Logit Explosion and Training Instability During Long-Sequence Transformer Training

자기회귀 트랜스포머(transformer) 언어 모델은 긴 시퀀스로 학습(training)할 때, 특히 낮은 정밀도(precision) 연산 환경에서 종종 학습 불안정성을 보입니다. 이러한 불안정성은 흔히 어텐션(attention) 로짓(logit) 폭발을 동반하지만, 그 근본적인 원인은 명확히 밝혀지지 않았습니다. 본 연구에서는 조밀한 국소 의존성(dense local dependencies)이 어텐션 로짓 폭발의 주요 원인임을 보여주는 분석적 통찰과 실증적 증거를 제시합니다. 조밀한 국소 의존성 패턴은 실질적으로 높은 랭크(high-rank)의 어텐션 구조를 형성하며, 셀프 어텐션의 낮은 랭크 매개변수화는 시퀀스 길이가 증가함에 따라 점점 더 큰 로짓을 통해서만 이를 근사할 수 있음을 입증합니다. 이러한 로짓 팽창은 궁극적으로 낮은 정밀도 연산 환경에서 학습 불안정성으로 이어집니다. 합성 데이터 및 언어 모델링 작업에 대한 광범위한 실험을 통해 이러한 설명을 뒷받침합니다. 실험 결과는 일관되게 어텐션 로짓의 증가가 시퀀스 길이에 따라 커지고, 어텐션 차원을 늘림으로써 완화되며, 조밀한 국소 의존성을 명시적으로 모델링함으로써 크게 감소함을 보여줍니다. 나아가, 이러한 증가는 단순한 국소성(locality) 자체보다는 국소 의존성의 밀도에 의해 유발된다는 점을 밝힙니다. 보다 넓은 관점에서, 본 연구 결과는 조밀한 국소 의존성을 명시적으로 모델링하는 것이 자기회귀 언어 모델링을 위한 안정적이고 효율적이며 확장 가능한 롱 컨텍스트 트랜스포머 아키텍처를 개발하는 데 중요한 설계 원칙이 됨을 시사합니다.

arXiv:2403.07598v2cs.CV

Mondrian: 압축 패킹 추론을 통한 온디바이스 고성능 비디오 분석

Mondrian: On-Device High-Performance Video Analytics with Compressive Packed Inference

본 논문에서는 고해상도 비디오 스트림에서 고성능 객체 검출(object detection)을 가능하게 하는 엣지 시스템인 Mondrian을 제시합니다. 자원 제약이 있는 기기를 위해 많은 경량 모델과 시스템 최적화(optimization) 기법이 제안되었으나, 동적인 고해상도 비디오에 대해 가속기의 잠재력을 온전히 활용하지 못하고 있습니다. 이러한 기능을 구현하기 위해, 우리는 처리할 필수 픽셀을 선별적으로 결정하고 이를 결합하여 처리 병렬성을 극대화함으로써 픽셀당 처리 비용을 최소화하는 새로운 압축 패킹 추론(Compressive Packed Inference)을 고안했습니다. 특히 본 시스템은 관심 영역(ROI)을 신속하게 추출하고 동적으로 축소하여, 빠르게 변화하는 객체 및 장면의 특성 효과를 반영합니다. 그런 다음 이렇게 크기가 조정된 ROI를 대형 캔버스에 지능적으로 결합하여 GPU와 같은 추론(inference) 가속기의 활용도를 극대화합니다. 다양한 데이터셋(dataset), 모델 및 기기에 걸친 평가(evaluation) 결과, Mondrian은 다양한 1080p 비디오 스트림 처리에 있어 최신 베이스라인(예: 입력 리스케일링, ROI 추출, ROI 추출+배칭) 대비 15.0~19.7% 더 높은 정확도를 달성하고, 프레임별 추론 대비 $\times$6.65 더 높은 처리량을 기록했습니다. 코드는 https://github.com/snuhcs/mondrian 에서 확인할 수 있습니다.

arXiv:2607.23815v1cs.DB

Kalypso: 관계형 LLM 서빙

Kalypso: Relational LLM Serving

대규모 언어 모델(LLM)은 필터링, 추출, 순위화, 조인, 비정형 데이터 변환을 위한 의미론적 연산자로 점점 더 많이 사용되고 있다. 기존 의미론적 쿼리 처리 시스템은 쿼리 계획을 인식하지 못하는 요청 중심 LLM 서빙 시스템을 호출하여, 상당한 성능 개선 여지를 남겨둔다. 본 논문은 LLM 서빙이 의미론적 쿼리 구조를 인식하도록 하면서 쿼리 의미론과 출력 정확도를 보존하는 추상화인 관계형 LLM 서빙(relational LLM serving)을 제안한다. 핵심 기회는 의미론적 연산자 간 파이프라인 실행에 있다. 중간 튜플이 한 연산자에서 다음 연산자로 직접 흐를 때, KV-cache 상태를 재계산하는 대신 재사용할 수 있다. 우리는 의미론적 쿼리 계획을 위한 API를 제공하고 적응형·메모리 인지 스케줄링 알고리즘으로 이를 실행하는 관계형 LLM 서빙 시스템인 Kalypso를 제시한다. Kalypso는 파이프라인 연산자 실행을 GPU 메모리 압력 관리와 결합하여 서빙 엔진에서 KV-cache 상태가 퇴거되기 전에 재사용하는 새로운 온라인 스케줄링 문제를 다룬다. 스케줄러는 업스트림 병렬성, 다운스트림 진행, GPU 활용률의 균형을 맞추기 위해 메모리 할당을 지속적으로 조정한다. 평가 결과, Kalypso는 요청 중심 LLM 서빙을 사용하는 베이스라인 대비 쿼리 완료 시간을 개선했으며, 다양한 워크로드에서 최대 4.57배의 속도 향상을 보였다. 이는 쿼리 인지 LLM 서빙이 의미론적 쿼리 실행의 효율을 크게 높일 수 있음을 보여준다.

arXiv:2511.21702v2cs.CL

CSV-Decode: 효율적인 대규모 언어 모델 추론을 위한 검증 가능한 하위 어휘 디코딩

CSV-Decode: Certifiable Sub-Vocabulary Decoding for Efficient Large Language Model Inference

대규모 언어 모델은 큰 어휘에 대한 비용이 큰 출력 층 계산으로 인해 추론 중 상당한 계산 병목을 겪는다. 우리는 각 디코딩 단계마다 작은 하위 어휘를 구성하기 위해 기하학적 상한을 사용하는 새로운 접근법인 CSV-Decode를 제안한다. 이는 정확한 top-$k$ 인증과 $\varepsilon$-인증 소프트맥스 근사라는 이중 정확성 보장을 유지하면서 효율적인 희소(sparse) 계산을 가능하게 한다. 우리 방법은 어휘 임베딩을 오프라인으로 클러스터링하고, 중심점(centroid)과 반경(radius) 상한을 사용하여 계산에서 안전하게 생략할 수 있는 토큰을 식별한다. 우리는 희소 GEMV 커널, 다중 GPU 샤딩, CUDA Graph 최적화를 갖춘 완전한 시스템 구현을 제공한다. 실험 결과는 분포 보장과 낮은 폴백(fallback) 비율을 유지하면서 전체 어휘 디코딩 대비 상당한 속도 향상을 보여준다. 코드 구현은 https://github.com/FastLM/CSV-Decode 에서 이용할 수 있다.

arXiv:2607.22648v1cs.AI

PTStore (Prefix Tensor Store): 고처리량 추론 서빙을 위한 분산 접두 캐싱 및 복제

PTStore (Prefix Tensor Store): Distributed Prefix Caching and Replication for High Throughput Inference Serving

콘텐츠 전송 네트워크(CDN)의 클라이언트 캐싱 설계에서 영감을 받아, PTStore는 재사용 가능한 KV 캐시 접두 문맥을 형성하는 인기 텐서를 분산하고 복제한다. 이 접두 문맥은 최신(state-of-the-art) 접근법들이 추론 가속에 사용하는 핵심 기법이다. 이를 통해 KV 캐시 접근 지연을 줄이고, 인기 텐서를 보유한 서버에 비례하지 않게 많은 요청이 집중되어 발생하는 부하 불균형을 완화한다. 또한 탈중앙화 덕분에 PTStore는 대규모 언어 모델(LLM) 추론을 위한 KV 캐시 크기를 수배 이상 확장할 수 있다. 그 결과 PTStore는 서로 다른 노드와 GPU에 걸쳐 메모리를 집계하지 않아 KV 캐시를 재생성해야 하는 현재 베이스라인 대비, 긴 구절 Q&A 데이터셋에서 추론을 5~6배 더 효율적으로 수행할 수 있다.

arXiv:2607.22588v1cs.AI

ParBench: LLM 병렬 코드 번역의 신뢰성 있는 평가를 위한 벤치마크

ParBench: A Benchmark for Reliable Evaluation of LLM Parallel Code Translation

현대의 연산 집약적 소프트웨어는 CUDA, OpenMP, OpenCL, OpenMP target offload를 포함하여 가속기, 프로그래밍 API, 컴파일러 스택, 이식성 계층이 계속 변하는 생태계 전반으로 이전해야 한다. 대규모 언어 모델(LLM)과 자율 코딩 에이전트(agent)가 이러한 이전을 위해 점점 더 제안되고 있지만, 이 분야는 스레드 인덱싱, 동기화, 메모리 관리, 호스트-디바이스 조율, API별 실행 구조를 포함하여 번역을 행동적으로 유효하게 만드는 저수준 병렬 의미론을 보존하는지 측정할 신뢰할 수 있는 방법이 부족하다. 우리는 실행 가능하고 재현 가능한 조건에서 LLM 기반 병렬 API 번역을 평가하기 위한 커널 중심 벤치마크 프레임워크인 ParBench를 제시한다. ParBench는 선언적 벤치마크 명세를 통해 주변 빌드, 실행, 검증 인프라를 고정하고 모델에게 계산 커널만 번역하도록 요구한다. 이는 여러 오픈소스 HPC 스위트를 활용하며 CUDA, OpenMP, OpenCL, OpenMP target offload 간 대표적인 교차 API 번역 방향을 다룬다. 성공이 표면적 형태의 암기가 아닌 견고한 번역을 반영하는지 검증하기 위해 ParBench는 AST 기반, 의도된 동작 보존, 기준선 검증된 소스 증강을 포함한다. 최신 오픈소스 및 독점 LLM에 대한 평가는 방향 비대칭성, 다중 파일 조율, 불완전한 API 적응, 소스 수준 교란에 대한 불균등한 견고성을 포함하여 신뢰할 수 있는 병렬 코드 번역에 지속적인 장벽이 있음을 보여준다. 코드는 https://github.com/Scientific-Computing-Lab/ParBench 에서 이용할 수 있다.

arXiv:2607.22484v1math.NA

극 분해를 통한 특이값 소프트 임계값 처리

Singular value soft-thresholding via the polar decomposition

특이값 소프트 임계값 처리는 행렬 극 분해(polar decomposition)로의 환원을 통해 계산할 수 있으며, 이를 통해 극 분해를 계산하는 GPU 친화적 알고리즘을 활용할 수 있다. 실험적으로 SVD(특이값 분해)를 사용하는 표준 접근법에 비해 GPU에서 상당한 속도 향상이 관찰된다. 견고성(robustness)에 대한 조사는 향후 연구로 남기지만, 부호 함수(sign function)의 불연속적 특성으로 인해 극 분해로의 환원은 낮은 정확도가 요구되는 응용에만 적합할 가능성이 있다고 본다.

arXiv:2607.21985v1cs.DC

효율적인 LLM 추론을 위한 통합 정적-동적 가지치기

Unified Static-Dynamic Pruning for Efficient LLM Inference

대규모 언어 모델(LLM)의 배포가 증가하면서, 낮은 연산 강도와 대역폭 제약 커널이 추론 비용을 지배하는 자기회귀 디코딩의 계산 및 메모리 병목이 더욱 두드러지고 있다. 가중치 가지치기는 유망한 해결책을 제공하지만, 기존 방법은 영구적으로 중복 가중치를 제거하지만 적응성이 부족한 정적 가지치기(SP), 또는 입력 희소성에 적응하지만 런타임 불규칙성을 유발하는 동적 가지치기(DP) 중 하나에 국한되어 있다. 본 논문은 GPU에서의 효율적인 LLM 추론을 위해 비구조화 SP와 입력 적응형 DP를 통합하는 통합 희소 추론 프레임워크인 SPDP를 제시한다. SPDP는 새로운 Tiled-Column-wise Bitmap Compressed(Tiled-CBC) 형식과 두 가지 상호 보완적인 GPU 커널을 공동 설계한다: (1) 세밀한 런타임 활성화 건너뛰기를 위한 Hybrid Activation-aware Dynamic Shared-Memory Bitmap Decoding(HAD-SMBD)을 특징으로 하는 CUDA 코어 spMspV 커널, (2) prefill 연산에 최적화된 Tensor-Core SpMM 커널. 이 형식-커널 공동 설계는 정적 및 동적 희소성을 조화시키며, LLM 추론의 두 단계 모두에서 대역폭 효율적인 메모리 접근과 높은 연산 강도를 유지한다. 추론 최적화 GPU에 대한 포괄적 평가에서 SPDP는 SpInfer와 같은 최신 희소 프레임워크 대비 평균 1.24x–1.37x(최대 2.51x)의 속도 향상을 달성하면서, 최대 25% 더 높은 희소성에서 perplexity를 동등하게 유지한다. SPDP는 추론 효율-품질 파레토 프론티어를 전진시키며, 통합 정적-동적 가지치기가 대규모 LLM 서빙에서 상당한 처리량 및 와트당 성능 개선을 제공할 수 있음을 보여준다.

arXiv:2607.18020v3cs.LG

FlashPDE: 신경망 PDE 솔버를 위한 드롭인 융합 Triton 연산자 라이브러리

FlashPDE: A Drop-In Fused Triton Operator Library for Neural PDE Solvers

물리 정보 신경망(PINNs)은 신경망 학습에 물리적 제약을 통합하여 PDE를 풀지만, 대규모 문제는 자동 미분 메모리 오버헤드와 그리드 기반 PDE 연산자의 비효율적 실행에 의해 제한된다. 본 논문은 그리드 기반 과학적 머신러닝을 위한 드롭인 융합 연산자 라이브러리인 FlashPDE를 제안한다. FlashPDE는 분절된 PyTorch 유한차분 실행을 미분 가능한 Triton 커널로 대체한다. 각 연산자는 융합 스텐실 평가, 해석적 이산-수반 역전파, 경계 그래디언트 보정을 통합 PyTorch 자동 미분 Function 인터페이스 내에서 통합한다. 이 라이브러리는 1D--3D 타원, 포물선, Navier--Stokes 계에 걸친 17가지 구성을 포괄하는 14개의 미분 가능 PDE 연산자를 제공하며, 신경망 아키텍처 및 학습 전략과 독립적이다. NVIDIA A100 GPU에서의 실험 결과, FlashPDE는 좌표 기반 자동 미분 대비 피크 메모리 사용량을 최대 37.0배 줄이고, eager PyTorch 유한차분 구현 대비 CUDA 커널 실행 횟수를 최대 3.5배 줄인다. 6개의 대표 PDE 벤치마크에서 FlashPDE는 PyTorch 유한차분 기준과 수치적 일치를 유지하면서 end-to-end time-to-solution 기준 최대 2.30배 속도 향상과 커널 수준 최대 19.2배 가속을 달성한다. FlashPDE는 PyTorch 생태계 내에서 미분 가능 PDE 솔버와 GPU 최적화 수치 계산을 연결하는 하드웨어 효율적 실행 층을 제공한다.

arXiv:2607.21677v1cs.SE

전파 천문학에서 지속 가능한 코드 최적화를 위한 SLM 강화

Enhancing SLMs for Sustainable Code Optimization in Radio-Astronomy

최근 대규모 언어 모델(LLM)은 복잡한 코드를 생성하고 최적화할 수 있다. 우리는 대규모 과학 분야, 특히 전파 천문학과 지속 가능성에 초점을 맞춰 LLM을 이용해 코드를 생성하고 최적화하는 방안을 조사한다. LOFAR 망원경은 현재 업그레이드 중이며, 관측하는 하늘 영역을 크게 늘리는 동시에 더 많은 데이터를 더 빠르게 처리한다. 그러나 이로 인해 계산 요구량이 40배 증가할 것으로 예상된다. 따라서 이 업그레이드는 기존 소프트웨어의 엄격한 성능 최적화와 가속기(accelerator)의 광범위한 도입에 결정적으로 의존한다. 코드베이스가 매우 크기 때문에 이는 매우 어려운 과제가 된다. 따라서 우리는 개발자가 코드를 평가하고 최적화하는 것, 하드웨어 가속기로의 이식(porting)을 포함하여 이를 지원하기 위한 AI 기반 접근법을 조사하고 시연한다. LOFAR 커뮤니티는 지속 가능한 해결책에 전념하고 있으며, 에너지 예산을 늘리지 않고 이러한 개선을 달성해야 한다. 따라서 기존 코드를 최적화하거나 가속기로 이식해야 하며, 최적화 과정 자체도 에너지 효율적이어야 한다. LLM은 에너지 소모가 크기 때문에 이는 도전 과제가 된다. 따라서 환경 영향을 제한하기 위해 대신 소형 언어 모델(SLM)을 사용할 것을 제안한다. 본 논문에서는 에이전트 AI(agentic AI)를 활용하여 SLM을 강화하는 방법을 보여준다. 코드 생성 품질과 성능을 향상시키기 위해 SLM을 두 가지 방식으로 확장한다: 첫째, 다중 샘플링(multi-sampling) 생성 전략, 둘째, 컴파일러 피드백(compiler feedback) 통합. 다중 샘플링 SLM이 더 적은 계산 자원으로 더 큰 단일 생성(single-generation) 모델과 동등하거나 이를 능가할 수 있음을, 그리고 컴파일러 출력을 SLM에 다시 피드백하면 테스트한 모든 모델에서 일관된 개선이 이루어짐을 시연한다. 우리의 접근법은 범용적이며, 코드 생성 파이프라인에서 검색-증강 생성(RAG)뿐 아니라 정적 및 동적 분석 도구도 활용할 수 있다.

arXiv:2607.21624v1cs.AI

FBLayout: 모바일 GPU에서 효율적인 LLM 미세조정을 위한 메모리 레이아웃 최적화

FBLayout: Optimizing Memory Layout for Efficient LLM Finetuning on Mobile GPUs

트랜스포머 기반 모델은 언어, 비전, 멀티모달 태스크 전반에서 전례 없는 능력을 가능하게 하였다. 트랜스포머 모델의 온디바이스 미세조정은 개인화 AI를 위한 프라이버시 보호 경로를 제공하지만, 심각한 메모리 제약과 학습 중 어텐션 메커니즘에서의 빈번한 레이아웃 변환으로 인해 모바일 GPU에서는 여전히 비효율적이다. 기존 모바일 학습 프레임워크는 순전파와 역전파에 통합 레이아웃을 사용하여 역전파 시 단편화된 메모리 접근과 낮은 GPU 활용률을 초래하거나, 명시적 레이아웃 변환에 의존하여 상당한 변환 오버헤드를 유발한다. 이를 극복하기 위해, 우리는 모바일 GPU 플랫폼과 텐서 구성을 공동 설계하는 레이아웃 인식 프레임워크인 FBLayout을 제안한다. FBLayout은 다음을 도입한다: (1) 순전파/역전파 전반의 다차원 축약을 위한 통합 R-Tile 레이아웃; (2) 물리적 데이터 이동을 제거하는 타일 기반 인덱스 변환; (3) 효율적인 레이아웃을 전역적으로 전파하는 활성화 기반 레이아웃 선택. 서로 다른 모바일 기기( ARM Mali 및 Qualcomm Adreno GPU 포함)에서 7개의 트랜스포머 모델에 대한 평가 결과, FBLayout은 MNN, TFLite, TVM 대비 2.2-5.7배의 속도 향상을 달성하며, 캐시 효율을 크게 개선하고 메모리 사용량을 줄여 실용적인 온디바이스 대규모 모델 미세조정을 가능하게 한다.

arXiv:2607.21271v2cs.CV

Flash EQ-Linear: 그룹별 이산 푸리에 변환을 통한 등변 선형 층 가속

Flash EQ-Linear: Accelerating Equivariant Linear Layers via Group-wise Discrete Fourier Transform

등변(equivariant) 네트워크는 가중치 공유를 통해 기하학적 대칭을 구조적 사전 지식(prior)으로 내장하여, 비전 작업 전반에서 뛰어난 매개변수 효율성을 달성한다. 그러나 이러한 매개변수 효율성은 연산 효율로 이어지지 않는다. 기존 구현은 구조화된 가중치를 밀집(dense) 행렬로 펼친 뒤 범용 밀집 커널에 전달하므로, 등변 층의 FLOPs는 비등변(non-equivariant) 대응물보다 작지 않다. 본 논문에서는 현대 등변 아키텍처에서 가장 기본적이며 자주 사용되는 모듈인 등변 선형(EQ-Linear) 층이 본질적으로 그룹 차원을 따른 순환 합성곱(circular convolution)과 채널 차원을 따른 선형 변환의 합성임을 관찰한다. 이 관찰에 기반하여, 우리는 그룹 차원을 따른 푸리에 합성곱 정리(Fourier convolution theorem)와 실수 DFT의 켤레 대칭(conjugate symmetry)을 결합하여 복잡도를 $\mathcal{O}(NDC)$에서 $\mathcal{O}(NDC/T)$로 줄이는 정확한 가속 알고리즘인 Flash EQ-Linear를 제안한다. 또한 순전파와 역전파, FP32 및 FP16 정밀도를 모두 아우르는 Flash EQ-Linear 전용 CUDA 커널을 제공한다. 연산자 수준에서 Flash EQ-Linear는 PyTorch의 F.linear 대비 순전파 최대 ${2\times}$ 속도 향상을 달성한다. 네트워크 수준에서는 Flash EQ-ViT와 Flash EQ-Swin이 등변 및 비등변 베이스라인 모두에 대해 최대 ${1.7\times}$ end-to-end 속도 향상을 달성한다. 우리가 아는 한, 이는 등변 네트워크가 정확도, 매개변수 효율성, 추론 속도라는 세 축 모두에서 비등변 대응물을 엄격히 압도한 최초의 사례이다. 코드는 https://github.com/zhongchenzhao/FlashEQLinear 에서 이용할 수 있다.

arXiv:2510.11147v2stat.ML

torchsom: Self-Organizing Map을 위한 PyTorch 레퍼런스 라이브러리

torchsom: The Reference PyTorch Library for Self-Organizing Maps

이 논문은 PyTorch에서 Self-Organizing Map(SOM)의 레퍼런스 구현을 제공하는 오픈소스 Python 라이브러리인 torchsom을 소개한다. 이 패키지는 세 가지 주요 기능을 제공한다: (i) 차원 축소, (ii) 클러스터링, (iii) 사용하기 쉬운 데이터 시각화. PyTorch 백엔드를 기반으로 하여, (i) GPU 가속을 통한 SOM의 빠르고 효율적인 학습, (ii) PyTorch 생태계와의 쉽고 확장 가능한 통합을 가능하게 한다. 또한 torchsom은 사용 편의성과 확장성을 위해 scikit-learn API를 따른다. 이 라이브러리는 90% 테스트 커버리지와 함께 Apache 2.0 라이선스로 공개되었으며, 소스 코드와 문서는 https://github.com/michelin/TorchSOM 에서 확인할 수 있다.

arXiv:2607.20908v1cs.LG

CUDA 커널 생성을 위한 구조 및 성능 인식 보상 기반 멀티턴 강화학습

Multi-turn RL with Structural and Performance Aware Rewards for CUDA Kernel Generation

검증 가능 보상 강화학습(RLVR)은 최적화된 코드 생성을 위해 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 강력한 기법으로 부상했다. 그러나 기존 RLVR 접근법은 주로 정확성과 속도 향상(speedup)과 같은 결과 기반 신호에 의존하여, 최적화된 코드 생성에 필수적인 프로그램의 성능에 중요한 구조적 특성을 간과한다. 본 연구에서는 검증 가능한 실행 보상과 병렬화 특성(예: memory coalescing, occupancy, Arithmetic Intensity, 동기화 패턴)에서 파생된 구조적 코드 인식 보상을 모두 통합하는 반성적(reflective) 강화학습 프레임워크인 CudaPerf를 제안한다. CudaPerf는 두 단계로 동작한다: (1) 대조 비교를 통해 강한 프로그램 후보와 약한 프로그램 후보를 구별하도록 학습하는 오프라인 pairwise 순위 모듈, (2) 통합 보상 신호를 통해 정확성, 성능, 구조적 효율성을 공동 최적화하는 온라인 강화학습 학습 단계. 학습을 더욱 향상시키기 위해 CudaPerf는 실행 피드백을 활용한 반복적 정제(iterative refinement)를 통해 생성된 후보의 점진적 개선을 가능하게 한다. 또한 다양한 입력 구성과 다양한 최적화 전략을 포괄하는 여러 CUDA 구현이 짝지어진 C to CUDA 2.9k개 및 PyTorch to CUDA 1k개 프로그램으로 구성된 데이터셋을 도입한다. CudaPerf는 C to CUDA 및 PyTorch to CUDA 변환을 모두 포함하는 여러 벤치마크에서 평가된다. 실험 결과, CudaPerf는 C to CUDA에서는 Qwen-3-32B, PyTorch to CUDA에서는 CUDA 에이전트를 포함한 강력한 기준선들을 크게 능가하며, 각각 속도 향상에서 최대 5배 및 3.32배, 정확성에서 17% 및 7%의 개선을 달성한 것으로 나타난다.

arXiv:2607.20723v1cs.CR

Leaky Language Models: 토큰별 타이밍을 통한 아키텍처 및 추론 최적화 탈취

Leaky Language Models: Stealing Architecture and Inference Optimizations via Per-Token Timing

본 연구는 LeakyLMs를 제시한다. 이는 프로덕션 언어 모델로부터 독점 모델, 아키텍처, 배포 정보를 유출하는 일련의 공격이다. LeakyLMs는 원격 API를 통한 상호작용만으로도 토큰 생성 타이밍만으로 핵심 모델 및 배포 세부 정보를 추론할 수 있음을 최초로 입증한다. LeakyLMs는 두 가지 핵심 공격을 도입한다. 첫 번째 공격은 추론 최적화와 배포 전략을 겨냥한다. 예를 들어, 본 공격은 널리 배포된 추론 시점 최적화인 speculative decoding 사용 여부를 탐지하고, 파이프라인에서 사용되는 draft 모델의 컨텍스트 길이까지 식별한다. 측정 결과 Google Gemini Flash 2.5는 약 128K 토큰의 draft 컨텍스트 윈도우를 갖는 speculative decoding을 사용하는 것으로 나타났다. 두 번째 공격은 트랜스포머 레이어 수, hidden dimension 크기, 어텐션 헤드 수를 포함한 핵심 아키텍처 속성을 복원한다. 이를 위해 LeakyLMs는 최신 NVIDIA GPU에서 토큰 생성 타이밍에 대한 상세하고 정확한 모델을 구축하여, 지연 시간이 모델 구성 및 하드웨어 매개변수에 따라 어떻게 스케일링되는지 특성화한다. 공격은 이 타이밍 모델을 사용하여 아키텍처 공간을 탐색한다. Llama 모델 실험에서 거의 정확한 아키텍처 구성이 상위 10개 추측 중 90% 이상의 경우에 나타난다.

arXiv:2607.21354v1cs.AI

SPORD: 공급망 계획을 위한 Simulation-Propose-then-OR-Dispose 접근법

SPORD: A Simulation-Propose-then-OR-Dispose Approach for Supply Chain Planning

수년간 이커머스 기업의 공급망 계획은 서로 분리된 프로젝트들의 모음 형태로 운영되어 왔다. 정적 네트워크 계획부터 동적 창고 품목 구성(assortment) 계획에 이르는 각 계획 업무는 분석가들이 처음부터 모델을 구축하고, 보정하고, 검증할 수 없는 결과물을 바탕으로 경영진을 설득하여 실행에 옮기도록 하는 데 수주가 걸리게 한다. 이를 야기하는 세 가지 장벽이 있다: 표준화가 어렵기 때문에 맞춤형 모델이 난립한다(운영 분절); 일단 통합되면 수백만 SKU, 수천 개 노드, 복잡한 라우팅 로직이라는 조합적 규모가 솔버가 짧은 시간 창 내에 처리할 수 있는 범위를 초과한다(계산적 난해성); 수학적으로 최적의 해도 경영진이 신뢰하지 않으면 실행되지 못한다(실행 장벽). 이 격차를 메우기 위해 JD.com의 NetSim 플랫폼으로 배포된 Simulation-Propose-then-OR-Dispose(SPORD) 방법을 제안하고 구현했다. 핵심 통찰은 분리(decoupling)이다: 시뮬레이션이 모든 고유한 비즈니스 로직을 흡수하면서 운영상 유효한 후보 경로의 전체 집합을 생성하고 평가하여 제안(propose)하고, 정수 계획(integer program)이 전역적으로 최적인 부분집합을 선택하여 처리(dispose)한다. 계산 측면에서 행렬-벡터화 CPU/GPU 가속 시뮬레이션은 순차 방식 대비 10~100배 속도 향상을 달성했고, 리스트 스케줄링 알고리즘은 결합 주문 처리를 수 시간에서 수 분으로 단축했다. 운영 측면에서 지능형 진단 엔진을 통해 폐루프(closed loop)를 구축했다. 2025년 이후 NetSim은 20,000개 이상의 공급업체에 대한 end-to-end 서비스를 최적화했고, 지역 간 이행(fulfillment)률은 6.1%에서 4.9%로 감소했으며, 월평균 탄소 감축량은 약 5,745 tCO2e이다. SPORD는 시뮬레이션을 모니터링에서 능동적 계획으로 전환한다. 투명한 출력은 회의적인 경영진을 적극적으로 참여하는 협력자로 바꾸고, 모듈형 아키텍처는 다음 계획 수립에 재구축이 아닌 구성(configuration)만 필요하게 한다.

arXiv:2607.21042v1cs.AI

Faster IndexTTS-2: GPU에서 자기회귀 제로샷 텍스트 음성 변환 합성의 가속화 및 스트리밍

Faster IndexTTS-2: Accelerating and Streaming Autoregressive Zero-Shot Text-to-Speech Synthesis on GPUs

자기회귀 텍스트 음성 변환 모델은 높은 자연스러움을 달성하지만, 순차적 토큰 생성으로 인해 추론이 느려 낮은 지연 시간을 요구하는 프로덕션 애플리케이션에의 배포가 제한된다. IndexTTS-2는 GPT, flow-matching Diffusion Transformer, 보코더(vocoder)로 구성된 최첨단 자기회귀 TTS 모델이다. 높은 합성 품질에도 불구하고, 스트리밍이나 배치 처리 지원 없이는 추론 속도가 거의 실시간에 도달하지 못한다. 우리는 Faster IndexTTS-2를 제안한다. 이는 NVIDIA TensorRT와 TensorRT-LLM을 사용하여 GPU에서 프로덕션 배포를 위해 IndexTTS-2의 모든 신경망 구성 요소를 가속한다. Faster IndexTTS-2는 또한 지연 시간에 민감한 대화형 애플리케이션을 위한 스트리밍 합성과, GPU 활용률을 극대화하기 위한 모든 구성 요소에 걸친 배치 추론을 지원한다. 영어와 중국어 모두에 대한 Seed-TTS 벤치마크 실험에서, 자기회귀 GPT에서 최대 5.0× 속도 향상, 종단 간(end-to-end) 최대 3.6× 속도 향상을 보였으며, 단어 오류율(word error rate), 화자 유사도(speaker similarity), 자연스러움에서의 저하는 미미했다. 우리의 방법론은 GPU에서 유사한 자기회귀 음성 모델을 효율적으로 가속하는 실용적인 참고 자료를 제공한다.