PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09385v1cs.DC

STEEL: AMD XDNA NPU에서 에너지 효율적인 긴 시퀀스 추론을 위한 희소성 인식 융합 어텐션

STEEL: Sparsity-Aware Fused Attention for Energy-Efficient Long-Sequence Inference on AMD's XDNA NPU

운영체제 워크플로우 내에서 대규모 언어 모델 기반 에이전트의 도입이 증가함에 따라, 노트북급 시스템온칩(SoC)에서의 에너지 효율적인 추론의 중요성이 높아지고 있다. 클라우드 오프로딩이 여전히 일반적이지만, 이는 에이전트 워크로드에 특히 문제가 되는 신뢰성 및 개인정보 보호 문제를 야기한다. 따라서 최근 노트북 SoC는 에너지 효율에 최적화된 신경처리엔진(NPU)을 내장하고 있으나, 아키텍처의 다양성과 명시적 데이터 이동 프로그래밍 모델로 인해 NPU에 어텐션 메커니즘을 효과적으로 매핑하는 것은 여전히 어려운 과제이다. 본 연구에서는 XDNA 계열 NPU를 대상으로 하는 FlashAttention의 최초 오픈소스 구현체인 STEEL을 제안한다. STEEL은 프리필(prefill) 어텐션의 데이터플로우 정식화를 도입하여 공간적 병렬성과 온칩 메모리의 효율적인 활용을 가능하게 한다. 또한 STEEL은 희소성 인식 파이프라인 배치를 NPU 어레이에 적용함으로써 인과적 마스크(causal mask)로 인한 부하 불균형 문제를 해결하여 동기화 오버헤드를 줄이고 활용률을 향상시킨다. AMD Ryzen AI 9 HX 370 SoC에서 STEEL을 평가하고 최적화된 CPU 및 GPU 구현체와 성능을 비교한 결과, STEEL은 CPU 및 GPU 기준 대비 평균 각각 9.17배, 1.75배의 에너지 소비 절감을 달성하였다. XDNA 1에서 STEEL은 기존 최고 수준 대비 평균 9.6배의 지연 시간 감소를 달성하였으며, XDNA 2에서는 층별 어텐션 구현 대비 평균 22.8배의 속도 향상을 제공한다.

arXiv:2607.04302v1cs.LG

HiFA4: Ascend HIF4 NPU 기반 LLM 추론을 위한 학습 불필요 4비트 FlashAttention

HiFA4: Training-Free 4-bit FlashAttention on Ascend HIF4 NPUs for LLM Inference

Ascend NPU에서 LLM 추론 시 FlashAttention의 QK^T와 PV 연산을 4비트 HIF4 Cube GEMM으로 실행하면서도 정확도를 유지하는 학습 불필요(training-free) 설계인 HiFA4를 제안하며, Smooth-QK와 P-Reordering 두 메커니즘을 통해 양자화(quantization)로 인한 결정 드리프트를 줄인다. Qwen3-8B에서 직접 양자화 대비 MMLU 정확도 회귀를 57% 감소시키는 등 5개 LLM에서 일관된 성능 개선을 달성했다.

arXiv:2607.02584v1cs.CV

RotateAttention: 비디오 생성에서 INT4 양자화 어텐션을 위한 RoPE 인식 회전 및 범위 보정

RotateAttention: RoPE-Aware Rotation and Range Rectification for INT4 Quantized Attention in Video Generation

3D 회전 위치 임베딩(3D RoPE)을 탑재한 DiT 기반 비디오 생성 모델에서, 어텐션 메커니즘은 시퀀스 길이에 대한 이차 복잡도로 인해 주요 연산 병목으로 남아 있다. 양자화된 FlashAttention은 하드웨어 가속화를 향한 유망한 경로를 제공하지만, 기존의 저비트 양자화 방법들은 이 설정에서 두 가지 핵심 과제를 간과한다: 1) 쿼리(Q)와 키(K)의 이상치를 완화하는 데 널리 사용되는 기법인 온라인 회전 행렬의 적용이 RoPE와 양립하기 어렵고; 2) 비음수 어텐션 행렬 $P = \exp(QK - \max(QK))$가 대칭 양자화로 하여금 4비트 동적 범위의 절반을 낭비하게 만든다. 본 연구에서 우리는 Q와 K의 이상치 분포가 3D RoPE의 차원 분할에 의해 크게 영향을 받음을 관찰하였다. 이 발견을 기반으로, 정확도에 민감한 어텐션 블록과 노이즈 제거 단계에 선택적 FP16 폴백을 사용하여 3D RoPE를 갖춘 DiT 기반 비디오 생성 모델에 맞춤화된 효율적인 혼합 정밀도 INT4 FlashAttention 프레임워크인 RotateAttention을 제안한다. RotateAttention은 두 가지 핵심 기법을 도입한다: 1) RoPE 인식 회전(RoPE-aware Rotation): RoPE에 융합 가능한 병합 가능 회전 행렬 또는 무시할 수 있는 오버헤드의 행렬을 활용하여 Q와 K에서 RoPE로 인한 이상치를 완화하고; 2) 범위 최적화 P 양자화(Range-optimized P Quantization): 최소한의 연산 오버헤드로 INT4 수치 범위를 완전히 활용하기 위해 고정 스케일과 영점을 사용한다. 실험 결과, RotateAttention은 최대 1.68×의 종단 간 속도 향상과 2.2×의 커널 수준 가속을 달성하면서 전체 정밀도 기준선과 거의 동일한 비디오 생성 품질을 유지함을 보인다.

arXiv:2606.06521v1cs.AR

FP8 어텐션의 P-Cast 정밀도: Sink 유발 붕괴와 S=2^8의 최적성

P-Cast Precision in FP8 Attention: Sink-Induced Collapse and the Optimality of S=2^8

FP8 (E4M3)를 이용한 어텐션 연산 가속은 상당한 처리량 향상을 제공하지만, 3비트 가수(mantissa)는 P*V 행렬 곱 이전에 소프트맥스 확률 행렬 P를 FP8로 캐스팅(P-cast)할 때 정밀도 문제를 야기한다. Attention Sink 현상 하에서 출력 정밀도에 영향을 주는 두 가지 구현 선택을 분석한다: (1) KV 블록 반복 순서, (2) 캐스팅 전 P에 적용하는 정적 스케일링 인자. 순방향 KV 반복이 "P-collapse"를 유발함을 보인다—1차 근사로, non-sink P 값의 비율 Phi(Delta + delta_k - 6.93 - ln S)이 0으로 언더플로(underflow)한다. 여기서 작은 이동 delta_k ~ 1 (k_sink = 4일 때)은 sink 블록 내 기대 점수 최댓값이다—반대로 역방향 반복은 이를 제거하며, 역방향과 S = 256을 결합하면 언더플로 0 보장이 성립한다. 또한 S = 256 = 2^8가 정적 스케일로서 (i) 비트 정확(bit-exact) IEEE 754 스케일링, (ii) E4M3 수직선 위 톱니 함수 dp(S)의 하한 포락선(dp = 2^-4, 최소 최악 경우 양자화 스텝), (iii) 비트 정확 (2^k) 스케일 중 정규 범위(normal-range) 최대 커버리지(448 같은 비트 비정확 스케일은 약간 더 높은 커버리지를 달성)를 동시에 만족한다는 구성적 특성을 제시한다. 두 최적화 모두 공학적 근거로 FlashAttention-3/4에 이미 배포되어 있다; 본 연구의 기여는 이러한 선택이 왜 좋은지에 대한 정량적 설명과 커널 수준 정밀도 손실 예측을 위한 닫힌형(closed-form) 임계값 Delta_c = 6.93 + ln S - delta_k를 제공하는 것이다. 커널 정확(kernel-faithful) 실험(P-cast 효과를 격리하기 위해 Q, K, V는 FP32)은 중간 수준의 sink 강도에서 3-10배 MSE 개선을 보여주며, 대응 검정(paired tests)은 두 수정을 결합하면 동일한 정밀도 하한에 수렴함을 확인한다.