PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17781v1cs.AR

MIVE: 소프트맥스, LayerNorm 및 RMSNorm 가속을 위한 미니멀리스트 정수 벡터 엔진

MIVE: A Minimalist Integer Vector Engine for Softmax LayerNorm and RMSNorm Acceleration

대규모 언어 모델(LLM)의 급속한 성장은 엄격한 추론 지연 시간과 전력 제약을 만족시킬 수 있는 특화 하드웨어 가속기에 대한 수요를 더욱 강화했다. 행렬 곱셈이 전체 계산 워크로드를 지배하지만, LayerNorm, RMSNorm, 소프트맥스와 같은 비선형 벡터 정규화 연산은 중요한 하드웨어 병목이 될 수 있다. 기존 가속기들은 일반적으로 이러한 함수들을 전용 하드웨어 블록으로 구현하여 중복된 자원과 비효율적인 실리콘 활용을 초래한다. 이러한 한계를 해결하기 위해, 통합 데이터 경로 내에서 세 연산을 모두 실행할 수 있는 프로그래머블 아키텍처인 미니멀리스트 정수 벡터 엔진(MIVE)을 제안한다. LayerNorm, RMSNorm, 소프트맥스에 걸친 공통 계산 패턴을 활용함으로써, 제안된 벡터 엔진은 구현 오버헤드를 줄이면서 하드웨어 공유를 최대화한다. 물리적 ASIC 구현 결과에 따르면, MIVE는 포괄적인 다기능 지원을 제공하면서 대부분의 최신 독립형 가속기보다 더 높은 면적 및 하드웨어 효율성을 달성한다.

arXiv:2508.17821v3cs.LG

어텐션 메커니즘에서 정규화의 한계

Limitations of Normalization in Attention Mechanism

본 논문은 어텐션 메커니즘에서 정규화의 한계를 탐구한다. 먼저 모델의 선택적 능력과 토큰 선택에 관여하는 기하학적 분리를 식별할 수 있는 이론적 프레임워크를 제시한다. 분석에는 소프트맥스 스케일링 하에서 토큰 벡터의 거리 및 분리 기준에 대한 명시적 경계가 포함된다. 사전학습된 GPT-2 모델을 활용한 실험을 통해 이론적 결과를 실증적으로 검증하고 어텐션 메커니즘의 주요 동작을 분석한다. 특히, 선택되는 토큰의 수가 증가할수록 모델이 유익한 토큰을 구별하는 능력이 저하되어 종종 균일한 선택 패턴으로 수렴하는 현상을 입증한다. 또한 소프트맥스 정규화 하에서의 그래디언트 민감도가 학습 중, 특히 낮은 온도 설정에서 어려움을 야기함을 보인다. 이러한 발견은 소프트맥스 기반 어텐션 메커니즘에 대한 현재의 이해를 심화시키며, 미래 어텐션 아키텍처에서 보다 강건한 정규화 및 선택 전략의 필요성을 동기화한다.