PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21162v1cs.LG

모델에 합의하고, 추론을 검증하라: HND 기반 트랜스포머 추론을 위한 GKR 프로토콜

Agree on the Model, Verify the Inference: GKR Protocols for HND-Based Transformer Inference

외주 트랜스포머 추론은 클라이언트를 모델 대체 및 불완전 실행에 노출시키는 반면, 직접 재실행(replay)은 위임의 계산적 이점을 없앤다. 우리는 동형--비동형 분해(Homomorphic--Nonhomomorphic Decomposition) 트랜스포머의 다항식 백본을 검증하기 위한 등록 모델(registered-model) 프로토콜 GKR-HND를 제안한다. 유지 검증자(retained verifier)는 GKR 전사(transcript)와 등록 가중치 개방을 검사하되, 비용이 큰 공개 평가(public evaluations)는 지정된 계산 워커(computation worker)에 위임한다. 정직한 유지 검증자와 증명자-워커 간 비공모(non-collusion)를 가정하면, 검증자는 워커의 서명되고 요청에 바인딩된(request-bound) 응답이 증명 주장(proof claims)과 일치할 때만 이를 수락한다. 사전학습된 HND 모델에 대한 실험은 밀집 행렬(dense-matrix) 재실행 없이 증명 경로와 위임된 공개 계산을 검증한다.

arXiv:2607.15123v1cs.AR

NIFA: 효율적인 ML 추론을 위한 비선형 IMC 강화 FPGA

NIFA: Nonlinear IMC enhanced FPGA for efficient ML inference

최근 FPGA는 전용 텐서 블록과 in-BRAM 연산을 통해 심층 학습(DL) 추론 효율을 개선해 왔다. ReRAM 기반 아날로그 인메모리 컴퓨팅(IMC)은 ReRAM 크로스바 내에서 벡터-행렬 곱(VMM)을 직접 수행함으로써 기존 디지털 논리 대비 연산 밀도와 에너지 효율에서 한 자릿수(order-of-magnitude) 수준의 개선을 제공하며 효율을 더욱 끌어올린다. 선행 연구는 이러한 IMC 블록을 DL 추론용 FPGA에 통합해 왔다. 그러나 기존 IMC 설계는 정적 가중치 VMM만 지원하여, 비선형 연산과 동적 행렬-행렬 곱(DIMM)은 FPGA 패브릭에 맡기게 된다. 그 결과 IMC의 이점은 대체로 정적 가중치 모델에 국한되고, 빈번한 비선형 연산과 DIMM 연산에 의존하는 트랜스포머 기반 모델은 제한적인 개선만 얻는다. 게다가 각 IMC 블록 내 ADC는 면적과 전력의 70% 이상을 차지하여 시스템 효율과 확장성을 더욱 제한한다. 이러한 한계를 해결하기 위해, 우리는 블록 내부에서 비선형 연산을 고유하게 수행하는 아날로그 콘텐츠 주소 가능 메모리(ACAM)로 기존 ADC를 대체한 ADC-free IMC 블록을 통합한 새로운 FPGA 아키텍처를 제안한다. 이 블록을 최대한 활용하기 위해 FPGA 면적, 유연성, DL 성능 간 균형을 맞추며 최적의 크로스바 차원을 결정하는 FPGA 인식 설계 공간 탐험을 수행하고, ACAM을 활용해 DIMM 연산을 수행하는 효율적 매핑을 개발하여 IMC의 적용 범위를 어텐션 연산으로 확장한다. CNN 및 트랜스포머 기반 벤치마크에서 제안 아키텍처는 각각 최대 40배 및 1.9배 높은 에너지 효율과 4.1배 및 2.5배 높은 면적 효율을 달성한다. 전체적으로 이는 FPGA DL 추론 효율을 크게 향상시키고, 긴 입력 시퀀스에 걸친 트랜스포머 기반 워크로드에서도 견고한 이득을 유지하며, 도메인 특화 FPGA 설계를 발전시킨다.

arXiv:2607.10109v1cs.IR

적응형 모델 압축(AMC): 초저전력 트랜스포머 추론을 위한 현저성 기반 자원 할당

Adaptive Model Compression (AMC): Saliency-Driven Resource Allocation for Ultra-Low-Power Transformer Inference

대규모 트랜스포머 모델을 자원 제약이 있는 엣지 디바이스에 배포하는 것은 여전히 어려운 과제로, 이는 단순하고 복잡한 토큰을 동일한 강도로 처리하는 정적 추론에 내재된 높은 에너지 및 메모리 오버헤드에 기인한다. 이를 해결하기 위해, 우리는 토큰 중요도에 따라 하드웨어 자원을 동적으로 할당하는 현저성(saliency) 기반 프레임워크인 적응형 모델 압축(AMC, Adaptive Model Compression)을 제안한다. 다중 계층 아키텍처를 구현함으로써, 우리 시스템은 전정밀도(full-precision) 처리를 위한 중요한 고현저성 정보를 식별하는 동시에 덜 중요한 데이터의 랭크와 비트 폭을 적극적으로 축소한다. 실험 결과, AMC는 45nm CMOS 하드웨어에서 시스템 에너지를 59.2% 절감하고 처리량을 2.24배 향상시키는 것으로 나타났다. 이 접근 방식은 필요한 곳에서만 고정밀 연산을 활용함으로써 모바일 디바이스의 배터리 수명을 효과적으로 연장하며, 단 3.6%의 미미한 정확도 트레이드오프로 강건한 성능을 유지한다.

arXiv:2607.04819v1cs.LG

층 병렬 추론으로 트랜스포머의 암호화된 비선형 깊이 감소

Layer-Parallel Inference Reduces Encrypted Nonlinear Depth in Transformers

완전 동형 암호화(FHE) 기반 Transformer 추론에서 비선형 블록의 순차적 합성으로 인한 병목을 해결하기 위해, Structured Newton Layer Parallelism(SNLP)이 층 간 연산 그래프를 병렬화하여 FHE 부트스트랩 횟수를 최대 2.65배 줄일 수 있음을 보인다. 8개 모델 실험에서 SNLP는 순차 추론 대비 오류 증폭을 일관되게 낮추며, softmax 근사가 오류 예산을 지배하는 반면 CKKS 산술 잡음은 무시 가능한 수준으로 블록 수준 FHE 친화적 설계와 상호 보완적임을 확인했다.

arXiv:2503.10251v2math.NA

Numerical stability analysis of large language models

트랜스포머 추론의 혼합정밀도 연산에 대해 조건수와 순방향 오차 상한을 유도하고, 대규모 아웃라이어 영역에서 LayerNorm과 RMSNorm, 어텐션 싱크(attention sinks)가 있는 softmax, self-attention의 수치적 안정성을 비교·정량화한다. GPT-2 실험으로 확인한 바와 같이 추론의 수치적 안정성은 가중치 크기와 잔차 스트림(residual stream) 성장의 상호작용에 좌우되며, 잔차 투영 가중치 스케일링은 잔차 동역학의 질적 전환을 일으키지 않는 한 상대 반올림 오차 전파를 유지한다.