arXiv:2606.17500v1 cs.LG

재구성 가능 컴퓨팅 챌린지: Versal AI 엔진에서의 제트 태깅 트랜스포머

Reconfigurable Computing Challenge: Transformer for Jet Tagging on Versal AI Engines

Gram Koski, Sean Lipps, Zhenghua Ma, G. Abarajithan, Ryan Kastner

제출 2026-06-16

한국어 초록

트랜스포머 기반 모델은 CERN LHC에서 제트 태깅을 위해 강력한 성능을 발휘하지만, 저지연이 요구되고 자원이 제약된 트리거 시스템에 이를 배포하는 것은 어렵습니다. 우리는 AMD Versal AI 엔진(AIE)에서 제트 태깅을 위한 양자화된 정수 전용 트랜스포머의 초기 구현을 제시하며, 밀집(dense) 및 멀티 헤드 어텐션(MHA) 레이어를 AIE 타일에 매핑했습니다. 주요 기여는 트랜스포머 레이어를 구성 가능한 AIE 빌딩 블록으로 표현하고, 고수준 Python 모델 설명으로부터 해당 Vitis 그래프 코드를 자동으로 생성하는 재사용 가능한 소프트웨어 프레임워크입니다. 이 프레임워크는 향후 연구를 위한 기반을 제공하며, https://github.com/KastnerRG/particle_transformer_aie에서 오픈 소스 소프트웨어로 공개되었습니다.

원문 초록

Transformer-based models achieve strong performance for jet tagging at the CERN LHC, but deploying them in low-latency, resource-constrained trigger systems is challenging. We present an initial implementation of a quantized, integer-only transformer for jet tagging on the AMD Versal AI Engine (AIE), mapping dense and multi-head attention (MHA) layers to AIE tiles. The main contribution is a reusable software framework that represents transformer layers as composable AIE building blocks and automatically generates the corresponding Vitis graph code from a high-level Python model description. This framework provides a foundation for future research and is released as open-source software at https://github.com/KastnerRG/particle_transformer_aie.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.17500v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01058v1cs.CR공통 태그 Quantization, Computational Efficiency, Edge-computing

MOMAT: 양자화된 LLM의 저전력 탈옥 방어를 위한 다중 지도 혼합 기법

MOMAT: Mixture of Multiple Atlases for Low-Power Jailbreak Defense of Quantized LLMs

양자화된 대규모 언어 모델(qLLM)은 낮은 지연 시간과 에너지 효율성 덕분에 엣지 디바이스에 점점 더 널리 배포되고 있습니다. 그러나 모델 양자화(quantization)는 정렬(alignment) 안전장치를 약화시켜 qLLM을 탈옥(jailbreak) 공격에 매우 취약하게 만듭니다. 이러한 문제를 해결하기 위해, 구조화된 지식 검색과 저전력 방어 가속을 결합한 하드웨어 강화 안전성(safety) 프레임워크인 MOMAT(Mixture of Multiple Atlases)을 제안합니다. 각 지도(atlas)는 유해하거나 무해한 샘플 세트 및 정책 템플릿의 의미론적 클러스터를 나타내며, 대규모의 이종 안전성 데이터베이스에서 차원의 저주와 그로 인한 의미론적 희소성(sparsity) 문제를 완화하는 도메인 국소화된 검색-증강 생성(RAG) 가드를 가능하게 합니다. MOMAT은 각 프롬프트(prompt)에 대해 모든 아틀라스로부터 상위 $k$개 유사도 특징을 검색하고 경량 전문가 혼합(MoE) 탐지기를 사용하여 이를 평가하며, CiM(Compute-in-Memory) 가속 유사도 엔진이 빠르고 전력 소모가 적은 아틀라스 국소 검색을 수행합니다. MOMAT의 CiM 기반 검색은 100개 쿼리 배치(batch) 처리를 15,052.44 ms에서 3,207.21 ns로 가속화($4.69 \times 10^6\times$ 속도 향상)하고, 에너지를 $8.1 \times 10^7$ $\mu$J에서 3.32 $\mu$J로 줄여 DRAM 기반(Raspberry Pi) 베이스라인 대비 약 $2.5 \times 10^5\times$의 에너지 절감을 달성합니다. 표준 벤치마크에 걸친 레드팀 테스팅(red-teaming) 평가 결과, MOMAT은 정상적인 입력에 대한 과잉 차단(benign overkill)을 방지하고 상당한 효율성 향상을 제공하면서도 최첨단 기법들의 방어 성능과 대등함을 보여주며, CiM 기반 모듈식 방어가 엣지에 배포된 qLLM을 더 안전하고 에너지 효율적으로 만들 수 있음을 입증합니다. 향후 연구를 촉진하기 위해 223.2k개 샘플로 구성된 전체 데이터셋(dataset)을 공개할 예정입니다.

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency, Edge-computing

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2610.13447v2cs.SD공통 태그 Quantization, Edge-computing

O\'ido: 신경망 가속기 없는 5달러 마이크로컨트롤러에서의 실시간 오픈 어휘 음성 인식

O\'ido: Real-Time Open-Vocabulary Speech Recognition on a $5 Microcontroller without a Neural Accelerator

저가 마이크로컨트롤러에서의 음성 인식은 실제로는 키워드 검출이나 고정된 명령어 목록에 한정된다. 본 연구는 신경망 가속기 없이 ESP32-S3(240 MHz Xtensa LX7, 8 MB PSRAM, 16 MB 플래시)만으로 단일 코어에서 실시간보다 빠르게 오픈 어휘 영어 음성 인식을 수행하는 추론 엔진과 모델군인 O\'ido를 제시한다. 이 연구의 버전 1은 13 M 파라미터 Conformer-CTC를 오디오 길이의 1.97배 시간에 실행했다. 보드에서 측정한 결과 병목은 산술 연산이 아니라 메모리 트래픽과 프레임당 비용이었다. 외부 메모리 읽기 속도는 PSRAM이 89 MB/s, 플래시가 32 MB/s였으며, 스트리밍 인식기는 청크마다 모든 가중치를 다시 읽는다. 버전 2는 이러한 메모리 시스템에 맞춰 설계한 모델(80 ms 프레임 스태킹, 64채널 프런트엔드, 12개 또는 16개 블록, 대부분 PSRAM에 들어가는 int4 가중치, 버전 1 모델에서 미세 조정)과, 가중치 스트림을 연산과 중첩시키고(비동기 데이터 캐시 프리로드) 작업 버퍼를 SRAM에 두며 디코더를 경량화하는 엔진 개선을 결합한다. 실제 보드에서 스트리밍 실시간 계수(real-time factor)는 1.77에서 0.54(변형 B)와 0.72(변형 A)로 낮아졌고, 오디오를 실시간 속도로 입력했을 때 최종 텍스트는 발화 종료 후 259 ms(B) 또는 431 ms(A)에 나타나며, 호스트 빌드와 펌웨어는 동일한 전사 결과를 생성한다. 변형 A는 0.64초 청크와 온칩 언어 모델을 사용한 스트리밍 모드에서 LibriSpeech test-clean/test-other 단어 오류율 7.1%/16.4%를 달성한다(전체 문맥 사용 시 4.6%/10.7%). 코드, 모델, 원시 보드 측정값을 공개한다.

arXiv:2610.15781v1cs.LG공통 태그 Computational Efficiency, Edge-computing

하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기

Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models

학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.

arXiv:2610.13778v1cs.LG공통 태그 Quantization, Computational Efficiency

ReplaySSM: 상태 대신 SSM 입력 캐싱하기

ReplaySSM: Cache SSM Inputs, Not State

상태공간모델(State-space models, SSMs)은 고정 크기의 재귀 상태(recurrent state)를 유지하지만, 매 디코딩 스텝마다 이를 읽고 쓰는 것은 하이브리드 모델의 병목이 될 수 있다. 이러한 즉시적(eager) 상태 관리는 산술 강도(arithmetic intensity)가 낮은 대규모 상태 입출력(I/O)을 유발하고, 추측 디코딩(speculative decoding)에 저비용 롤백을 허용하지 않으며, 상태 양자화 오차를 이후의 재귀 업데이트에 그대로 전달한다. 우리는 재귀식을 펼쳐(unroll) 상태를 체크포인트와 최근 SSM 입력들의 버퍼로 표현하는 ReplaySSM을 제안한다. 이는 출력 계산을 체크포인트 업데이트로부터 분리한다. 체크포인트를 주기적으로 업데이트함으로써 ReplaySSM은 대부분의 스텝에서 상태 쓰기를 피하고, 주된 상태 메모리 트래픽을 대략 절반으로 줄인다. 최근 입력을 유지하는 것은 또한 추측적 롤백을 버퍼 포인터 연산으로 만들고, 중간 상태를 구체화(materialize)하지 않고도 출력만으로 검증(output-only verification)을 가능하게 한다. 동일한 분리를 통해 저정밀도 체크포인트가 대부분의 스텝에서 출력 계산을 담당하고 더 높은 정밀도의 체크포인트가 재귀 업데이트를 담당할 수 있어, 저정밀도 복사본의 라운딩 오차가 이후 업데이트로 전혀 유입되지 않는다. 우리는 ReplaySSM을 vLLM에서 Mamba-2와 Gated DeltaNet에 대해 구현했다. 서빙 배치 크기 256에서, 이는 네 개의 하이브리드 모델 전반에 걸쳐 튜닝된 vLLM 기준선 대비 표준 디코딩을 1.20–1.47배 가속하며, 두 개의 120B급 모델에서는 vLLM의 추측 디코딩 처리량의 약 1.8배를 제공한다. 상태 정밀도를 분리하는 것은 또한 공유 저정밀도 체크포인트에 비해 출력 KL 발산(KL divergence)과 다운스트림 정확도 손실을 줄인다.

arXiv:2610.10630v1cs.LG공통 태그 Quantization, Computational Efficiency

Phase-HDC: 이산 위상 학습에서 옵티마이저 히스토리를 그래디언트 임계값으로 대체하기

Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning

컴팩트한 모델을 학습(training)할 때는 종종 모델 저장보다 훨씬 더 많은 메모리가 필요한데, 이는 옵티마이저(optimizer)가 과거 그래디언트(gradient)의 자체 기록을 유지하기 때문입니다. 학습된 매개변수(parameter)가 저비트 각도인 초차원 분류기(hyperdimensional classifier)의 경우(이를 위상 메모리(\emph{phase memory})라 부름), 이러한 기록은 모델 자체보다 몇 배 더 많은 메모리를 차지합니다. 본 연구에서는 오직 모델 자체만을 저장하면서도 이러한 모델을 학습시킬 수 있는지 질문을 던집니다. 제안하는 방법인 Phase-HDC는 현재 그래디언트의 부호와 반대 방향으로, 그리고 해당 그래디언트가 충분히 클 때에만 업데이트당 저장된 각도를 최대 한 단계씩 회전시킵니다. 우리는 이 단순한 규칙이 변경된 모든 매개변수가 고정 비용을 지불하는 1차 손실(loss) 모델의 정확한 해임을 보여줍니다. 업데이트 규칙을 제외한 모든 조건을 동일하게 유지했을 때, Phase-HDC는 6비트 모멘텀을 사용하는 Adam과 동등한 정확도를 유지하면서도 3배 적은 저장 공간을 사용합니다. 11개의 이미지, 테이블형, 텍스트 데이터셋에 걸쳐, 이 방법은 표준 float32 Adam보다 16~23배, 8비트 Adam보다 4~6배 적은 저장 공간을 차지합니다. 이에 따른 대가는 float32 Adam 대비 평균 약 5%p의 정확도 손실이지만, Phase-HDC는 8비트 Adam이 붕괴하는 바이트 수준 텍스트 예측을 포함하여 11개 데이터셋 중 6개에서 8비트 Adam보다 더 높은 정확도를 달성합니다. 계측된 학습 실행 분석은 이러한 결과를 설명해 줍니다. 매개변수가 이산적인 그리드 상에 위치해야 하는 경우, Adam의 모멘텀은 주로 매개변수가 조금이라도 움직일지 여부만을 결정하게 되며, 이는 현재 그래디언트에 대한 임계값을 통해 메모리 없이도 내릴 수 있는 결정입니다. 또한 모멘텀의 거친 양자화(quantization)는 데이터에 드물게 포함된 입력에 대해 이러한 결정을 망가뜨립니다. 저장 공간 절감은 측정된 하드웨어 메모리가 아닌 논리적 상태 기준입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.