PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13447v2cs.SD

O\'ido: Real-Time Open-Vocabulary Speech Recognition on a $5 Microcontroller without a Neural Accelerator

Speech recognition on low-cost microcontrollers is, in practice, limited to keyword spotting or a fixed list of commands. We present O\'ido, an inference engine and a family of models that run open-vocabulary English speech recognition entirely on an ESP32-S3 (240 MHz Xtensa LX7, 8 MB of PSRAM, 16 MB of flash, no neural accelerator) faster than real time on one core. Version 1 of this work ran a 13 M-parameter Conformer-CTC at 1.97x the duration of the audio. We measured on the board that the bound was memory traffic and per-frame cost, not arithmetic: external memory reads at 89 MB/s (PSRAM) and 32 MB/s (flash), and a streaming recognizer re-reads every weight for every chunk. Version 2 combines a model built for that memory system (80 ms frame stacking, a 64-channel front end, 12 or 16 blocks, int4 weights that mostly fit in PSRAM, fine-tuned from the version 1 model) with engine changes that overlap the weight stream with compute (an asynchronous data-cache preload), keep work buffers in SRAM and make the decoder cheap. On a physical board the streaming real-time factor falls from 1.77 to 0.54 (variant B) and 0.72 (variant A), the final text appears 259 ms (B) or 431 ms (A) after the end of speech with audio fed at real-time speed, and the host build and the firmware produce identical transcripts. Variant A reaches 7.1%/16.4% word error rate on LibriSpeech test-clean/test-other in streaming mode with 0.64 s chunks and the on-chip language model (4.6%/10.7% with full context). Code, models and the raw board measurements are released.

arXiv:2604.21231v3cs.NI

SparKV: 효율적인 온디바이스 LLM 추론을 위한 오버헤드 인지형 KV 캐시 로딩

SparKV: Overhead-Aware KV Cache Loading for Efficient On-Device LLM Inference

온디바이스 대규모 언어 모델(LLM)의 효율적인 추론은 제한된 하드웨어 자원과 전체 입력 문맥을 처리하여 키-값(KV) 캐시를 구성하는 프리필(prefill) 단계의 높은 비용으로 인해 여전히 어렵습니다. 본 논문에서는 클라우드 기반 KV 스트리밍과 온디바이스 연산을 결합한 적응형 KV 로딩 프레임워크인 SparKV를 제안합니다. SparKV는 개별 KV 청크의 비용을 모델링하여 각 청크를 스트리밍할지 아니면 로컬에서 연산할지 결정하며, 두 실행 경로를 중첩(overlap)하여 지연 시간을 줄입니다. 무선 연결성 및 엣지 자원 가용성의 변동에 대처하기 위해, SparKV는 런타임에 오프라인에서 생성된 스케줄을 추가로 개선하여 통신 및 연산 비용의 균형을 재조정합니다. 다양한 데이터셋, LLM 및 엣지 디바이스 전반에 걸친 실험 결과, SparKV는 응답 품질에 미치는 영향을 무시할 수 있는 수준으로 유지하면서 최초 토큰 생성 시간(Time-to-First-Token)을 1.3배~5.1배 단축하고, 요청당 에너지 소비를 1.5배~3.3배 절감하여 실제 온디바이스 배포를 위한 견고성과 실용성을 입증했습니다.

arXiv:2609.28327v1cs.CV

LightMIS: 단계별 디코더가 없는 초경량 의료 이미지 분할

LightMIS: Ultra-Lightweight Medical Image Segmentation Without a Stage-Wise Decoder

본 논문에서는 학습된 단계별 디코더(stage-wise decoder) 없이 2D 이진 의료 이미지 분할(image segmentation)을 수행하는 확장 가능한 초경량 합성곱 신경망 계열인 LightMIS를 제안한다. LightMIS는 Scale-Aligned Projection 블록을 사용하여 5단계 인코더의 출력을 공통 해상도로 정렬하고 이를 한 번에 집약한 후, Adaptive Fusion Cascade를 통해 융합된 표현을 정제한다. 이 캐스케이드는 Adaptive Kernel Fusion과 제안된 Progressive Receptive Fusion 모듈을 결합하며, 해당 모듈은 일시적 채널 확장, 상호 보완적인 깊이별 수용 영역(depthwise receptive field), 점진적인 브랜치 간 정보 전달을 활용한다. 저자들은 DRIVE, Kvasir-SEG, DSB18, BUSI, ISIC-2017, ISIC-2018 데이터셋에서 공통 nnU-Net v2.3.1 프로토콜 기반의 5겹 교차 검증(cross-validation)을 통해 LightMIS-T, LightMIS-S, LightMIS를 평가(evaluation)한다. Full LightMIS는 $3\times256\times256$ 입력에 대해 0.131M개의 매개변수(parameter)를 포함하고 0.575 GFLOPs를 요구하며, 모달리티-매크로 Dice 및 IoU 점수에서 각각 86.71%와 78.99%를 달성한다. Mobile U-ViT는 86.75%의 Dice와 79.07%의 IoU를 기록하여, 관찰된 차이는 각각 0.04 및 0.08 퍼센트포인트에 불과하다. Mobile U-ViT, nnWNet, nnU-Net과 비교하여 LightMIS는 매개변수 수를 90.58$-$99.61%, GFLOPs를 82.54$-$96.14% 줄인다. Arm Mali-G52 MC2 GPU에서 모든 LightMIS 변형은 전체 GPU 위임(delegation)을 달성하며, 중앙값 위임 지연 시간은 LightMIS-T의 53.31ms에서 LightMIS의 138.31ms 범위이다. 이러한 결과는 평가된 태스크에서 우수한 정확도-복잡도 트레이드오프와 온디바이스 실행 실현 가능성을 입증한다. 코드는 https://github.com/AndreiiArhire/LightMIS 에서 공개되어 있다.

arXiv:2607.03876v1cs.LG

AdaptiveSD: CPU 제약 LLM 추론을 위한 안정성 인식 런타임 적응형 투기적 디코딩 프레임워크와 다중 정책 오케스트레이션

AdaptiveSD A Stability-Aware, Runtime-Adaptive Speculative Decoding Framework with Multi-Policy Orchestration for CPU-Constrained LLM Inference

소형 양자화 GGUF 기반 언어 모델의 부상과 온디바이스 추론 작업에서의 활용 증가로, 순수 CPU 구현이 부과하는 심각한 메모리 대역폭 제약 하에서도 이러한 모델을 대규모로 안정적으로 제공할 수 있는 접근법의 필요성이 커지고 있다. 고정 깊이 투기적 디코딩(speculative decoding)은 유망한 기법으로 부상했지만, 실제 환경에서는 대역폭 포화, 불안정성, 또는 시스템 장애를 초래하는 치명적인 자원 고갈로 인해 성능 저하가 자주 발생한다. 이 문제를 극복하기 위해, 우리는 다양한 모델 유형과 워크로드에 걸쳐 견고하고 신뢰할 수 있는 실행을 보장하는 완전한 런타임 적응형 투기적 디코딩 프레임워크인 AdaptiveSD를 소개한다. 우리의 솔루션은 지속적인 피드백 루프 내에서 함께 작동하는 네 가지 긴밀히 결합된 구성 요소로 이루어진다: 진행 중인 연산과 관련된 다수의 신호를 추적하는 런타임 모니터링 엔진, 원시 초안 수보다 시스템 자원 보존을 우선시하는 11개 규칙 정책 계층을 적용하는 적응형 초안 컨트롤러, 워크로드 동작에 따라 정책을 동적으로 수정하기 위해 휴리스틱 및 강화학습 기법을 활용하는 동적 정책 엔진, 그리고 INT8 섀도 버퍼와 위치 인식 제거를 통해 세밀한 제어로 캐시 상태를 관리하는 KV 캐시 조율 층. 기존 접근법이 처리량 극대화에만 집중하는 것과 달리, 우리는 투기적 효율성의 표준 지표와 함께 낭비된 초안 연산 및 토큰 간 지연 분산을 포함한 여러 핵심 지표를 기반으로 우리 접근법의 효과를 평가한다.

arXiv:2607.03089v1cs.LG

STELLA: 온디바이스 인간 행동 인식을 위한 효율적인 센서-LLM 변환

STELLA: Efficient Sensor-to-LLM Translation for On-Device Human Activity Recognition

STELLA는 엣지 디바이스에서의 인간 행동 인식(HAR)을 위해 대규모 언어 모델(LLM) 적응 부담을 센서 토큰화로 전환하는 프레임워크로, 경량 계층적 토크나이저가 다채널 관성 센서 윈도우를 16개의 잠재 토큰으로 압축해 동결된 GPT-2에 입력한다. 7개 공개 데이터셋 8개 벤치마크에서 기존 방법 대비 최대 11.83% F1 향상을 달성했으며, 온디바이스 개인화로 추가 21.91% F1 향상을 이루면서도 실시간 추론과 사용자 데이터 프라이버시를 유지한다.

arXiv:2606.29580v2cs.CL

MAM-AI: 잔지바르 간호사 및 조산사를 위한 온디바이스 의료 검색-증강 생성 시스템

MAM-AI: An On-Device Medical Retrieval-Augmented Generation System for Nurses and Midwives in Zanzibar

잔지바르의 간호-조산사를 위해 인터넷 연결 없이 일반 안드로이드 기기에서 완전히 구동되는 온디바이스 검색-증강 생성(RAG) 의료 질의응답 시스템 MAM-AI를 제시하며, EmbeddingGemma(300M)로 87개 지침 문서를 검색하고 Gemma 4 E4B(4B int4)로 인용 포함 답변을 생성한다. 평가 결과 온디바이스 검색은 클라우드 수준으로 사실상 해결되었으나 소형 생성 모델의 유용성·안전성 균형이 핵심 과제로, 프롬프트 재설계를 통해 회피율을 33%에서 3%로 낮추고 코퍼스 품질이 답변의 구체성을 결정함을 밝혔다.

arXiv:2606.20537v1cs.LG

실행 상태 캡슐: 저지연, 소배치, 온디바이스 물리적 AI 서빙을 위한 그래프 경계 실행 상태 체크포인트 및 복구

Execution-State Capsules: Graph-Bound Execution-State Checkpoint and Restore for Low-Latency, Small-Batch, On-Device Physical-AI Serving

주류 대규모 언어 모델(LLM) 서빙 시스템은 주로 페이징(paged) 또는 라딕스(radix) 키-값(KV) 캐시를 통해 접두 문맥(prefix) 작업을 재사용합니다. 이는 높은 처리량(high-throughput)과 높은 동시성(high-concurrency) 서빙에 매우 효과적이지만, 실행 상태(execution state)의 위치적 조각 중 하나인 KV 캐시만 관리합니다. 우리는 이와 반대되는 영역인 저지연, 소배치, 온디바이스 물리적 AI(Physical-AI) 서빙을 연구합니다. 여기서 대화형 LLM 에이전트, 음성 시스템, 로봇 정책(policy)은 제한된 반응성(responsiveness) 예산 하에서 반복적으로 분기(branch), 리셋(reset), 인터럽트(interrupt), 재진입(re-enter)합니다. 우리는 커밋된 경계에서 복구 가능한 전체 상태를 위한 그래프 경계(graph-bound) 체크포인트 및 복구 메커니즘인 실행 상태 캡슐(execution-state capsules)을 소개합니다. FlashRT는 평가된 NVIDIA CUDA 백엔드가 블록 테이블 간접 참조 없이 연속적인 정적 버퍼 상에서 캡처된 그래프 계획을 실행하는 화이트박스(white-box), 백엔드 지향 커널 런타임입니다. 라이브 상태가 명명된 버퍼들의 닫힌 집합이기 때문에, 캡슐은 KV, 순환 상태(recurrent state), 합성곱 상태(convolution state), MTP 상태, 메타데이터를 포함하여 전체 실행 경계를 스냅샷(snapshot), 복구(restore), 포크(fork), 또는 롤백(roll back)할 수 있습니다. 이는 재사용을 토큰 주소 지정된 KV 조각에서 그래프 경계의 실행 상태 경계로 이동시킵니다. RTX 5090에서 캡슐 복구는 저장된 상태 수준에서 바이트 단위로 정확(byte-exact)하며, 탐욕적 디코딩(greedy decode) 하에서 토큰이 동일(token-identical)합니다. KV만 사용하는 제거 실험(ablation)은 결과가 달라지며(diverges), 이는 순환 상태가 부하를 지탱하는 필수 요소임을 보여줍니다. GPU 상주 스냅샷 및 복구는 1밀리초 미만(sub-millisecond)이며, 콜드 프리필(cold prefill) 대비 TTFT(Time-To-First-Token) 속도 향상은 2k 토큰에서 3.9배에서 16k 토큰에서 27배로 증가합니다. Jetson AGX Thor 및 DGX Spark에서도 동일한 정확성 및 구조적 속성이 유지됩니다. 캡슐은 높은 처리량의 KV 캐시 서빙을 대체하는 것이 아니라, 명시적인 실행 상태 재사용을 위한 보완적인 지연 우선(latency-first) 서빙 지점을 정의합니다.

arXiv:2606.11257v1cs.CL

모바일 NPU에서의 에너지 효율적인 온디바이스 검색-증강 생성(RAG): Snapdragon X Elite에서의 시스템 설계 및 벤치마크

Energy-Efficient On-Device RAG on a Mobile NPU: System Design and Benchmark on Snapdragon X Elite

검색-증강 생성(RAG) 파이프라인은 임베딩, 검색, 재순위화, 대규모 언어 모델(LLM) 생성을 결합하므로 연산 집약적입니다. 이를 완전히 온디바이스에서 실행하면 프라이버시, 지연 시간, 오프라인 사용에 이점이 있지만, CPU 추론의 에너지 비용은 주요 장벽입니다. 우리는 Snapdragon X Elite의 Qualcomm Hexagon NPU에서 모든 신경망 단계(임베딩, 재순위화, LLM 생성)를 실행하는, 우리가 아는 한 최초의 엔드-투-엔드 RAG 파이프라인을 제시합니다. Dell XPS 13 노트북에서 프로파일링을 수행하여, 인덱싱 및 쿼리 워크로드에 대해 NPU 가속 RAG를 CPU 및 OpenCL/Adreno GPU 기준선(baseline)과 비교했습니다. 인덱싱에서 NPU는 9.1배 더 높은 임베딩 처리량(throughput)과 12.3배 더 적은 시스템 에너지를 달성했습니다. 120개 쿼리의 Wikipedia 문단 벤치마크에서, NPU는 CPU 기준선(baseline) 대비 18.1배 더 빠른 LLM 프리필링(prefilling), 4.0배 더 낮은 엔드-투-엔드 쿼리 지연 시간, 그리고 4.0배 더 적은 시스템 에너지를 제공했습니다. 동일한 워크로드를 통합 GPU에서 실행했을 때는 CPU보다 1.7배 느리고 NPU보다 6.5배 더 많은 에너지를 사용했습니다. GPT-4.1 LLM-as-judge 평가 결과, NPU의 답변 품질은 평가자 노이즈 범위 내에서 CPU 및 GPU와 동등한 수준으로 나타났으며(1-10점 루브릭에서 평균 9.32 vs 8.95 vs 9.03), 86.7%의 쿼리가 세 가지 백엔드 모두에서 동일한 점수를 기록했습니다. 따라서 Snapdragon X Elite / Hexagon 클래스의 노트북 SoC에서 NPU는 품질 저하 없이 실용적이고 에너지 효율적인 온디바이스 RAG를 가능하게 합니다. 이는 소프트웨어 스택이 성숙해짐에 따라 유사한 모바일 NPU(Apple Neural Engine, Intel NPU, MediaTek APU)로 일반화될 것으로 기대되는 그린 엣지 인텔리전스(green edge intelligence)로 가는 지속 가능한 경로입니다.