A Binary Convolutional Encoder-decoder Network for Real-time Natural Scene Text Processing
원문 초록
In this paper, we develop a binary convolutional encoder-decoder network (B-CEDNet) for natural scene text processing (NSTP). It converts a text image to a class-distinguished salience map that reveals the categorical, spatial and morphological information of characters. The existing solutions are either memory consuming or run-time consuming that cannot be applied to real-time applications on resource-constrained devices such as advanced driver assistance systems. The developed network can process multiple regions containing characters by one-off forward operation, and is trained to have binary weights and binary feature maps, which lead to both remarkable inference run-time speedup and memory usage reduction. By training with over 200, 000 synthesis scene text images (size of $32\times128$), it can achieve $90\%$ and $91\%$ pixel-wise accuracy on ICDAR-03 and ICDAR-13 datasets. It only consumes $4.59\ ms$ inference run-time realized on GPU with a small network size of 2.14 MB, which is up to $8\times$ faster and $96\%$ smaller than it full-precision version.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Adaptive DHiSparse: 부하 적응형(Load-Adaptive) KV 계층 구조에서의 추측 디코딩(Speculative Decoding)
Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy
롱 컨텍스트(long-context) 서빙은 하드웨어가 유효 처리량(throughput)에 도달하기 전에 KV 메모리가 먼저 소진된다. HiSparse는 히스토리를 호스트 메모리에 저장하고 선택된 항목만 가져오지만, 모든 로드(load)에서 단일 캐시 예산(budget)을 사용하며 DSpark 및 DFlash2와 같은 드래프트 모델(draft-model) 추측 디코딩(speculative decoding)을 처리하지 못한다. 우리는 계층적 희소(hierarchical sparse) KV 위에서 추측 디코딩을 지원하고 상주(residency)를 부하(load)에 맞춰 적응시키는 Adaptive DHiSparse를 제시한다. 이 방법은 필요한 작업 집합(working set)을 보호하고, GPU 메모리가 여유 있을 때 추가 히스토리를 유지하며, 나머지는 정확한 융합 검색(fused retrieval)을 통해 복구한다. DSpark와 DFlash2는 각자의 제안(proposal) 및 수락(acceptance) 규칙을 그대로 유지한다: 쿼리는 누락된 행(missing-row) 검색을 공유하고, 드래프트 KV는 윈도우 경계(window-bounded) 링을 사용하며, 검증(verification) 스테이징은 층(layer) 그룹 간에 재사용된다. 100K 컨텍스트와 동시성(concurrency) 128에서, DFlash2를 사용한 GLM-5.3은 디코드 GPU당 793 출력 토큰(token)/s를 달성하며, 이는 HiSparse의 1.45배, 추측 디코딩을 사용하지 않는 적응형 서빙의 1.27배이다. HiSparse와 동일한 지연 시간(latency) 한계를 유지할 때, 이 방법은 동시성을 최대 4배까지, 출력을 토큰당 한계에 따라 2.3배에서 3.7배까지 유지한다. 500K 컨텍스트와 동시성 512에서 DeepSeek-V4.1-Flash에 대해, DSpark를 사용한 Adaptive DHiSparse는 DSpark를 사용한 상주(resident) 서빙의 출력보다 1.85배 높은 출력을 달성한다. 로드 단계(load step)에서, 선택적 상주(residency)는 저부하 상황에서 호스트 페치(fetch) 비율을 선택된 행의 14.2%에서 1.4%로 줄이고, 압박(pressure) 상황에서는 메모리를 해제한다.
Flash-dLLM: 빠르고 메모리 효율적인 확산 대규모 언어 모델을 위한 I/O 인식 KV 캐싱 및 병렬 디코딩
Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs
확산 대규모 언어 모델(dLLM)은 비자기회귀(non-autoregressive) 텍스트 생성을 가능하게 함으로써 자기회귀 LLM의 유망한 대안으로 최근 부상했습니다. 그러나 효과적인 Key-Value(KV) 캐싱 및 확장 가능한 병렬 디코딩 메커니즘의 부재로 인해 비효율적인 추론(inference)이 발생하여 실제 배포에는 여전히 한계가 있습니다. 기존 가속 방법들은 대개 KV 캐싱과 병렬 디코딩을 개별적으로 연구하여, 캐시 재사용과 병렬 토큰(token) 검증을 결합하여 적용할 때 발생하는 I/O 병목 현상을 간과합니다. 본 연구에서는 빠르고 메모리 효율적인 dLLM을 위한 학습(training) 불필요 추론 가속 프레임워크인 $\textbf{Flash-dLLM}$을 소개합니다. Flash-dLLM은 먼저 GPU 메모리 I/O가 KV 캐시 기반 dLLM 추론에서 주된 병목임을 확인하고, 중복 메모리 이동을 줄이는 I/O 인식 융합 KV 캐시 커널(kernel)을 통해 이를 해결합니다. 이러한 최적화된 캐시 메커니즘을 기반으로, Flash-dLLM은 dLLM 자체가 보조 모델(model) 없이 초안 작성기(drafter)이자 검증기(verifier) 역할을 하는 효율적인 KV 캐시 기반 초안 작성 및 검증(draft-and-verify) 디코딩 전략을 추가로 제안합니다. 이 통합 설계는 생성 품질을 유지하면서 더 빠른 디코딩을 가능하게 하고, 더 긴 시퀀스와 더 큰 배치(batch) 크기에 대한 확장성을 개선합니다. 수학적 추론 및 코드 생성 벤치마크에 대한 광범위한 실험을 통해 Flash-dLLM이 추론 속도와 메모리 효율성 모두에서 기존 최고 수준의 dLLM 가속 방법들을 일관되게 능가함을 입증합니다. 특히 이전의 가장 강력한 기준선(baseline)인 Elastic-Cache 대비 GSM8K 및 HumanEval에서 각각 $5.1\times$ 및 $11.0\times$의 속도 향상을 달성합니다.
RoofLang: AI 주도 LLM 추론 시스템 아키텍처 설계 활성화
RoofLang: Enabling AI-Driven Architecting of LLM Inference Systems
AI가 LLM 추론 최적화에 실질적인 기여를 하기 시작했다. 기존 AI 최적화는 대부분 프로파일링 기반이다. 프로파일링에 묶인 피드백은 탐색을 기존 소프트웨어 스택의 역량과 성능 범위 안으로 한정하여, LLM 추론 시스템의 근본적으로 더 나은 아키텍처가 밝혀지는 것을 막는다. AI 주도 LLM 추론 시스템 아키텍처링 루프를 가능하게 하려면 일반적인 워크로드 표현, 검증 가능한 변이 공간, 구현에 독립적인 평가자가 필요하다고 우리는 주장한다. 우리는 이러한 기능을 제공하는 RoofLang 도메인 특화 언어(DSL)를 제시한다. 평가에서 RoofLang은 DeepSeek V4 시리즈 모델이 다른 대표 모델들보다 3.5–39.5$\times$ 더 높은 최대 디코드 처리량을 달성할 수 있음을 보여준다. 이 격차는 총 매개변수 수와 비례하지 않으며, 더 큰 배치를 지원하고 메모리 트래픽을 줄이는 컴팩트 KV-cache 설계에서 대체로 비롯된다. 지속형 옵티마이저 에이전트는 NVIDIA B300에서 DeepSeek V4 Pro의 처리량과 상호작용성을 모두 6.23–50.1% 개선하는 여러 새로운 아키텍처를 추가로 발견했다.
Text2Sign: 텍스트-수화언어 비디오 생성을 위한 단일 GPU 디퓨전 기준선
Text2Sign: A Single-GPU Diffusion Baseline for Text-to-Sign Language Video Generation
수화언어는 수백만 명의 농인(Deaf) 및 난청인(hard-of-hearing)을 위한 주요 의사소통 수단이지만, 비디오 디퓨전 모델의 학습과 평가 비용이 높아 텍스트-수화자(text-to-signer) 비디오 생성은 여전히 비용이 많이 든다. 본 논문은 단일 NVIDIA L4 GPU에서 실행되는 짧은 수화 클립용 텍스트 조건부 디퓨전 모델인 Text2Sign을 제안한다. 동결(frozen)된 비전-언어(vision-language) 텍스트 인코더와 3D 인코더-디코더, 그리고 분해(factorized) 시공간(spatiotemporal) 어텐션을 결합하여 전체 비디오 어텐션의 비용을 줄이면서 동작 일관성(motion coherence)을 유지한다. 합성곱 전용 및 트랜스포머 스타일 백본, 동결된 사전학습 및 과제별 텍스트 인코더, 분해 어텐션 대 전체(full) 어텐션을 비교한다. 수화자 비중복(signer-disjoint) How2Sign 분할에서, 최고의 단기 실행 ablation은 검증 손실 0.0648에 도달하고, 장기 실행 체크포인트는 0.00999에 도달한다. 간소화된 평가 슬라이스에서, 후자는 guidance scale 5.0의 8단계 DDIM 샘플링을 사용하여 SSIM $0.2403 \pm 0.0238$, PSNR $15.11 \pm 0.42$ dB, 시간적 일관성 $1.0000 \pm 0.0000$을 달성한다. 32프레임, $64 \times 64$ 클립을 12.60초, 즉 초당 2.54프레임으로 생성하며, 추론 메모리 피크는 3.12 GB이다. 홀드아웃(held-out) 디노이징 감사(audit)는 프롬프트 민감도가 약함을 보여준다: 텍스트를 제거하면 후기 타임스텝(late-timestep) 손실이 0.9875에서 0.9891로 증가하는 반면, 섞인(shuffled) 프롬프트는 올바른 프롬프트와 유사한 성능을 보인다. 따라서 동결된 텍스트 조건화는 짧은 예산의 검증 손실을 개선하지만, 프롬프트별 분리는 여전히 제한적이다. 이 시스템은 저해상도의 짧은 클립에 한정되며 전문 언어학적 평가가 부족하므로, 완전한 수화언어 프로덕션 시스템이라기보다 단일 GPU 연구 기준선으로 보아야 한다. 코드는 https://github.com/xiaruize0911/text2sign 에서 이용할 수 있다.
FlashTrie: 생성적 검색을 위한 GPU 가속 제약 빔 서치
FlashTrie: A GPU-Accelerated Constrained Beam Search for Generative Retrieval
제약 디코딩(constrained decoding)은 생성적 검색(generative retrieval)에서 필수적이며, 쿼리로부터 직접 생성된 문서 식별자가 사전 정의된 유효 ID 라이브러리와 정확히 일치해야 한다. 대규모 환경에서는 트라이(trie)와 빔 서치(beam search)를 결합하여 디코딩을 제약하는 경우가 많지만, 대부분의 구현은 CPU에서 실행된다. 제한된 병렬성으로 인해 빔 너비가 증가할수록 트라이 순회 및 후보 검증(validation)이 서빙 병목이 된다. 우리는 GPU에서 제약 빔 서치를 최적화하여 이 한계를 해결하는 FlashTrie를 제안한다. FlashTrie는 비트 압축으로 메모리 사용량을 줄이는 동시에 전체 인덱스를 GPU 고대역폭 메모리에 유지하여 메모리 지연을 감소시키는 정수 인식 간결 트라이(integer-aware succinct trie) 레이아웃을 도입하고, 단계별 호스트 오케스트레이션 없이 빔 확장, 검증(validation), 가지치기(pruning)를 온디바이스에서 완전히 수행하는 협력적 CUDA 커널(kernel)을 활용한다. 또한 CPU 방식의 불규칙 조회 및 힙 유지 관리를 GPU 친화적 병렬 프리미티브로 대체하여 워프 활용률을 높이고 분기를 줄인다. 이러한 설계들은 검색 품질을 유지하면서 디코딩 지연 시간을 크게 줄이고 처리량을 향상시킨다. 최대 빔 너비 1000, 8억 개 키워드 라이브러리 환경에서 FlashTrie는 트라이 탐색 지연 시간을 3ms 미만으로 줄여, 고도로 최적화된 멀티스레드 CPU 기준선(baseline) 대비 최대 24배의 속도 향상을 달성한다. 이러한 개선을 통해 FlashTrie는 스폰서 검색(sponsored search)과 같은 지연 시간이 중요한 응용에서 빔 크기를 최대 5배까지 확장할 수 있다. 인기 상용 검색 엔진에서 진행한 대규모 온라인 A/B 실험에서 통계적으로 유의미한 +0.71%의 매출 향상을 달성하며, 이전에는 오프라인에서만 가능했던 규모의 실시간 제약 디코딩을 실현하였다. FlashTrie 코드는 리뷰 과정 완료 후 공개될 예정이다.
FastTPS: AI 가속기를 위한 LLM 토큰 단계 최적화 방법
FastTPS: An Optimized Method for LLM Token Phase for AI accelerators
대규모 언어 모델(LLM)의 인기가 높아지면서 효율적인 추론에 대한 지속적인 수요가 증가하고 있다. 그러나 디코더 전용 LLM 추론의 토큰 단계에서 토큰이 순차적으로 처리되기 때문에, 내재적인 낮은 병렬성으로 인해 처리량이 감소하고 인공지능(AI) 가속기의 연산 유닛 활용도가 저하된다. 특히 상당한 메모리 오버헤드를 수반하는 긴 시퀀스 입력을 처리할 때 이러한 문제가 두드러진다. 최근 다수의 방법이 잠재적 해결책으로 제안되었으나, 수치적 편차가 발생한다는 문제가 있다. 본 논문은 일반 AI 가속기에서 LLM 추론의 토큰 단계를 가속화하기 위한 고성능이면서 정밀도 손실이 적은 방법인 FastTPS를 제안한다. FastTPS는 세 가지 핵심 구성 요소를 포함한다: (1) 메모리 접근 오버헤드를 줄이고 어텐션의 완전 융합을 가능하게 하는 AI 가속기 기반 리로딩 없는 KV Cache 연결, (2) 타일링 최적화된 FLAT 기반의 고효율·고정밀도 'RoPE' 어텐션, (3) 세밀한 파이프라인 스케줄링을 적용한 고도 융합 MLP. 실험 결과, FastTPS는 토큰 단계의 메모리 병목 현상을 크게 완화하며, AMD Ryzen AI 300 시리즈 NPU에서 BF16 정밀도로 Phi3-mini-4k-instruct 추론 시 미융합 대비 6배의 속도 향상을 달성하면서 피크 메모리 대역폭 활용률 93%를 유지함을 확인하였다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.