arXiv:1809.08625

Unsupervised Learning of Dense Optical Flow, Depth and Egomotion from Sparse Event Data

Chengxi Ye, Anton Mitrokhin, Cornelia Fermüller, James A. Yorke, Yiannis Aloimonos

제출 2018-09-23

원문 초록

In this work we present a lightweight, unsupervised learning pipeline for \textit{dense} depth, optical flow and egomotion estimation from sparse event output of the Dynamic Vision Sensor (DVS). To tackle this low level vision task, we use a novel encoder-decoder neural network architecture - ECN. Our work is the first monocular pipeline that generates dense depth and optical flow from sparse event data only. The network works in self-supervised mode and has just 150k parameters. We evaluate our pipeline on the MVSEC self driving dataset and present results for depth, optical flow and and egomotion estimation. Due to the lightweight design, the inference part of the network runs at 250 FPS on a single GPU, making the pipeline ready for realtime robotics applications. Our experiments demonstrate significant improvements upon previous works that used deep learning on event data, as well as the ability of our pipeline to perform well during both day and night.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13708v1cs.AI공통 태그 GPU, Decoder

Adaptive DHiSparse: 부하 적응형(Load-Adaptive) KV 계층 구조에서의 추측 디코딩(Speculative Decoding)

Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy

롱 컨텍스트(long-context) 서빙은 하드웨어가 유효 처리량(throughput)에 도달하기 전에 KV 메모리가 먼저 소진된다. HiSparse는 히스토리를 호스트 메모리에 저장하고 선택된 항목만 가져오지만, 모든 로드(load)에서 단일 캐시 예산(budget)을 사용하며 DSpark 및 DFlash2와 같은 드래프트 모델(draft-model) 추측 디코딩(speculative decoding)을 처리하지 못한다. 우리는 계층적 희소(hierarchical sparse) KV 위에서 추측 디코딩을 지원하고 상주(residency)를 부하(load)에 맞춰 적응시키는 Adaptive DHiSparse를 제시한다. 이 방법은 필요한 작업 집합(working set)을 보호하고, GPU 메모리가 여유 있을 때 추가 히스토리를 유지하며, 나머지는 정확한 융합 검색(fused retrieval)을 통해 복구한다. DSpark와 DFlash2는 각자의 제안(proposal) 및 수락(acceptance) 규칙을 그대로 유지한다: 쿼리는 누락된 행(missing-row) 검색을 공유하고, 드래프트 KV는 윈도우 경계(window-bounded) 링을 사용하며, 검증(verification) 스테이징은 층(layer) 그룹 간에 재사용된다. 100K 컨텍스트와 동시성(concurrency) 128에서, DFlash2를 사용한 GLM-5.3은 디코드 GPU당 793 출력 토큰(token)/s를 달성하며, 이는 HiSparse의 1.45배, 추측 디코딩을 사용하지 않는 적응형 서빙의 1.27배이다. HiSparse와 동일한 지연 시간(latency) 한계를 유지할 때, 이 방법은 동시성을 최대 4배까지, 출력을 토큰당 한계에 따라 2.3배에서 3.7배까지 유지한다. 500K 컨텍스트와 동시성 512에서 DeepSeek-V4.1-Flash에 대해, DSpark를 사용한 Adaptive DHiSparse는 DSpark를 사용한 상주(resident) 서빙의 출력보다 1.85배 높은 출력을 달성한다. 로드 단계(load step)에서, 선택적 상주(residency)는 저부하 상황에서 호스트 페치(fetch) 비율을 선택된 행의 14.2%에서 1.4%로 줄이고, 압박(pressure) 상황에서는 메모리를 해제한다.

arXiv:2609.26796v1cs.CL공통 태그 GPU, Decoder

Flash-dLLM: 빠르고 메모리 효율적인 확산 대규모 언어 모델을 위한 I/O 인식 KV 캐싱 및 병렬 디코딩

Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs

확산 대규모 언어 모델(dLLM)은 비자기회귀(non-autoregressive) 텍스트 생성을 가능하게 함으로써 자기회귀 LLM의 유망한 대안으로 최근 부상했습니다. 그러나 효과적인 Key-Value(KV) 캐싱 및 확장 가능한 병렬 디코딩 메커니즘의 부재로 인해 비효율적인 추론(inference)이 발생하여 실제 배포에는 여전히 한계가 있습니다. 기존 가속 방법들은 대개 KV 캐싱과 병렬 디코딩을 개별적으로 연구하여, 캐시 재사용과 병렬 토큰(token) 검증을 결합하여 적용할 때 발생하는 I/O 병목 현상을 간과합니다. 본 연구에서는 빠르고 메모리 효율적인 dLLM을 위한 학습(training) 불필요 추론 가속 프레임워크인 $\textbf{Flash-dLLM}$을 소개합니다. Flash-dLLM은 먼저 GPU 메모리 I/O가 KV 캐시 기반 dLLM 추론에서 주된 병목임을 확인하고, 중복 메모리 이동을 줄이는 I/O 인식 융합 KV 캐시 커널(kernel)을 통해 이를 해결합니다. 이러한 최적화된 캐시 메커니즘을 기반으로, Flash-dLLM은 dLLM 자체가 보조 모델(model) 없이 초안 작성기(drafter)이자 검증기(verifier) 역할을 하는 효율적인 KV 캐시 기반 초안 작성 및 검증(draft-and-verify) 디코딩 전략을 추가로 제안합니다. 이 통합 설계는 생성 품질을 유지하면서 더 빠른 디코딩을 가능하게 하고, 더 긴 시퀀스와 더 큰 배치(batch) 크기에 대한 확장성을 개선합니다. 수학적 추론 및 코드 생성 벤치마크에 대한 광범위한 실험을 통해 Flash-dLLM이 추론 속도와 메모리 효율성 모두에서 기존 최고 수준의 dLLM 가속 방법들을 일관되게 능가함을 입증합니다. 특히 이전의 가장 강력한 기준선(baseline)인 Elastic-Cache 대비 GSM8K 및 HumanEval에서 각각 $5.1\times$ 및 $11.0\times$의 속도 향상을 달성합니다.

arXiv:2609.12551v2cs.DC공통 태그 GPU, Decoder

RoofLang: AI 주도 LLM 추론 시스템 아키텍처 설계 활성화

RoofLang: Enabling AI-Driven Architecting of LLM Inference Systems

AI가 LLM 추론 최적화에 실질적인 기여를 하기 시작했다. 기존 AI 최적화는 대부분 프로파일링 기반이다. 프로파일링에 묶인 피드백은 탐색을 기존 소프트웨어 스택의 역량과 성능 범위 안으로 한정하여, LLM 추론 시스템의 근본적으로 더 나은 아키텍처가 밝혀지는 것을 막는다. AI 주도 LLM 추론 시스템 아키텍처링 루프를 가능하게 하려면 일반적인 워크로드 표현, 검증 가능한 변이 공간, 구현에 독립적인 평가자가 필요하다고 우리는 주장한다. 우리는 이러한 기능을 제공하는 RoofLang 도메인 특화 언어(DSL)를 제시한다. 평가에서 RoofLang은 DeepSeek V4 시리즈 모델이 다른 대표 모델들보다 3.5–39.5$\times$ 더 높은 최대 디코드 처리량을 달성할 수 있음을 보여준다. 이 격차는 총 매개변수 수와 비례하지 않으며, 더 큰 배치를 지원하고 메모리 트래픽을 줄이는 컴팩트 KV-cache 설계에서 대체로 비롯된다. 지속형 옵티마이저 에이전트는 NVIDIA B300에서 DeepSeek V4 Pro의 처리량과 상호작용성을 모두 6.23–50.1% 개선하는 여러 새로운 아키텍처를 추가로 발견했다.

arXiv:2607.13164v1cs.CL공통 태그 GPU, Decoder

Text2Sign: 텍스트-수화언어 비디오 생성을 위한 단일 GPU 디퓨전 기준선

Text2Sign: A Single-GPU Diffusion Baseline for Text-to-Sign Language Video Generation

수화언어는 수백만 명의 농인(Deaf) 및 난청인(hard-of-hearing)을 위한 주요 의사소통 수단이지만, 비디오 디퓨전 모델의 학습과 평가 비용이 높아 텍스트-수화자(text-to-signer) 비디오 생성은 여전히 비용이 많이 든다. 본 논문은 단일 NVIDIA L4 GPU에서 실행되는 짧은 수화 클립용 텍스트 조건부 디퓨전 모델인 Text2Sign을 제안한다. 동결(frozen)된 비전-언어(vision-language) 텍스트 인코더와 3D 인코더-디코더, 그리고 분해(factorized) 시공간(spatiotemporal) 어텐션을 결합하여 전체 비디오 어텐션의 비용을 줄이면서 동작 일관성(motion coherence)을 유지한다. 합성곱 전용 및 트랜스포머 스타일 백본, 동결된 사전학습 및 과제별 텍스트 인코더, 분해 어텐션 대 전체(full) 어텐션을 비교한다. 수화자 비중복(signer-disjoint) How2Sign 분할에서, 최고의 단기 실행 ablation은 검증 손실 0.0648에 도달하고, 장기 실행 체크포인트는 0.00999에 도달한다. 간소화된 평가 슬라이스에서, 후자는 guidance scale 5.0의 8단계 DDIM 샘플링을 사용하여 SSIM $0.2403 \pm 0.0238$, PSNR $15.11 \pm 0.42$ dB, 시간적 일관성 $1.0000 \pm 0.0000$을 달성한다. 32프레임, $64 \times 64$ 클립을 12.60초, 즉 초당 2.54프레임으로 생성하며, 추론 메모리 피크는 3.12 GB이다. 홀드아웃(held-out) 디노이징 감사(audit)는 프롬프트 민감도가 약함을 보여준다: 텍스트를 제거하면 후기 타임스텝(late-timestep) 손실이 0.9875에서 0.9891로 증가하는 반면, 섞인(shuffled) 프롬프트는 올바른 프롬프트와 유사한 성능을 보인다. 따라서 동결된 텍스트 조건화는 짧은 예산의 검증 손실을 개선하지만, 프롬프트별 분리는 여전히 제한적이다. 이 시스템은 저해상도의 짧은 클립에 한정되며 전문 언어학적 평가가 부족하므로, 완전한 수화언어 프로덕션 시스템이라기보다 단일 GPU 연구 기준선으로 보아야 한다. 코드는 https://github.com/xiaruize0911/text2sign 에서 이용할 수 있다.

arXiv:2610.10592v2cs.CL공통 태그 Decoder

Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델

Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch

역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.