arXiv:1812.10766

SMPLR: Deep SMPL reverse for 3D human pose and shape recovery

Meysam Madadi, Hugo Bertiche, Sergio Escalera

제출 2018-12-27

원문 초록

Current state-of-the-art in 3D human pose and shape recovery relies on deep neural networks and statistical morphable body models, such as the Skinned Multi-Person Linear model (SMPL). However, regardless of the advantages of having both body pose and shape, SMPL-based solutions have shown difficulties to predict 3D bodies accurately. This is mainly due to the unconstrained nature of SMPL, which may generate unrealistic body meshes. Because of this, regression of SMPL parameters is a difficult task, often addressed with complex regularization terms. In this paper we propose to embed SMPL within a deep model to accurately estimate 3D pose and shape from a still RGB image. We use CNN-based 3D joint predictions as an intermediate representation to regress SMPL pose and shape parameters. Later, 3D joints are reconstructed again in the SMPL output. This module can be seen as an autoencoder where the encoder is a deep neural network and the decoder is SMPL model. We refer to this as SMPL reverse (SMPLR). By implementing SMPLR as an encoder-decoder we avoid the need of complex constraints on pose and shape. Furthermore, given that in-the-wild datasets usually lack accurate 3D annotations, it is desirable to lift 2D joints to 3D without pairing 3D annotations with RGB images. Therefore, we also propose a denoising autoencoder (DAE) module between CNN and SMPLR, able to lift 2D joints to 3D and partially recover from structured error. We evaluate our method on SURREAL and Human3.6M datasets, showing improvement over SMPL-based state-of-the-art alternatives by about 4 and 25 millimeters, respectively.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23811v3cs.SD공통 태그 Decoder, Denoising

분리된 시간-깊이 확산 트랜스포머 기반 메모리 효율적 오디오 합성

Memory Efficient Audio Synthesis with Decoupled Temporal Depth Diffusion Transformers

Siri Expressive Voices는 Apple의 가장 강력한 온디바이스 파운데이션 모델인 AFM 3 Core Advanced를 기반으로, 풍부하고 설정 가능한 음성을 실시간으로 전적으로 기기 내에서 합성한다. 본 연구는 이 기능의 기반이 되는 메모리 효율적 오디오 합성 아키텍처를 제시한다. 이는 파운데이션 모델이 내보내는 의미적 오디오 토큰을 Scalable Matrix Extension(SME)의 빠듯한 연산 및 메모리 예산 내에서 고충실도 오디오로 변환하는 디토크나이저이다. 우리는 시간 처리와 깊이 처리를 체계적으로 분리하는 스트리밍 인코더, 시간 디코더, 깊이 디코더의 세 구성 요소 설계로 의미적 오디오 토큰을 잔차 벡터 양자화(RVQ) 표현으로 변환한다. Diffusion Transformer(DiT) 방식의 단계 조건화를 갖춘 단일 재사용 가능 깊이 디코더가 모든 RVQ 수준을 자기회귀적으로 생성하여 기존 다중 디코더 아키텍처의 수준별 전용 디코더를 대체하며, 고정 윈도 키-값 캐싱을 사용하는 인과적 슬라이딩 윈도 어텐션은 시퀀스 길이와 무관한 일정한 메모리 복잡도를 제공한다. AMX에 배포된 디토크나이저는 생성 단계당 약 10 ms를 유지하여 실시간보다 약 16배 빠르며, 최대 런타임 메모리는 21 MB, 온디바이스 자산은 329 MB에 불과하여 20–320초 분량의 오디오를 연속 스트리밍 합성할 수 있다. 이러한 일정하고 작은 점유량은 기존 트랜스포머 및 GAN 기반 접근법의 선형 및 이차 메모리 증가를 대체한다. 절제 연구는 핵심 아키텍처 구성 요소를 검증하며, 오디오 품질 평가는 이 아키텍처가 기존 방법 대비 효율 향상을 달성하면서도 합성 충실도를 유지함을 확인한다. AFM 3 Core Advanced 내에서 10억 파라미터 활성화 크기로 동작하여, 이전 온디바이스 텍스트 음성 변환 시스템 대비 평균 의견 점수(MOS)를 전체적으로 +0.28(4.15 대 3.87), 대화체 음성에서 +0.42(4.24 대 3.82) 향상시킨다.

arXiv:2609.27493v1cs.CV공통 태그 Decoder, Denoising

생성형 비디오 압축의 정보 용량: 동일 품질에서 전송률-연산 교환의 정량화

Information Capacity of Generative Video Compression: Quantifying the Rate-Compute Exchange at Identical Quality

AI Flow 프레임워크 하에서 통신 네트워크는 디바이스, 엣지 서버, 클라우드에 걸쳐 지능을 분산하며, 수신측 연산(computation)은 전송 비트를 대체할 수 있는 자원이 된다. 생성형 비디오 압축(GVC)은 초저 전송률(bitrate)의 압축 토큰(token)을 보내고 생성형 디코더가 비디오를 합성하게 함으로써 이러한 교환을 구현하지만, 디코더 연산 한 단위가 실제로 얼마만큼의 대역폭 절감을 달성하는지는 아직 정량화된 적이 없다. 이 공백을 메우기 위해 우리는 재구성 품질을 데이터 전송률과 디코더 연산에 대한 이인자 멱법칙으로 모델링하며, 이는 두 GVC 디코더의 측정 DISTS를 평균 오차 3% 미만으로 적합시키고, 정보 용량(IC)을 등품질(iso-quality) 등고선을 따른 음의 로그 기울기, 즉 동일 품질에서 연산이 분율만큼 증가할 때 절약되는 전송률의 비율로 정의한다. IC는 무차원이며 단위 불변(unit-invariant)이므로 아키텍처에 무관한(architecture-agnostic) 비교를 가능하게 한다. 이는 작동 평면(operating plane) 위의 장(field)을 형성하여, 추가 디노이징(denoising) 단계가 그 비용을 감당할 만한 위치를 찾아낸다. 다섯 개 데이터셋에 걸쳐 14B 디코더는 1.3B 디코더보다 약 10배 더 효율적으로 더 많은 연산을 더 적은 전송률과 교환한다. IC 또한 데이터셋 간에 크게 달라지며, 이는 GVC 방법에서 전송률-연산 상충(rate-compute trade-off)에 대한 불균형한 성능을 시사한다.

arXiv:2609.26638v1cs.CL공통 태그 Decoder, Denoising

확산 모델이 초안을 작성하고 자기회귀 모델이 검증한다: 자기-투기적 디코딩을 통한 문서 OCR 가속

Diffusion Drafts, AR Verifies: Accelerating Document OCR with Self-Speculative Decoding

자기회귀(AR) OCR 비전-언어 모델은 문서 이미지를 텍스트와 구조화된 마크업으로 정확하게 변환하지만, 출력 토큰당 하나의 순차적 디코딩 단계를 필요로 하여 추론(inference) 속도가 제한됩니다. 자유형 텍스트 생성과 달리 OCR 출력은 입력 이미지에 강력하게 그라운딩(grounding)되어 있어, 확산(diffusion) 기반 병렬 생성이 유망합니다. 그러나 하나의 확산 단계에서 여러 토큰이 예측될 때, 각 토큰은 다른 토큰들을 알기 전에 예측됩니다. 따라서 이를 직접 확정(commit)하면 오류가 발생할 수 있습니다. 이에 따라 우리는 병렬 초안 작성(drafting)과 인과적 AR 검증을 위해 공동 학습(joint training)된 매개변수 공유 AR-블록-확산 모델인 GravityOCR을 제안합니다. 확정 전에 초안을 검증함으로써 모델은 별도의 초안 작성 네트워크 없이도 라운드당 여러 출력 토큰을 확정할 수 있습니다. 또한 인과적 AR 경로는 시퀀스 및 구조 수준의 OCR 보상을 사용하는 GRPO를 가능하게 하여, 확산 궤적의 가능도(likelihood) 추정을 피하면서 공유된 초안 작성기 매개변수를 업데이트합니다. OmniDocBench v1.6에서 AR 경로 GRPO는 확산 초안 작성 효율성을 저하시키지 않으면서 종합(Overall) 점수를 94.92에서 95.16으로 향상시키며, 최종 모델은 원래 GLM-OCR 점수인 95.48에 근접하게 유지됩니다. SGLang 서빙 배포 환경에서 GravityOCR은 순전파(forward pass)당 평균 9.7개의 출력 토큰을 확정하며, 영역 크롭(region crop)에서 디코드 전용 속도 $3.94\times$ 향상 및 AR 디코딩 대비 $1.32\times$ 엔드투엔드 페이지 처리 가속을 달성합니다.

arXiv:2609.26796v1cs.CL공통 태그 Decoder, Denoising

Flash-dLLM: 빠르고 메모리 효율적인 확산 대규모 언어 모델을 위한 I/O 인식 KV 캐싱 및 병렬 디코딩

Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs

확산 대규모 언어 모델(dLLM)은 비자기회귀(non-autoregressive) 텍스트 생성을 가능하게 함으로써 자기회귀 LLM의 유망한 대안으로 최근 부상했습니다. 그러나 효과적인 Key-Value(KV) 캐싱 및 확장 가능한 병렬 디코딩 메커니즘의 부재로 인해 비효율적인 추론(inference)이 발생하여 실제 배포에는 여전히 한계가 있습니다. 기존 가속 방법들은 대개 KV 캐싱과 병렬 디코딩을 개별적으로 연구하여, 캐시 재사용과 병렬 토큰(token) 검증을 결합하여 적용할 때 발생하는 I/O 병목 현상을 간과합니다. 본 연구에서는 빠르고 메모리 효율적인 dLLM을 위한 학습(training) 불필요 추론 가속 프레임워크인 $\textbf{Flash-dLLM}$을 소개합니다. Flash-dLLM은 먼저 GPU 메모리 I/O가 KV 캐시 기반 dLLM 추론에서 주된 병목임을 확인하고, 중복 메모리 이동을 줄이는 I/O 인식 융합 KV 캐시 커널(kernel)을 통해 이를 해결합니다. 이러한 최적화된 캐시 메커니즘을 기반으로, Flash-dLLM은 dLLM 자체가 보조 모델(model) 없이 초안 작성기(drafter)이자 검증기(verifier) 역할을 하는 효율적인 KV 캐시 기반 초안 작성 및 검증(draft-and-verify) 디코딩 전략을 추가로 제안합니다. 이 통합 설계는 생성 품질을 유지하면서 더 빠른 디코딩을 가능하게 하고, 더 긴 시퀀스와 더 큰 배치(batch) 크기에 대한 확장성을 개선합니다. 수학적 추론 및 코드 생성 벤치마크에 대한 광범위한 실험을 통해 Flash-dLLM이 추론 속도와 메모리 효율성 모두에서 기존 최고 수준의 dLLM 가속 방법들을 일관되게 능가함을 입증합니다. 특히 이전의 가장 강력한 기준선(baseline)인 Elastic-Cache 대비 GSM8K 및 HumanEval에서 각각 $5.1\times$ 및 $11.0\times$의 속도 향상을 달성합니다.

arXiv:2607.24306v1cs.CL공통 태그 Decoder, Denoising

블록 확산 언어 모델의 생성 순서 재고

Rethinking the Generation Order of Block Diffusion Language Models

확산 언어 모델은 유연한 임의 순서 생성을 가능하게 하지만, 기존 샘플링 방법은 대부분 초기 마스크드 확산 모델(MDM)을 위해 설계되었다. 본 연구에서는 최근 블록 확산 언어 모델(BDLM)의 샘플링을 연구한다. 우리는 경험적·분석적으로 이 모델들이 MDM보다 자연스럽게 좌→우 디코딩에 더 정렬(alignment)되어 있음을 보인다. 이 관찰에 기반하여, 좌→우 언마스킹 구조를 유지하면서 병렬 토큰 확정을 허용하는 단순한 학습 없는(training-free) 샘플링 방법인 Parallel Autoregressive Decoding(PARD)를 제안한다. 광범위한 실험 결과, PARD는 생성 품질에서 기존 병렬 샘플러를 일관되게 능가하며, 순수 AR 디코딩 대비 상당한 속도 향상을 달성하면서 품질 격차는 작다.

arXiv:2607.22704v1cs.CV공통 태그 Decoder, Denoising

토카막 디버터에서 중성 입자 방출 단층촬영의 가시광선 영상 진단: 효율적인 트랜스포머 기반 대리 모델

Visible-Light Imaging Diagnosis of Neutral Particle Emission Tomography in the Tokamak Divertor: An Efficient Transformer-based Surrogate Model

최근 핵융합은 상당한 진전을 이루었으며, 글로벌 에너지 과제를 해결하는 가장 중요한 경로 중 하나가 될 것으로 기대된다. 본 논문은 가시광선 카메라를 이용해 플라즈마를 관측하고, 시공간적 운동 단서를 분석하며, 광 강도의 2차원 공간 분포를 예측하는 데 초점을 맞춘다. 이는 심층 신경망을 활용한 향후 과학 실험을 위한 기초 토대를 제공하는 것을 목표로 한다. 구체적으로, 우리는 미분 트랜스포머를 중심으로 한 새로운 백본 네트워크인 Delta-InvFormer를 제안한다. 핵심 통찰은 연속적인 비디오 프레임을 입력으로 사용하면 플라즈마의 역학을 더 잘 포착할 수 있다는 것이다. 또한 공간 및 시간 미분 셀프 어텐션(self-attention)은 노이즈 신호의 간섭을 효과적으로 완화하여 고품질 특징 추출을 보장한다. 이러한 특징은 이후 압축적이고 정보가 풍부한 표현으로 융합되며, 디코더 네트워크에 입력되어 분포를 예측한다. 대규모 과학 시설인 실험용 고온 초전도 토카막(Experimental Advanced Superconducting Tokamak, EAST)에서 수집한 실제 실험 데이터를 바탕으로, 제안된 모델이 분포 예측을 위한 전통적 방법을 상당히 가속할 뿐만 아니라 경쟁력 있는 재구성 정확도를 달성함을 보여준다. 본 논문의 소스 코드는 https://github.com/Event-AHU/OpenFusion 에서 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.